Apache Spark on Microsoft Azure HDInsight

次の手順を使用して、接続方法を学習します。 Microsoft Azure HDInsight Alteryx 接続文字列を作成します。

サポートのタイプ：	インデータベース
検証済み：	アパッチスパーク 2.0 +
以下で検証された分散：	Microsoft Azure HDInsight
接続タイプ：	REST / HTMLサーバー
サーバーの詳細：	マイクロソフト Azure の情報はここで見つけることができます。

接続に使用されるAlteryxツール

接続(In-DB)ツール、データストリームインツールそしてアパッチスパークコードツール (データベース内のワークフロー処理)

追加の詳細

[ Microsoft Azure HDInsight 接続] ウィンドウを使用して、新しい接続を作成し Microsoft Azure HDInsight を使用して Microsoft Azure HDInsight オプション。接続を構成するには、以下の手順を使用します。

設定、 Microsoft Azure HDInsight 接続ウィンドウ

に接続する Microsoft Azure HDInsight Alteryx 接続文字列を作成します。

新しい DB 接続を追加し、データソースをMicrosoft Azure HDInsight の Apache Spark に設定します。 DB 接続の設定の詳細については、接続(In-DB)ツール。
[読み取り] タブのドライバは、 Microsoft Azure HDInsight の Apache スパークに設定されています。 [接続文字列] ドロップダウン矢印をクリックし、[ 新しいデータベース接続] を選択します。
[ Microsoft Azure HDInsight 接続] ウィンドウを構成します。

マイクロソフト Azure HDInsight の構成:

Azure のURL を構成します。

[テスト] をクリックして接続をテストします。
Apache Spark コードツールで使用するコーディング言語に接続モードを設定します。
Microsoft Azure ストレージアカウントに接続します。

アドバンスオプション

設定は、ポーリング間隔 (ミリ秒)、Apache のスパークコードの実行要求の Alteryx からのチェックの間の時間。デフォルトは1,000ミリ秒、または1秒です。
Alteryx が実行要求を完了するまで待機する時間(ミリ秒)を設定します。設定された待機時間より時間が長くかかると、タイムアウトエラーが発生します。デフォルトは60,000 ms、つまり1分です。
apache spark 設定オプションは、作成された apache spark コンテキストをカスタマイズし、上級ユーザーがデフォルトの apache spark 設定を上書きできるようにします。

構成の既定値

既定では、構成オプションは spark です。 jar. パッケージと値はcom です。databricks: スパーク-csv_ 2.10: 1.5.0, databricks: avro_ 2.10: 2.0.1. Apache Spark のバージョンによっては、デフォルト値をオーバーライドする必要がある場合があります。

アパッチスパークバージョン	値
2.0 - 2.1	com.databricks:spark-avro_2.11:3.2.0;com.databricks:spark-csv_2.11:1.5.0
2.2	com.databricks:spark-avro_2.11:4.0.0;com.databricks:spark-csv_2.11:1.5.0

構成オプションテーブルに別の行を追加するには、(+アイコン)をクリックします。
(アイコンを保存)をクリックすると、現在の詳細設定がJSONファイルとして保存されます。ファイルは、別の接続の詳細設定にロードできます。
JSONファイルを構成オプションテーブルに読み込むには、(アイコンを開く)をクリックします。

[OK] をクリックして、Microsoft Azure HDInsight接続で Apache Sparkを作成します。