Sparkに接続する
Sparkクラスターに直接接続してください。
- 接続(In-DB)ツールまたはデータストリームインツールをキャンバスにドラッグします。
- 接続名ドロップダウン矢印をクリックし、接続を管理するを選択します。
または、Spark Codeツールで直接接続してください。
- キャンバスにSpark Codeツールをドラッグします。
- データの接続の下で、接続名ドロップダウン矢印をクリックし接続を管理するを選択します。
どちらのメソッドでも管理(In-DB接続)ウィンドウが表示されます。
新しいIn-DB接続を追加し、データソースをSpark Directに設定します。
In-DB接続の設定の詳細については、接続(In-DB)ツールを参照してください。
読み込みタブで、 ドライバはSpark Directにロックされます。 接続文字列 ドロップダウン矢印をクリックし、新しいデータベース接続を選択します。
LIｖｙ接続ウィンドウを構成します。
Sparkクラスター内部で、LilyノードのホストIPアドレスまたはDNS名を入力または貼り付けます。
Lilyが使用するポートを入力します。
デフォルトポートは8998です。
オプションで、ユーザー名を入力してユーザー偽装、つまりSparkがジョブの実行時に使用する名前を設定します。
オプションで、接続をテストします。
- お使いのクラスターが使用するSparkバージョンを選択します。
- ケルベロス接続タイプを選択します。
- テストをクリックします。
接続モードをSpark Codeツールで使用するコーディング言語に設定します。
HDFS接続
クラスターとのコミュニケーションに使用されるHDFSプロトコルに一致するサーバー構成オプションを選択します。
Sparkクラスター内でHDFS名ノード用のホストIPアドレスまたはDNS名を入力します。
ポート番号を入力します。 デフォルトのポートが自動的に追加されます。
オプションで、HDFS接続用のユーザー名を入力します。
オプションで、HDFS接続用のパスワードを入力します。
使用するケルベロスプロトコルを選択します。
高度なオプション
Sparkコード実行要求のためにAlteryxからのチェックとチェックの間の時間、(つまりポーリング間隔ミリ秒)を設定します。 デフォルトは1,000ミリ秒、または1秒です。
Alteryxが実行要求が完了するまで待機する時間、つまり待機時間(ミリ秒)を設定します。 設定された待機時間より時間が長くかかると、タイムアウトエラーが発生します。 デフォルトは60,000 ms、つまり1分です。
Spark構成オプションは作成されたSparkコンテキストをカスタマイズし、上級ユーザーがデフォルトのSpark設定を無効にできるようにします。
デフォルトで、 構成オプションはspark.jars.packagesで 値 は com.databricks：spark-csv_2.10:1.5.0、com.databricks：spark-avro_2.10:2.0.1です。 Spark 2を使用している場合、 値を com.databricks：spark-avro_2.11:3.2.0; com.databricks：spark-csv_2.11:1.5.0に変更してください。
構成オプションテーブルに別の行を追加するには、(+アイコン)をクリックします。
(アイコンを保存)をクリックすると、現在の詳細設定がJSONファイルとして保存されます。 ファイルは、別の接続の詳細設定にロードできます。
JSONファイルを構成オプションテーブルに読み込むには、(アイコンを開く)をクリックします。
OKを選択して、Spark Direct接続を作成します。