アパッチスパークコードツール
apache spark コードツールは、apache spark コンテキストを作成し、デザイナから直接 apache spark コマンドを実行するコードエディタです。 このツールはRプログラミング言語を使用します。
詳細については、 Apache Spark Direct、 Apache Spark on Databricks、 Apache Spark on Microsoft Azure HDInsight。
アパッチスパークに接続する
Apache Spark クラスターに直接接続します。
- をドラッグ 接続 In-DB ツール または データストリームインツール をキャンバスに挿入します。
- [接続名]ドロップダウン矢印をクリックし、[接続の管理] を選択します。
または、Apache Spark コードツールと直接接続してください。
- Apache Spark コードツールをキャンバス上にドラッグします。
- [データ接続]の [接続名] ドロップダウン矢印をクリックし、[接続の管理] を選択します。
どちらの方法でも、 In-DB 接続を管理 ウィンドウ。
In In-DB 接続を管理 、データソースを選択します。 参照： サポートされているデータソースとファイル形式。
CodeEditor
Apache スパークの直接接続が確立されると、コードエディタがアクティブになります。
コードエディタでテンプレート関数を生成するには、コードの挿入を使用します。
Scala
インポートライブラリはインポートステートメントを作成します。
インポートパッケージデータの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
val dataFrame = readAlteryxData(1)書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)インポートライブラリはインポートステートメントを作成します。
モジュールインポートライブラリからデータの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
dataFrame = readAlteryxData(1)書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)インポートライブラリはインポートステートメントを作成します。
ライブラリ(jsonlite)データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
データフレーム<- readAlteryxData(1)></- readAlteryxData(1)>書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)外部で作成されたコードを取り込むには、インポートコードを使用します。
- [ファイル] からファイルエクスプローラーを開き、ファイルを参照します。
- Jupyter ノートブックからファイルエクスプローラを開き、ファイルを参照します。
- From URL は、ファイルの場所を入力または貼り付けるフィールドを提供します。
歯車アイコンをクリックすると、コードエディタの表示面が変更されます。
- [テキストサイズ] ボタンを使用して、エディタ内のテキストのサイズを増減します。
- 色のテーマを使用して、濃い色と明るい配色を切り替えます。
- [長い行を折り返す] を選択すると、水平スクロールを必要とする代わりに、長い行がコードエディタウィンドウ内に表示されたままになります。
- [行番号を表示] を選択して 、エディタの行番号を表示します。
メタデータの出力
管理する出力チャネルのメタ情報を選択します。
既存のデータのApache Spark データ型を手動で変更します。
データ行を追加するには、プラスアイコンをクリックします。
- フィールド名を入力します。
- Apache Spark データ型を選択します。
- サイズをビット単位で入力します。