アパッチスパークコードツール
apache spark コードツールは、apache spark コンテキストを作成し、デザイナから直接 apache spark コマンドを実行するコードエディタです。 このツールはRプログラミング言語を使用します。
詳細については、 Apache Spark Direct、 Apache Spark on Databricksそして Apache Spark on Microsoft Azure HDInsight。
Apache Spark クラスターに直接接続します。
- をドラッグ 接続(In-DB)ツール または データストリームインツール をキャンバスに挿入します。
- [接続名]ドロップダウン矢印をクリックし、[接続の管理] を選択します。
または、Apache Spark コードツールと直接接続してください。
- Apache Spark コードツールをキャンバス上にドラッグします。
- [データ接続]の [接続名] ドロップダウン矢印をクリックし、[接続の管理] を選択します。
どちらの方法でも、 In-DB接続を管理する ウィンドウ。
In In-DB接続を管理する 、データソースを選択します。 参照: サポートされたデータソース。
Apache スパークの直接接続が確立されると、コードエディタがアクティブになります。
コードエディタでテンプレート関数を生成するには、コードの挿入を使用します。
インポートライブラリはインポートステートメントを作成します。
インポートパッケージ
データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
val dataFrame = readAlteryxData(1)
書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)
log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)
ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)
log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)
インポートライブラリはインポートステートメントを作成します。
モジュールインポートライブラリから
データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
dataFrame = readAlteryxData(1)
書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)
log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)
ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)
log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)
インポートライブラリはインポートステートメントを作成します。
ライブラリ(jsonlite)
データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。
データフレーム<- readAlteryxData(1)></- readAlteryxData(1)>
書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。
writeAlteryxData(dataFrame、1)
log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。
logAlteryxMessage(「メッセージ例」)
ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。
logAlteryxWarning(「警告の例」)
log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。
logAlteryxError(「エラー例」)
外部で作成されたコードを取り込むには、インポートコードを使用します。
- [ファイル] からファイルエクスプローラーを開き、ファイルを参照します。
- Jupyter ノートブックからファイルエクスプローラを開き、ファイルを参照します。
- From URL は、ファイルの場所を入力または貼り付けるフィールドを提供します。
歯車アイコンをクリックすると、コードエディタの表示面が変更されます。
- [テキストサイズ] ボタンを使用して、エディタ内のテキストのサイズを増減します。
- 色のテーマを使用して、濃い色と明るい配色を切り替えます。
- [長い行を折り返す] を選択すると、水平スクロールを必要とする代わりに、長い行がコードエディタウィンドウ内に表示されたままになります。
- [行番号を表示] を選択して 、エディタの行番号を表示します。
管理する出力チャネルのメタ情報を選択します。
既存のデータのApache Spark データ型を手動で変更します。
データ行を追加するには、プラスアイコンをクリックします。
- フィールド名を入力します。
- Apache Spark データ型を選択します。
- サイズをビット単位で入力します。