Apache Spark Code Tool Icon

Apache Sparkコードツール

バージョン:
2021.3
Last modified: October 21, 2020

apache spark コードツールは、apache spark コンテキストを作成し、デザイナから直接 apache spark コマンドを実行するコードエディタです。このツールはRプログラミング言語を使用します。

 

アパッチスパークに接続する

オプション1

Apache Spark クラスターに直接接続します。

  1.  
  2. [接続名]ドロップダウン矢印をクリックし、[接続の管理]を選択します。

オプション2

または、Apache Spark コードツールと直接接続してください。

  1. Apache Spark コードツールをキャンバス上にドラッグします。
  2. [データ接続]の [接続名] ドロップダウン矢印をクリックし、[接続の管理] を選択します。

 

  

CodeEditor

Apache スパークの直接接続が確立されると、コードエディタがアクティブになります。

コードエディタでテンプレート関数を生成するには、コードの挿入を使用します。

Scala

ライブラリのインポート は、インポートステートメントを作成します。

パッケージをインポート

データの読み込み は、readAlteryxData 関数を作成して、入力データを Apache SparkSQL DataFrame として返します。

val dataFrame = readAlteryxData(1)

データの書き込み は、writeAlteryxData 関数を作成して、Apache SparkSQL DataFrame を出力します。

writeAlteryxData(dataFrame, 1)

ログメッセージ は、logAlteryxMessage 関数を作成して、文字列をメッセージとしてログに書き込みます。

logAlteryxMessage("Example message")

ログの警告 は、logAlteryxWarning 関数を作成して、警告として文字列をログに書き込むみます。

logAlteryxWarning("Example warning")

ログエラー は、logAlteryxError 関数を作成して、文字列をエラーとしてログに書き込みます。

logAlteryxError("Example error")

Python

ライブラリのインポート は、インポートステートメントを作成します。

モジュールインポートライブラリから

データの読み込み は、readAlteryxData 関数を作成して、入力データを Apache SparkSQL DataFrame として返します。

dataFrame = readAlteryxData(1)

データの書き込み は、writeAlteryxData 関数を作成して、Apache SparkSQL DataFrame を出力します。

writeAlteryxData(dataFrame, 1)

ログメッセージ は、logAlteryxMessage 関数を作成して、文字列をメッセージとしてログに書き込みます。

logAlteryxMessage("Example message")

ログの警告 は、logAlteryxWarning 関数を作成して、警告として文字列をログに書き込むみます。

logAlteryxWarning("Example warning")

ログエラー は、logAlteryxError 関数を作成して、文字列をエラーとしてログに書き込みます。

logAlteryxError("Example error")

R

ライブラリのインポート は、インポートステートメントを作成します。

library(jsonlite)

データの読み込み は、readAlteryxData 関数を作成して、入力データを Apache SparkSQL DataFrame として返します。

dataFrame

データの書き込み は、writeAlteryxData 関数を作成して、Apache SparkSQL DataFrame を出力します。

writeAlteryxData(dataFrame, 1)

ログメッセージ は、logAlteryxMessage 関数を作成して、文字列をメッセージとしてログに書き込みます。

logAlteryxMessage("Example message")

ログの警告 は、logAlteryxWarning 関数を作成して、警告として文字列をログに書き込むみます。

logAlteryxWarning("Example warning")

ログエラー は、logAlteryxError 関数を作成して、文字列をエラーとしてログに書き込みます。

logAlteryxError("Example error")

インポートコードを使用して、外部で作成されたコードを取り込みます。

  • [ファイル] からファイルエクスプローラーを開き、ファイルを参照します。
  • Jupyter ノートブックからファイルエクスプローラを開き、ファイルを参照します。
  • From URL は、ファイルの場所を入力または貼り付けるフィールドを提供します。

歯車アイコンをクリックすると、コードエディタの表示面が変更されます。

  • [テキストサイズ] ボタンを使用して、エディタ内のテキストのサイズを増減します。
  • 色のテーマを使用して、濃い色と明るい配色を切り替えます。
  • [長い行を折り返す] を選択すると、水平スクロールを必要とする代わりに、長い行がコードエディタウィンドウ内に表示されたままになります。
  • [行番号を表示] を選択して 、エディタの行番号を表示します。

メタデータの出力

管理する出力チャネルのメタ情報を選択します。

既存のデータのApache Spark データ型を手動で変更します。

データ行を追加するには、プラスアイコンをクリックします。

  • フィールド名を入力します。
  • Apache Spark データ型を選択します。
  • サイズをビット単位で入力します。
役に立ちましたか?

Running into problems or issues with your Alteryx product? Visit the Alteryx Community or contact support. Can't submit this form? Email us.