Apache Spark Code Tool Icon

アパッチスパークコードツール

Version:
Current
Last modified: June 05, 2020

apache spark コードツールは、apache spark コンテキストを作成し、デザイナから直接 apache spark コマンドを実行するコードエディタです。このツールはRプログラミング言語を使用します。

詳細については、「データ-ERR:REF-NOT-FOUND-ブリック上の Apache -ERR:REF-NOT-FOUND-Spark」、および Microsoft -ERR:REF-NOT-FOUND-Azure HDInsight の Apache Sparkを参照してください。

アパッチスパークに接続する

オプション 1

Apache Spark クラスターに直接接続します。

  1. -ERR:REF-NOT-FOUND-[DB 内接続] ツールまたは-ERR:REF-NOT-FOUND-データ ストリーム-ERR:REF-NOT-FOUND-イン ツールをキャンバスにドラッグします。
  2. [接続名]ドロップダウン矢印を選択し、[接続の管理] を選択します。

オプション 2

または、Apache Spark コードツールと直接接続してください。

  1. Apache Spark コードツールをキャンバス上にドラッグします。
  2. [データ接続] で、[接続名]ドロップダウン矢印を選択し、[接続の管理] を選択します。

どちらの方法-ERR:REF-NOT-FOUND-でも、[DB 内接続の管理]ウィンドウが表示されます。-ERR:REF-NOT-FOUND-[DB 内接続の管理]で、データ ソースを選択します。-ERR:REF-NOT-FOUND-S を参照してください。-ERR:REF-NOT-FOUND-アップポートされたデータ ソースとファイル形式。

CodeEditor

Apache スパークの直接接続が確立されると、コードエディタがアクティブになります。コーエディタでテンプレート関数を生成するには、コードの挿入を使用します。

Scala

インポートライブラリはインポートステートメントを作成します。

インポートパッケージ

データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。

ヴァルデータフレーム = 読み取りAlteryxData(1)

書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。

書き込み代替データ (データフレーム、1)

log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。

logAlteryxMessage(「メッセージ例」)

ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。

logAlteryxWarning(「警告の例」)

log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。

logAlteryxError(「エラー例」)

Python

インポートライブラリはインポートステートメントを作成します。

モジュールインポートライブラリから

データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。

データフレーム= 読み取り AlteryxData(1)

書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。

書き込み代替データ (データフレーム、1)

log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。

logAlteryxMessage(「メッセージ例」)

ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。

logAlteryxWarning(「警告の例」)

log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。

logAlteryxError(「エラー例」)

R

インポートライブラリはインポートステートメントを作成します。

図書館(jsonlite)

データの読み取りは、readAlteryxData 関数を作成して、入力データを Apache SparkSQL データフレームとして返します。

データフレーム ->

書き込みデータは、Apache SparkSQL データフレームを出力する writeAlteryxData 関数を作成します。

書き込み代替データ (データフレーム、1)

log メッセージは、メッセージとしてログに文字列を書き込む logAlteryxMessage 関数を作成します。

logAlteryxMessage(「メッセージ例」)

ログ警告は、警告としてログに文字列を書き込む logAlteryxWarning 関数を作成します。

logAlteryxWarning(「警告の例」)

log error は、エラーとしてログに文字列を書き込む logAlteryxError 関数を作成します。

logAlteryxError(「エラー例」)

インポートコードを使用して、外部で作成されたコードを取り込みます。

  • [ファイル] からファイルエクスプローラーを開き、ファイルを参照します。
  • Jupyter ノートブックからファイルエクスプローラを開き、ファイルを参照します。
  • From URL は、ファイルの場所を入力または貼り付けるフィールドを提供します。

歯車アイコンをクリックすると、コードエディタの表示面が変更されます。

  • [テキストサイズ] ボタンを使用して、エディタ内のテキストのサイズを増減します。
  • 色のテーマを使用して、濃い色と明るい配色を切り替えます。
  • [長い行を折り返す] を選択すると、水平スクロールを必要とする代わりに、長い行がコードエディタウィンドウ内に表示されたままになります。
  • [行番号を表示] を選択して 、エディタの行番号を表示します。

メタデータの出力

管理する出力チャネルのメタ情報を選択します。既存のデータのApache Spark データ型を手動で変更します。

プラスアイコンを選択して、データ行を追加します。

  • フィールド名を入力します。
  • Apache Spark データ型を選択します。
  • サイズをビット単位で入力します。
Was This Helpful?

Running into problems or issues with your Alteryx product? Visit the Alteryx Community or contact support.