Model Comparison Tool Icon

モデル比較ツール

バージョン:
Current
Last modified: September 25, 2020

モデル比較ツールは、検証、またはテストデータセットの使用に基づいて、1つまたは複数の異なる予測モデルのパフォーマンスを比較します。 レポート、基本エラー測定のテーブル、および各モデルの予測結果の表を生成します。 このツールはすべてのバイナリ分類をサポートし、ターゲット変数に "Yes" や "No" などの2つのレベルしかない場合、ターゲット変数には "car"、"バス"、"列車"、"飛行機" などの2つ以上のレベルがあり、回帰 (multinomial連続的なターゲット変数) モデル。

分類の問題の場合、レポートには、全体的な精度、クラスごとの精度 、F1 スコア、および各モデルの 混同行列 が含まれます。 2 項分類モデルの場合、各モデルの比較を リフト曲線ゲインチャート精度およびリコール曲線、ROC 曲線 プロットの形式で含むパフォーマンス診断プロットも報告されます。 回帰モデルの場合、レポートには予測値と実数値の相関、 平方平均平方誤差 (RMSE)、 平均絶対誤差 (MAE)、 平均パーセンテージ誤差 (MPE)、および各モデルの予測の 平均絶対パーセンテージ誤差 (MAPE)が含まれます。 ターゲット変数の値のいずれかがゼロに等しい場合には、どちらの値も各観察の実際の値による区分を含むため、MPEおよびMAPE測定値は定義されないことに留意してください。 このような場合、MAPEの代わりに荷重絶対パーセント誤差(絶対誤差の合計を実際の値の合計で割ったもの)が報告され、MPEは実際の値の合計に対するエラーの合計に取って代わられます。 ターゲット値の合計がゼロになるような人為的な例を考え出すのは簡単ですが、これは実際には起こりそうにありません。 各モデルの実際値対予測値のプロットも提供されています。

このツールは複数のモデルの比較をサポートしていますが、ユーザーは1つのモデルのみを使用して、複数のモデルの場合と同様のパフォーマンスレポートを取得することもできます。 モデル比較から取得したレポートと予測ツールの R アンカーからのレポート出力 (例: Boosted Model) との違いは、前者がモデルを構築するトレーニング データセットとは異なるテスト データセットを使用するため、モデルのサンプル パフォーマンス評価が得られる点です。

このツールは、Alteryx デザイナーまたは R ツールと共に自動的にはインストールされません。 このツールを使用するには、Alteryx Analytics Galleryからダウンロードしてください。

入力を接続する

モデル比較ツールには、2つの入力データストリームが必要です。

  • M アンカー: 任意の Alteryx 予測ツールの O 出力アンカーによって生成されたさまざまなモデルの和集合。 複数のモデルを比較するには、1つのデータストリームに1つのモデルオブジェクトを結合します。
  • D アンカー: テスト データセットは、通常、モデルの構築に使用されたトレーニング データセットとは異なります。

ツール設定

ターゲット変数の正のクラス (二項分類のみ、オプション): オプション。 この値を空白のままにすると、クラス名のアルファベット順の並べ替えの最後の値が正のクラスとして使用されます。

ターゲット変数が "false" と "true" の値を取得した場合、正のクラスは、アルファベット順の並べ替えで "false" の後に収まるため、既定では "true" になります。

構成オプションの制約

回帰の問題では、ターゲット変数に連続した数値が含まれているため、クラスの概念は適用されません。 多項式分類モデルの場合、レポートはモデルごとに完全な混同行列を提供するため、正のクラスを選択してもしなくても出力に影響は及びません。 イナリ分類モデルの場合、正のクラスは分析に焦点を当てた結果でなければなりません。 たとえば、ダイレクト マーケティング キャンペーンに反応する可能性が高い顧客を特定し、回答値が "はい" と "いいえ" としてコード化されている場合、焦点は "Yes" の応答に焦点を当て、"正" として選択する必要があります。モデル比較で"クラス"。

出力を表示

各出力アンカーに閲覧ツールを接続して、結果を表示します。

  • E アンカー: エラーメジャーのテーブル。
  • P アンカー: 実際の値と予測されるさまざまな値。
  • R アンカー: エラーメジャーと診断プロットのセットを含むレポート。
役に立ちましたか?

Running into problems or issues with your Alteryx product? Visit the Alteryx Community or contact support. Can't submit this form? Email us.