モデル比較ツール
モデル比較ツールは、検証またはテストデータセットの使用に基づいて、1つ以上の異なる予測モデルのパフォーマンスを比較します。 レポート、基本エラー測定のテーブル、および各モデルの予測結果の表を生成します。 このツールはすべてのバイナリ分類をサポートし、ターゲット変数に "Yes" や "No" などの2つのレベルしかない場合、ターゲット変数には "car"、"バス"、"列車"、"飛行機" などの2つ以上のレベルがあり、回帰 (multinomial連続的なターゲット変数) モデル。
分類の問題については、レポートには、全体的な精度、クラスごとの精度、F1 スコア、および各モデルの混乱行列 が含まれています。 バイナリ分類モデルでは、リフトカーブのセット、ゲインチャート、精度とリコール曲線、および ROC 曲線プロットの形式で各モデルの比較を含むパフォーマンス診断プロット も報告されます。 回帰モデルの場合、レポートには、予測された実際の値と、平方根の平均二乗誤差(RMSE)、平均絶対値誤差 (メー)、平均百分率誤差(MPE)、および平均絶対値のパーセンテージの相関関係が含まれます。各モデルの予測のエラー (MAPE)。 ターゲット変数の値のいずれかがゼロに等しい場合には、どちらの値も各観察の実際の値による区分を含むため、MPEおよびMAPE測定値は定義されないことに留意してください。 このような場合、MAPEの代わりに荷重絶対パーセント誤差(絶対誤差の合計を実際の値の合計で割ったもの)が報告され、MPEは実際の値の合計に対するエラーの合計に取って代わられます。 ターゲット値の合計がゼロになるような人為的な例を考え出すのは簡単ですが、これは実際には起こりそうにありません。 各モデルの実際値対予測値のプロットも提供されています。
このツールは複数のモデルの比較をサポートしていますが、ユーザーは1つのモデルのみを使用して、複数のモデルの場合と同様のパフォーマンスレポートを取得することもできます。 モデル比較から得られたレポートと、予測ツールの R アンカー からのレポート出力の違い (例: ブーストモデル) は、前者はモデルを構築するトレーニングデータセットとは異なるテストデータセットを使用するため、モデルのアウトサンプルパフォーマンス評価を生成します。
ギャラリーツール
このツールは、Alteryx デザイナーまたは R ツールと共に自動的にはインストールされません。 このツールを使用するには、Alteryx Analytics Galleryからダウンロードしてください。
入力を接続する
モデル比較ツールには、2つの入力データストリームが必要です。
- Mアンカー: 任意の Alteryx 予測ツールのO出力アンカー によって生成される別のモデルのユニオン。 複数のモデルを比較するには、1つのデータストリームに1つのモデルオブジェクトを結合します。
- Dアンカー: 通常、モデルを構築するために使用されたトレーニングデータセットとは異なるテストデータセット。
ツールを設定する
ターゲット変数の正のクラス (バイナリ分類のみ、オプション):省略可能。 この値を空白のままにすると、クラス名のアルファベット順の並べ替えの最後の値が正のクラスとして使用されます。
構成オプションの制約
回帰問題では、ターゲット変数に連続する数値が含まれているため、クラスの概念は適用されません。 多項式分類モデルの場合、レポートはモデルごとに完全な混同行列を提供するため、正のクラスを選択してもしなくても出力に影響は及びません。 イナリ分類モデルの場合、正のクラスは分析に焦点を当てた結果でなければなりません。 たとえば、ダイレクトマーケティングキャンペーンに反応する可能性が高い顧客を判断する目的があり、応答値が「はい」と「いいえ」としてコード化されている場合、「はい」という回答に焦点を当てるとうまくいく可能性があります。これはモデル比較における「正のクラス」として選択される必要があります。
出力を見る
各出力アンカーに閲覧ツールを接続して、結果を表示します。
- Eアンカー: エラー対策の表。
- Pアンカー: 実際およびさまざまな予測値。
- Rアンカー: エラーメジャーと一連の診断プロットを含むレポート。