Cross-Validation Tool Icon

クロスバリデーションツール

バージョン:
2021.3
Last modified: September 09, 2021

クロスバリデーションツールは、Alteryx で生成された 1 つ以上の予測モデルのパフォーマンスを、クロスバリデーション のプロセスを使用して比較します。すべての分類と回帰モデルをサポートしています。

このツールはRツールを使用します。オプション > 予測ツールのダウンロード に移動し、Alteryx ダウンロードとライセンス ポータルにサインインして、R ツール で使用されるパッケージと R ツールをインストールします。

このツールは、Alteryx Designer または R ツールでは自動的にインストールされません。このツールを使用するには、Alteryx Analytics Gallery からダウンロードしてください。

別のテストセットを使用する必要がなく、モデル品質のより強固な推定を生成するため、予測モデラーの間ではクロスバリデーションは他のモデル評価メソッドよりもよく好んで用いられます。

すべての分類モデルに対して、ツールは全体的な精度、クラスごとの精度、混同行列のセット(各モデルに1つ)を提供します。さらに、このツールは、バイナリ分類モデルのF1スコアとパフォーマンス診断プロット(リフトカーブ、ゲインチャート、精度対リコールカーブ、ROCカーブ)のコレクションを報告します。一般的に、回帰モデルの場合にこのツールが提供するのは、各モデルの予測の予測値と実測値の相関、二乗平均平方根誤差 (RMSE)、平均絶対誤差 (MAE)、平均誤差率 (MPE)、および平均絶対誤差率 (MAPE) です。しかし、少なくとも1つの目標値が0に近い場合、MPEとMAPEは定義されません。その場合、MPEは実際の値の合計に対する誤差の合計で置き換えられ、絶対誤差の合計を実際の値の合計で除算した値 (つまり、加重絶対パーセント誤差 【WAPE】)がMAPEに置き換わります。さらに、このツールは、回帰の場合に実際の値と予測値のプロットを常に提供します。

入力の接続

クロスバリデーションツールには、次の 2 つの入力が必要です。

  • M アンカー: Alteryx で生成された単一の予測モデル、または 2 つ以上のモデルの組み合わせ。これらのモデルは、すべて同じデータセットを使用して生成されている必要があります。
  • D アンカー: 上記のモデルの生成に使用したデータセット。

ツール設定

  • Number of trials (試行回数) : クロスバリデーションを繰り返す回数を入力します。試行回数を少なくすると、ツールのスピードが上がります。回数を多くすると、その分モデルの品質の予測が正確になります。
  • Number of folds (フォールド数) : データを分割するサブセットの数を入力します。フォールド数についても、試行回数 と同様のトレードオフが存在します。
  • Type of model (モデルのタイプ) を選択します。
    • Classification (分類) : これらのモデルは、はい/いいえのようなカテゴリを予測します。
    • Regression (回帰) : これらのモデルは、売上合計のような数量を予測します。
  • 階層化 (Stratified) されたクロスバリデーションを使用する必要がある場合: 階層化されたクロスバリデーションは特別なタイプのクロスバリデーションで、大きなデータセットと同じ確率分布のフォールドを作成します。例えば、ターゲット値の80%が「いいえ」で、20%が「はい」のデータセットでは、各フォールドで約80%が「いいえ」、約20%が「はい」という結果になります。ターゲット変数が不均衡な場合は、階層化されたクロスバリデーションがしばしば推奨されます。
  • Name of the positive class (正のクラス名) : (オプション) この設定オプションは、バイナリ (2クラス) 分類にのみ関連します。F1 スコアをはじめ、バイナリ分類で報告される測定値の中には、正のクラス (たとえば「はい」) と負のクラス (たとえば「いいえ」) の区別が必要なものがあります。ただし、この設定オプションは必須ではありません。バイナリ分類モデルでツールを使用するときに空白のままにすると、ツールはクラスの1つを正のクラスとして選択します。
  • Value of seed (シードの値) : 再現可能な結果を作成するために、乱数ジェネレータが使用するシードを選択して、どのレコードをどのフォールドにソートするかを指定することができます。シードを変更すると、フォールドの組成が変更されます。

出力の表示

  • D アンカー: この出力は、実測値と予測値を提供します。
  • F アンカー: この出力は、モデルのタイプに応じてさまざまなモデル適合指標を報告します。
  • R アンカー: 試行ごとの平均適合度指標を含むサマリーレポートと、モデルごとに 1 つの曲線が表示されるグラフを表示します。
役に立ちましたか?

Running into problems or issues with your Alteryx product? Visit the Alteryx Community or contact support. Can't submit this form? Email us.