Cross-Validation Tool Icon

Ferramenta Validação Cruzada

Versão:
2022.3
Last modified: September 09, 2021

Utilize a ferramenta Validação Cruzada para comparar o desempenho de um ou mais modelos preditivos gerados pelo Alteryx usando o processo de validação cruzada. Essa ferramenta oferece suporte a todos os modelos de classificação e regressão.

Essa ferramenta utiliza a ferramenta R. Vá para Opções > Baixar ferramentas preditivas e faça login no portal de Downloads e Licenças da Alteryx para instalar o R e os pacotes usados pela ferramenta R.

Essa ferramenta não é instalada automaticamente com o Alteryx Designer, nem com as ferramentas R. Para usar essa ferramenta, baixe-a do Alteryx Analytics Gallery.

Os modeladores preditivos costumam preferir a validação cruzada a outros métodos de avaliação de modelo porque ela não exige o uso de um conjunto de testes separado e gera estimativas mais robustas sobre a qualidade dos modelos.

Para todos os modelos de classificação, a ferramenta fornece a acurácia geral, a acurácia por classe e um conjunto de matrizes de confusão (uma para cada modelo). Além disso, a ferramenta informa a pontuação F1 e uma coleção de gráficos de diagnóstico de desempenho (curva de lift, gráfico de ganho, curvas de precisão vs. recall, e curva ROC) para modelos de classificação binária. Para modelos de regressão, a ferramenta geralmente fornece a correlação entre os valores previstos e os reais, a raiz do erro quadrático médio (RMSE), o. erro médio absoluto (MAE), o erro médio percentual (MPE) e o erro médio percentual absoluto (MAPE) das previsões de cada modelo. No entanto, quando algum valor de alvo se aproxima de 0, o MPE e o MAPE não são definidos. Nesse caso, o MPE é substituído pela soma dos erros dividida pela soma dos valores reais, e o MAPE é substituído pela soma dos erros absolutos dividida pela soma dos valores reais (ou seja, o erro percentual absoluto ponderado). Além disso, a ferramenta sempre fornece um gráfico dos valores reais em relação aos previstos no caso de regressão.

Conectar entradas

A ferramenta Validação Cruzada exige duas entradas:

  • Âncora M: um único modelo preditivo gerado pelo Alteryx ou a união de dois ou mais desses modelos. Todos esses modelos devem ter sido gerados com o mesmo conjunto de dados.
  • Âncora D: o conjunto de dados utilizado para gerar os modelos acima.

Configurar a ferramenta

  • Número de trials: insira o número de vezes que você deseja que o procedimento de validação cruzada seja repetido. Com menos trials, o processo é mais rápido, mas, com um número maior, a ferramenta consegue fornecer uma estimativa mais robusta da qualidade dos modelos.
  • Número de partições (folds): insira o número de subconjuntos nos quais os dados serão divididos. De maneira similar ao que acontece com o número de trials, há vantagens e desvantagens em incluir mais folds.
  • Selecione o tipo de modelo.
    • Classificação: esses modelos preveem categorias, como "Sim" ou "Não".
    • Regressão: esses modelos preveem quantidades numéricas, como totais de vendas.
  • A validação cruzada estratificada deve ser utilizada?: a validação cruzada estratificada é um tipo especial de validação cruzada que cria partições com a mesma distribuição de probabilidade do conjunto de dados maior. Por exemplo, em um conjunto de dados em que 80% dos valores-alvo são "Não" e 20% são "Sim", cada partição teria aproximadamente 80% de respostas "Não" e 20% de respostas "Sim". A validação cruzada estratificada costuma ser recomendada quando a variável-alvo está desproporcional.
  • Nome da classe positiva (opcional): essa opção de configuração só é relevante na classificação binária (duas classes). Algumas das medidas informadas para classificação binária, como a pontuação F1, exigem uma distinção entre uma classe positiva (como "Sim") e uma classe negativa (como "Não"). No entanto, essa opção de configuração não é obrigatória. Se você a deixar em branco ao utilizar a ferramenta com modelos de classificação binária, a ferramenta escolherá uma das classes como a positiva.
  • Valor da semente: para criar resultados reprodutíveis, é possível selecionar a semente utilizada pelo gerador de números aleatórios que determina quais registros são colocados em quais partições. Se você alterar a semente, a composição das partições também será alterada.

Visualizar a saída

  • Âncora D: essa saída fornece os valores de dados reais, bem como suas previsões.
  • Âncora F: essa saída fornece medidas de ajuste do modelo, que variam de acordo com o tipo de modelo.
  • Âncora R: um relatório resumido que contém as medidas de ajuste médio de cada trial, bem como gráficos nos quais é apresentada uma única curva para cada modelo.
Esta página foi útil?

Problemas com seu produto Alteryx? Visite a Comunidade Alteryx ou entre em contato com nossa Equipe de Suporte. Não é possível enviar este formulário? Envie-nos um e-mail.