Apprentissage automatique
Le modèle prédit-il bien sur de nouvelles données, et pourquoi ? Évaluation hors échantillon, courbes d'apprentissage et explications indépendantes du modèle — chacune avec son incertitude.
Matrice de confusion avec indicateurs
Dans quelle mesure une régression logistique prédit qui a voté Dole en 1996 — matrice de confusion hors échantillon, avec effectifs et parts par ligne, et intervalles bootstrap pour les principaux indicateurs.
yardstick::conf_mat() + autoplot()
Courbes précision–rappel
Courbes précision–rappel hors échantillon pour deux classifieurs qui prédisent quelles femmes mariées déclarent une liaison, avec précision moyenne et référence sans compétence.
yardstick::pr_curve() + autoplot()
Courbe d'apprentissage
Exactitude d'entraînement et en validation croisée à mesure que l'échantillon d'entraînement grandit, pour deux modèles qui prédisent quelles femmes mariées déclarent une liaison.
caret::learning_curve_dat() + ggplot()
Comparaison de modèles en validation croisée
R² pli par pli de six modèles qui prédisent les résultats en mathématiques des districts scolaires californiens, avec moyennes et intervalles à 95 % corrigés.
caret::resamples() + bwplot() / tune::autoplot()
Importance par permutation
Les caractéristiques des districts sur lesquelles s'appuie une forêt aléatoire pour prédire les résultats en mathématiques — baisse du R² sur l'échantillon test quand chacune est permutée.
vip::vip(method = "permute")
Dépendance partielle avec courbes ICE
Comment les résultats prédits en mathématiques varient avec la pauvreté et avec la dépense par élève — la moyenne (PDP) sur une courbe par district scolaire (ICE).
pdp::partial(ice = TRUE) + autoplot() / iml::FeatureEffectAvancé : explications SHAP
Les valeurs de Shapley décomposent chaque prédiction en contributions additives des variables — globalement, variable par variable, et pour un cas unique.
Synthèse SHAP (essaim)
La valeur SHAP de chaque district scolaire pour chaque caractéristique, colorée selon la valeur de la caractéristique, avec l'importance moyenne |SHAP|.
shapviz::sv_importance(kind = "beeswarm")
Graphique de dépendance SHAP
Comment la part d'élèves à faible revenu pèse sur les résultats prédits en mathématiques de chaque district, colorée selon son principal partenaire d'interaction, avec une tendance lissée.
shapviz::sv_dependence()
Cascade SHAP pour une prédiction
Comment chaque caractéristique déplace les résultats prédits en mathématiques d'un district scolaire en difficulté, de la moyenne jusqu'à la sortie du modèle.
shapviz::sv_waterfall()