UNIWIN - Méthode des K plus proches voisins (classement, régression)

L’algorithme des K plus proches voisins (KNN) repose sur une idée simple : on suppose que la valeur d’une variable à expliquer pour une observation doit être proche des valeurs qu’elle prend pour ses observations les plus voisines.

Si la variable à expliquer est qualitative, on affecte l’observation à la classe majoritaire parmi ses données voisines.

Si la variable à expliquer est quantitative, on donne à l’observation la valeur moyenne observée de la variable à expliquer pour ses données voisines.

Une plage de valeurs de K est précisée et la valeur optimale de K est déterminée par validation croisée.

Les résultats sont fournis pour les jeux d’apprentissage, de validation et de prévision.

Cette procédure est basée sur le package R ‘caret’.

Tableaux

Détermination du K optimal

Importance des variables

Classement pour le jeu d’apprentissage (classement)

Matrice de confusion pour le jeu d’apprentissage (classement)

Sensibilités, spécificités pour le jeu d’apprentissage (classement)

Classement pour le jeu de validation (classement)

Matrice de confusion pour le jeu de validation (classement)

Sensibilités, spécificités pour le jeu de validation (classement)

Classement pour le jeu de prévision (classement)

Valeurs observées, prévues, résidus pour le jeu d’apprentissage (régression)

Valeurs observées, prévues, résidus pour le jeu de validation (régression)

Valeurs prévues pour le jeu de prévision (régression)

Graphiques

Graphique de l’évolution de l’exactitude (classement)

Graphique de l’évolution de l’erreur quadratique moyenne (régression)

Graphique de l’importance des variables

Nuage de points du jeu d’apprentissage

Nuage de points du jeu de validation

Nuage de points du jeu de prévision

Graphique des frontières (apprentissage)

Graphique des frontières (validation)

Diagramme de la matrice de confusion pour le jeu d’apprentissage (classement)

Diagramme de la matrice de confusion pour le jeu de validation (classement)

Courbe ROC pour le jeu d’apprentissage (classement)

Courbe ROC pour le jeu de validation (classement)

Graphique des valeurs prévues vs observées pour le jeu d’apprentissage (régression)

Graphique des valeurs prévues vs observées pour le jeu de validation (régression)

Graphique des résidus vs valeurs prévues pour le jeu d’apprentissage (régression)

Graphique des résidus vs valeurs prévues pour le jeu de validation (régression)
Consulter la documentation complète