Régularisation entropique des vecteurs de caractéristiques d'un réseau de neurones pour une meilleur transférabilité
Résumé
This paper discusses the problem of classification when learning on an approximation of the labels. For example, a
regression problem can be discretized to obtain a classification problem that is easier to solve. One problem encountered when
training with the cross-entropy is the overfitting of the features that occurs with coarse labeling. To address this problem, we
introduce an entropic regularization applied to the feature space to increase features’ diversity. These features can be later used to
solve a refined task with a smaller error. The validity of our method is supported by both theoretical analysis and experiments
Cet article étudie la classification de données à partir d'un apprentissage sur une approximation de leurs étiquettes. Par exemple, un problème de régression peut être discrétisé pour obtenir un problème de classification plus simple à résoudre. Un problème rencontré avec l'utilisation de l'entropie croisée comme critère d'entraînement dans cette situation est le surapprentissage des caractéristiques focalisant trop sur l'étiquetage grossier. Pour résoudre ce problème, nous introduisons une régularisation entropique appliquée à l'espace de caractéristiques du modèle. Ces caractéristiques peuvent ensuite être utilisées pour résoudre une tâche raffinée avec une erreur moindre. La validité de notre méthode est soutenue à la fois par une analyse théorique et des expériences.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|