Notre article "Precision Machine Learning" montre que les réseaux neuronaux surpassent l'interpolation simplex uniquement dans plus de 2 dimensions, en exploitant la modularité. Nous développons des astuces de formation pour un ML de haute précision, utiles pour la science et l'interprétabilité.
Résumé : Nous explorons les considérations particulières impliquées dans l'ajustement des modèles ML aux données demandant une très grande précision, comme c'est souvent le cas pour les applications scientifiques. Nous comparons empiriquement diverses méthodes d'approximation de fonctions et étudions leur évolution en fonction de l'augmentation des paramètres et des données. Nous constatons que les réseaux neuronaux peuvent souvent surpasser les méthodes d'approximation classiques pour les exemples à dimensions élevées, en découvrant et en exploitant automatiquement les structures modulaires qu'ils contiennent. Cependant, les réseaux neuronaux dressés-formés avec des optimiseurs courants sont moins puissants pour les cas à basse dimension, ce qui nous motive à étudier les propriétés uniques des zones de déperdition des réseaux neuronaux et les défis d'optimisation qui se présentent et correspondent dans le régime de haute précision. Pour résoudre le problème de l'optimisation en basse dimension, nous développons des astuces d'entraînement-formation qui nous permettent de faire fonctionner les réseaux neuronaux avec une déperdition extrêmement faibles, proche des limites permises par la précision numérique.
Auteur:
Info: Écrit avec Eric J. Michaud et Ziming Liu, oct 2022
Commentaires: 0