Furious AI researcher creates a list of non-reproducible machine learning papers

[ad_1]

Le 14 février, un chercheur frustré de reproduire les résultats d’un article de recherche sur l’apprentissage automatique a ouvert un compte Reddit sous le nom d’utilisateur ContributionSecure14 et publié le r / MachineLearning subreddit: «Je viens de passer une semaine à implémenter un article comme référence et je n’ai pas réussi à reproduire les résultats. Je me suis rendu compte aujourd’hui après avoir cherché un peu sur Google que quelques autres étaient également incapables de reproduire les résultats. Existe-t-il une liste de ces papiers? Cela permettra aux gens d’économiser beaucoup de temps et d’efforts. »

La publication a frappé les autres utilisateurs de r / MachineLearning, qui est la plus grande communauté Reddit pour l’apprentissage automatique.

«Plus facile de compiler une liste de ceux reproductibles…», a répondu un utilisateur.

«Il est probable que 50 à 75% de tous les papiers ne sont pas reproductibles. C’est triste, mais c’est vrai », a écrit un autre utilisateur. «Pensez-y, la plupart des articles sont« optimisés »pour entrer dans une conférence. Le plus souvent, les auteurs savent qu’un article qu’ils essaient de présenter à une conférence n’est pas très bon! Ils n’ont donc pas à se soucier de la reproductibilité car personne n’essaiera de les reproduire. »

Quelques autres utilisateurs ont publié des liens vers des articles d’apprentissage automatique qu’ils n’avaient pas réussi à mettre en œuvre et ont exprimé leur frustration quant à l’implémentation du code n’étant pas une exigence dans les conférences ML.

Le lendemain, ContributionSecure14 a créé «Papers Without Code», un site Web qui vise à créer une liste centralisée de documents d’apprentissage automatique qui ne sont pas implémentables.

“Je ne sais pas si c’est la meilleure ou la pire idée de tous les temps, mais j’ai pensé qu’il serait utile de rassembler une liste d’articles que les gens ont essayé de reproduire et ont échoué”, ContributionSecure14 écrit sur r / MachineLearning. «Cela donnera aux auteurs une chance de publier leur code, de fournir des pointeurs ou d’annuler l’article. J’espère que cela incitera une culture de recherche en ML plus saine à ne pas publier de travaux non reproductibles. »

Reproduire les résultats des documents d’apprentissage automatique

Conférence sur l'IA

Les chercheurs en apprentissage automatique publient régulièrement des articles sur des plateformes en ligne telles que arXiv et OpenReview. Ces articles décrivent des concepts et des techniques qui mettent en évidence les nouveaux défis des systèmes d’apprentissage automatique ou présentent de nouvelles façons de résoudre des problèmes connus. Beaucoup de ces articles trouvent leur place dans des conférences traditionnelles sur l’intelligence artificielle telles que NeurIPS, ICML, ICLR et CVPR.

Avoir un code source pour accompagner un document de recherche aide beaucoup à vérifier la validité d’une technique d’apprentissage automatique et à en tirer parti. Mais ce n’est pas une exigence pour les conférences d’apprentissage automatique. En conséquence, de nombreux étudiants et chercheurs qui lisent ces articles peinent à reproduire leurs résultats.

«Un travail non reproductible gaspille le temps et les efforts de chercheurs bien intentionnés, et les auteurs doivent s’efforcer d’assurer au moins une mise en œuvre publique de leur travail», a déclaré ContributionSecure14, qui a préféré rester anonyme. TechTalks dans les commentaires écrits. «La publication d’un article avec des résultats empiriques dans le domaine public est inutile si d’autres ne peuvent pas s’appuyer sur le papier ou l’utiliser comme base de référence.»

Mais ContributionSecure14 reconnaît également qu’il existe parfois des raisons légitimes pour les chercheurs en apprentissage automatique de ne pas publier leur code. Par exemple, certains auteurs peuvent former leurs modèles sur une infrastructure interne ou utiliser de grands ensembles de données internes pour la formation préalable. Dans de tels cas, les chercheurs ne sont pas libres de publier le code ou les données avec leur article en raison de la politique de l’entreprise.

«Si les auteurs publient un article sans code en raison de telles circonstances, je crois personnellement qu’ils ont la responsabilité académique de travailler en étroite collaboration avec d’autres chercheurs essayant de reproduire leur article», déclare ContributionSecure14. «Il ne sert à rien de publier l’article dans le domaine public si d’autres ne peuvent s’en inspirer. Il doit y avoir au moins une implémentation de référence accessible au public pour que d’autres puissent s’appuyer sur ou utiliser comme base de référence. “

Dans certains cas, même si les auteurs publient à la fois le code source et les données sur leur article, d’autres chercheurs en apprentissage automatique ont encore du mal à reproduire les résultats. Cela peut être dû à diverses raisons. Par exemple, les auteurs pourraient sélectionner les meilleurs résultats de plusieurs expériences et les présenter comme des réalisations de pointe. Dans d’autres cas, les chercheurs ont peut-être utilisé des astuces telles que l’ajustement des paramètres de leur modèle d’apprentissage automatique à l’ensemble de données de test pour améliorer les résultats. Dans de tels cas, même si les résultats sont reproductibles, ils ne sont pas pertinents, car le modèle d’apprentissage automatique a été surajusté à des conditions spécifiques et ne fonctionnera pas bien sur des données auparavant invisibles.

«Je pense qu’il est nécessaire d’avoir un code reproductible comme condition préalable afin de vérifier indépendamment la validité des résultats revendiqués dans l’article, mais [code alone is] pas suffisant », a déclaré ContributionSecure14.

Efforts pour la reproductibilité de l’apprentissage automatique

papiers avec code