Numéro de style Github pour Academic Papers - Vers une recherche en IA reproductible

Photo de Louis Reed sur Unsplash

Les recherches de demain se fondent toujours sur celles d’aujourd’hui. Malgré cela, la question de la reproductibilité reste une source d'inquiétude pour de nombreux chercheurs. Combien de fois avez-vous voulu approfondir un domaine spécifique sans que les documents qui y ont conduit ne soient pas reproductibles de manière vérifiable?

"Plus de 70% des chercheurs ont essayé et échoué à reproduire les expériences d’un autre scientifique et plus de la moitié n’ont pas réussi à reproduire leurs propres expériences."

Nurture.ai est une plate-forme collaborative pour tirer le meilleur parti de la recherche sur l'IA, et la reproductibilité des papiers sur l'IA est l'un des problèmes fondamentaux que nous abordons.

Plus précisément, les documents manquant intentionnellement ou non ou vagues dans certains détails essentiels à la reproductibilité. Nous avons discuté avec de nombreux chercheurs de la difficulté d'obtenir des éclaircissements de l'auteur sur ces problèmes par courrier électronique, et nous en avons fait l'expérience nous-mêmes.

Problèmes de style Github pour les articles de recherche

Nous voulons changer cela grâce aux numéros de style Github des articles que nous avons récemment publiés. Les avantages de cette nouvelle fonctionnalité sont les suivants:

  • Un canal pour les lecteurs de papier et les auteurs pour discuter de questions importantes concernant les papiers
Différents types de drapeaux pour les problèmes
  • Des problèmes peuvent être soulevés pour signaler des problèmes avec le papier, pour poser des questions ou suggérer des améliorations. Les auteurs seront informés de toutes les questions ouvertes sur leurs papiers
Discussions communautaires sur le code d'apprentissage en profondeur sur les forums AI6
  • Une communauté qui devient une couche naturelle de contrôle de la qualité avant que ces problèmes ne soient portés à la connaissance des auteurs, par le biais de ce type de blogs et par l’engagement d’un problème

Voici quelques exemples de problèmes:

  • concepts ambigus / pas clairement expliqués dans l'article
  • problèmes de reproduction des résultats du papier
  • erreurs (dans les équations mathématiques, définition de termes techniques, etc.)
  • hypothèses non valides
  • travaux connexes qui ne sont pas cités

Questions d'ouverture de votre propre

Ouvrir un numéro sur un papier est simple. Accédez simplement à la page de papier souhaitée sur Nurture.ai, cliquez sur les problèmes puis sur le bouton Créer un nouveau problème. Vous aurez la possibilité de remplir le titre, la description et de choisir le type de problème que vous souhaitez ouvrir.

Ouverture d'un numéro sur la plateforme de recherche Nurture.ai

Après cela, l'équipe Nurture.ai communiquera ces problèmes aux auteurs du document. Bien que n'importe qui puisse ouvrir un numéro sur un papier, seuls les auteurs vérifiés sont capables de clore un problème spécifique sur un papier.

Vous avez des commentaires ou des suggestions?

Nous aimerions connaître votre opinion sur la plate-forme actuelle et sur ce que nous construisons, ainsi que sur tous les problèmes que vous rencontrez lors de l'apprentissage de l'IA ou de la conduite d'une recherche en IA. Notre équipe est déterminée à faire de cette plate-forme la meilleure plateforme de recherche possible.

Commentaire ci-dessous, cliquez sur l'icône “Feedback for Nurture.AI” dans le coin inférieur droit de la plate-forme ou envoyez-moi un courrier électronique à l'adresse jameslee@nurture.ai. Nous attendons avec impatience de vos nouvelles et n’oublions pas d’applaudir si vous aimez ça!

Trouvez cela utile? N'hésitez pas à consulter nos autres initiatives AI Saturdays et #APaperADay.

Nurture.ai est une plateforme collaborative permettant d'annoter, de discuter et de soumettre des implémentations de code pour des documents de recherche sur l'intelligence artificielle.

Suivez Nurture.ai sur Facebook et Twitter.