De novice à chercheur; Deux années d'apprentissage en profondeur avec Fast.ai

À mon retour de congé de paternité en mars, je suis ravi de dire que j’ai rejoint NVidia pour effectuer à temps plein des recherches approfondies sur l’apprentissage en profondeur, en travaillant à l’intersection de données tabulaires (parfois appelées structurées) et de rapids.ai. Ce voyage n’aurait pas été possible sans l’étonnant cours, la bibliothèque et la communauté rapides.

Comme Sylvain Gugger, un autre étudiant du cours qui travaille actuellement comme chercheur chez fastai et dont le blog a inspiré celui-ci, fastai a changé ma vie et je suis profondément reconnaissant à Jeremy et Rachel pour leur vision d'une profondeur plus accessible. apprendre l'éducation pour tous. Dans l’esprit de son message, je voulais partager mon parcours et les choses qui m’ont aidé tout au long du chemin dans l’espoir de pouvoir aider et inspirer les autres qui se lancent dans cette voie.

Le voyage

Contrairement à beaucoup d'étudiants fastai, je viens d'un milieu d'apprentissage automatique. Un de plus axé sur l’interaction entre les ordinateurs et l’apprentissage préalable à la formation approfondie, le travail que j’ai réalisé tout au long de ma thèse pouvait donc être mis en œuvre par un étudiant du fastai en quelques heures, mais les bases de la mathématique / programmation et la capacité de lire des articles y contribuaient sans aucun doute. Pourtant, je me réfère rarement à cette époque et je suis tout à fait d’accord avec l’avis de Jeremy selon lequel un doctorat n’est pas obligé de faire un travail d’apprentissage en profondeur.

Après l'université, j'ai travaillé pour le site de rencontres en ligne de nombreux poissons, en écrivant des algorithmes de correspondance, des systèmes de détection de fraude et, éventuellement, en dirigeant l'équipe de recherche. J’ai quitté l’année qui a suivi sa vente au groupe Match et me suis retrouvé à la croisée des chemins, examinant des options d’ingénierie des données et ne voulant pas vraiment revenir à la science des données.

Le cours Fastai v1 est sorti ce printemps-là et, au fil de ma progression et de ma connaissance des gens sur le forum, je suis devenu de plus en plus accro. Le développement appliqué de haut en bas est une approche d’apprentissage qui me convient bien, et j’ai rapidement adoré le style d’enseignement de Jeremy. Quand j’ai appris qu’il y avait une partie 2, j’ai immédiatement posé ma candidature et j’ai littéralement sauté de joie quand j’ai appris que j’étais entré.

Avec mon expérience dans les systèmes de recommandation, cette composante du cours m'intéressait beaucoup et j'ai commencé à faire de plus en plus de recherches dans ce domaine. Au cours du processus, j'ai décroché un rôle chez Realtor.com, travaillant sur des projets de recommandation et de classement de recherche, et c'est là que j'ai vraiment commencé à voir le potentiel de ce que l'on m'enseignait. Apprendre en profondeur pour les systèmes de recommandation est devenu ma passion, et je me suis plongé la tête la première, en lisant tous les articles sur le sujet et en consommant tout ce que je pouvais trouver sur Youtube. Je parlerai davantage des habitudes que j’ai développées au cours des deux dernières années et qui ont conduit au rôle de recherche dans la section suivante, mais cette période a été très formatrice pour moi en termes de développement des compétences et de la base de connaissances qui a conduit à ma formation actuelle. rôle chez NVidia.

En cours de route, j'ai pris chaque offre de fastai. Je suis actuellement sur ma troisième itération et chaque classe, j’apprends quelque chose de nouveau. Si vous ne regardez pas les anciens cours, je vous recommande fortement de revenir en arrière. Il en va de même pour le cours d’apprentissage automatique, qui m’a appris ce que je sais des modèles de forêt aléatoires. La qualité de l’enseignement dispensé par fastai est si élevée que j’ai structuré mon équipe autour de cette agence chez Realtor, en utilisant les cours comme points de départ pour des projets qui se sont avérés extrêmement fructueux.

Les étapes le long du chemin

Bien que mon parcours soit unique pour moi, je souhaite offrir une aide à ceux qui souhaitent réaliser le même rêve: devenir un chercheur en apprentissage approfondi ou un meilleur praticien.

Les astuces pour compléter efficacement fastai abondent sur le forum, et je vous recommande vivement de les consulter et de les suivre si ce n’est déjà fait. Aller au-delà de la classe demande des efforts supplémentaires, mais dans mon esprit, c’est quand la magie commence vraiment à se produire. Un certain nombre d'habitudes m'ont vraiment aidé à devenir un meilleur chercheur et un meilleur développeur. Ils sont simples mais efficaces. Il est facile de naviguer entre eux comme vous pouvez déplacer les cahiers, mais si vous pouvez les mettre en œuvre, je vous garantis qu'ils auront un impact.

  1. Soyez à l'aise avec les papiers. Vérifiez chaque semaine Arxiv, lisez un journal tous les soirs. J'avais l'habitude d'utiliser arxiv-sanity mais malheureusement, cela ne semble plus être maintenu. Je cherche toujours une solution, donc si vous avez quelque chose à me faire savoir. Je recommanderais de choisir un domaine de recherche spécifique où vous pouvez lire la plupart des articles qui sortent. Trouvez un sujet qui vous intéresse comme une recommandation ou un transfert de style et suivez ce petit domaine. Prendre l’habitude de lire régulièrement des articles est maintenant mon super pouvoir. C’est une chose que vous pourriez aussi avoir si vous prenez l’habitude.
  2. Convertissez les vidéos fastai en audio uniquement pour les écouter en podcast. Pour moi, trouver le temps de regarder des vidéos deux ou trois fois n’est pas faisable, en particulier maintenant que j’ai deux jeunes garçons, mais la densité du matériel l’exige. Regardez-le une fois et écoutez-le encore et encore pendant votre trajet, à pied ou ailleurs. J’ai écouté des dizaines de fois et j’ai encore de nouveaux concepts et de nouvelles idées.
  3. Mettez en œuvre quelque chose de différent de ce que les cahiers fournissent. Ce fut la clé pour moi de libérer le potentiel de fastai. J'ai recréé le codeur automatique de réduction de bruit de la solution à la compétition de sécurité au porto seguro. Cela s’est avéré le point de départ de toute une série de recherches sur l’apprentissage en profondeur sur des données tabulaires et a conduit à mon rôle actuel. Choisissez quelque chose de différent de ce que la plupart des gens mettent en œuvre et mettez-le en œuvre correctement.
  4. Restez actif sur les forums et participez à la communauté. C’est l’un des aspects les plus négligés du cours dans mon esprit, offrant à un groupe de personnes tout aussi enthousiastes que d’apprendre en profondeur. Pour moi, cela a été un grand catalyseur d’idées, de connaissances et d’intérêts.
  5. Recherchez d'autres cours pour élargir vos horizons. Je recommande vivement le cours de PNL CS224n de Stanford enseigné par Chris Manning, CS231n dispensé par Andrej Karpathy, le cours de Gene Kogan sur l’apprentissage en profondeur appliqué à l’art, The Neural Aesthetic, et PyData, qui propose régulièrement d’excellents débats en profondeur.

Fastai m’a beaucoup donné, et continue de le faire, et je suis ravi d’avoir la possibilité de donner quelque chose en retour. Si vous m'aviez dit au début de mon parcours, lorsque j'ai vu la première vidéo sur youtube, qu'un MOOC en ligne gratuit me conduirait à un poste de chercheur dans l'une des plus grandes entreprises de technologie du monde, je ne suis pas sûr que j'aurais je te croyais, mais me voilà. Je ne doute pas que cela est presque entièrement dû à fast.ai.