Aller là où notre équipe n’est pas partie avant

Comment planifier où vous allez quand vous ne savez pas comment vous allez y arriver.

Organiser la direction de recherche d’une équipe de science des données est un défi en soi et il n’existe aucun algorithme pour l’optimiser. Ce trimestre, notre équipe essaie quelque chose de nouveau.

Généralement, lorsque notre équipe de science des données cherche des solutions potentielles pour un produit, nous nous dispersons dans toutes les directions et nous rapportons quelques articles et / ou approches. Celles-ci sont ensuite discutées à un très haut niveau. Nous nous dispersons encore pour essayer quelques petites choses. Nous venons d'horizons divers et avons différents niveaux d'expérience. Cette approche ad hoc plutôt décontractée présente quelques inconvénients.

Notre information et notre expertise deviennent silo’ed. Lorsque chaque scientifique poursuit seul des instructions ou travaille uniquement dans des documents de recherche, il devient isolé de la collaboration intellectuelle et développementale. Leurs coéquipiers n'ont peut-être pas les connaissances de base requises pour pouvoir collaborer efficacement et ils ont peut-être développé une telle intuition sur le problème qu'ils ont du mal à faire venir leurs coéquipiers.

Le deuxième inconvénient est lié mais peut-être encore plus important. Ce paradigme rend trop facile pour une équipe de développer des «experts» au détriment de la qualification de toute l'équipe. Une personne peut relever un défi difficile, mais cela n’aide pas l’équipe dans son ensemble à s’améliorer. L'une des raisons pour lesquelles nous aimons tant travailler en équipe est que cela nous permet de nous développer et de développer nos coéquipiers. Bien qu'il soit possible, bien qu'improbable, qu'une seule personne obtienne une compréhension plus profonde, il est toutefois beaucoup plus précieux que toute l'équipe acquière cette compréhension.

La raison la plus importante pour essayer une nouvelle approche est de construire une base commune. Il n’est pas possible pour chaque membre de l’équipe de lire chaque article ou de devenir un expert dans chaque direction de recherche potentielle. Il est toutefois possible pour l’ensemble de l’équipe de développer une compréhension fondamentale commune du problème sous-jacent. Cette base commune contribue à réduire le cloisonnement des connaissances et à réduire le syndrome de «sage sur la montagne» qui peut s’enraciner dans une équipe composée d’experts.

La première alternative à l'approche ad hoc que nous avons essayée était la méthode de la «directive d'en haut» ou du haut vers le bas. C’est là qu’un scientifique plus expérimenté évalue toutes les possibilités, développe certaines idées jusqu’à un plan de développement, puis les diffuse aux coéquipiers à exécuter. Théoriquement, cette méthode est efficace pour la rédaction de code et s’intègre parfaitement dans les cadres de gestion traditionnels, mais ne fait qu’exacerber les défauts évoqués précédemment. Les scientifiques à qui on le dictera se sentiront frustrés de construire des modèles sans comprendre et n’auront que peu d’enthousiasme pour cette tâche. Ce scénario aboutit à une équipe encore moins productive, à des modèles peu développés et à une étouffante innovation.

L'alternative que nous essayons ce trimestre est une méthode top-around. Selon cette méthode, un membre senior est responsable de l’établissement du plan de recherche, mais au lieu de lui demander de travailler en collaboration avec l’équipe. Une fois l’objectif général défini, une série de réunions avec toutes les équipes est programmée. À travers ces réunions, l’ensemble de l’équipe développe une solide compréhension de base de l’espace de problèmes et de l’état actuel de la recherche. L’équipe discute de diverses approches et présente leurs idées dans quelques plans réalisables. Les sections suivantes détailleront les réunions et les processus.

Préparation de réunion

Avant d'appeler toute l'équipe dans une salle, l'animateur doit faire quelques préparatifs pour s'assurer que les choses restent concentrées et atteignent un objectif. Il est important que l'objectif exact ait été défini et convenu avec la gestion des produits. À titre d'exemple, notre déclaration d'objectif est:

Nous avons besoin d'un point de terminaison modèle unique pour toutes les langues. Cela signifie que nous devrions pouvoir interroger un seul point pour l'incorporation de texte à partir d'un langage arbitraire. Ce point doit être performant à la fois en termes de latence et de qualité du modèle. La nouvelle approche ne devrait pas être moins performante, en termes de latence et de MRR (rang réciproque moyen), que l’approche modèle par langue actuellement utilisée. La nouvelle approche devrait prendre en charge au moins l’ensemble des langues actuellement prises en charge.

Il y a quelques choses à noter à propos de notre objectif. Il indique clairement ce qui est nécessaire en tant que résultat final, un point unique qui renvoie une incorporation de texte d’une langue arbitraire. Il ne dit pas comment cela devrait se produire ni quel type d’approche de modélisation devrait être utilisé. Enfin, cela nous donne une barre de performance minimale. Nous devrions faire au moins aussi bien que ce que nous avons déjà pour les langues que nous supportons actuellement.

Il est important que toute l'équipe soit au courant de ce qui se passera pendant la réunion de lancement de la phase 1, car elle aura besoin de temps pour réfléchir et générer des idées.

Réunion de lancement: définitions communes

Cette première réunion est la plus courte des deux mais certainement pas courte. Nous avons programmé 3 heures et utilisé la plupart. L'objectif de cette réunion est d'établir une compréhension commune du problème et des exigences. Il y a N choses à établir, où N ≥4:

Que faisons-nous maintenant?

Discutez et notez les approches actuelles (le cas échéant). «Nous n’avons tout simplement pas à nous en occuper» est une réponse tout à fait valable.

Pourquoi l'approche actuelle n'est-elle pas durable?

Vous lancez cette recherche pour raison. Qu'Est-ce que c'est? Où la solution actuelle vous laisse-t-elle tomber ou comment est-elle non évolutive? Si vous n’avez pas d’approche actuelle, cela ne fonctionnera certainement pas pour vous.

De quoi avons-nous besoin / voulons-nous?

Que voulez-vous que la nouvelle approche fasse? Commencez par le très ambitieux «faites tout ce qui est!» Et réduisez-vous en procédant par des simplifications raisonnables jusqu'à atteindre le modèle minimum viable qui répondra à l'objectif et au problème avec l'approche actuelle.

Quelles idées pouvons-nous proposer maintenant?

C’est votre chance de générer des idées sans vous soucier de ce que dit la littérature et de savoir si cela a été fait. Peut-être que l’idée est ridicule et ne serait jamais réalisable, mais écrivez-le quand même. Le but de cet exercice est que l’équipe utilise son imagination, s’étende et réfléchisse dans de nouvelles directions. Vous serez surpris de voir combien de valeur est là une fois que ça roule. Il est vraiment important que tous les membres de l'équipe se sentent comme des participants précieux. Ne jugez pas les idées, mais explorez-les. Demandez des extensions et des modifications.

Qu'en est-il des données et des métriques?

Compte tenu de ce que nous avons dit à propos des trois premiers éléments, de quel type de données avons-nous besoin et de quel type de données pouvons-nous obtenir? Identifiez aussi clairement que possible les ensembles de données publics et / ou privés auxquels vous pouvez accéder et ce qu'il faut faire pour les rendre consommables. À ce stade, vous définissez également les métriques qui vous intéressent et comment vous allez déterminer à quoi ressemble le "succès". Cela devrait refléter l’énoncé de l’objectif utilisé pour guider la réunion.

Qu'allons-nous apprendre demain?

Une fois que les trois premiers éléments ont été explorés, l’équipe doit se concentrer sur la découverte de l’état actuel des connaissances en recherchant et en sélectionnant des travaux de recherche en cours susceptibles de constituer une base de connaissances pour la région. Les candidats sur papier peuvent être proposés par n’importe quel membre de l’équipe mais, de préférence, ils n’ont pas lu plus de suffisamment de ressources pour déterminer s’il est pertinent.

Évaluez chaque article en équipe, en lisant les résumés à haute voix, pour en sélectionner les 3 ou 4 plus pertinents / utiles. IMPORTANT: Personne dans l’équipe ne devrait aller lire les documents avant les réunions. Ceci est extrêmement important car la phase suivante fonctionne mieux si tout le monde est sur le même pied en ce qui concerne les journaux.

Rien d'autre?

Y a-t-il d'autres préoccupations ou considérations à discuter? Toute l'équipe doit pouvoir prendre la parole.

Coup d'envoi de la recherche: jeter les bases

Cette réunion est plus une retraite en ce sens que vous réservez une salle de conférence avec un tableau blanc pour une journée entière et que l'équipe s'engage à consacrer cette journée à la création d'une base de connaissances.

Le principe de base de cette réunion est que chaque personne devrait avoir confiance en sa compréhension de chaque section de chaque article lu ou que toutes les personnes devraient convenir mutuellement qu’elles ne peuvent pas en comprendre le sens. Si une seule personne n’est pas confiante dans sa compréhension d’une section, nous ne la dépassons pas. Si cela signifie que tout le temps est consacré à un seul article, alors ce sera comme ça.

Étape 1: Choisissez ce qui ressemble à l'article le plus utile / pertinent

Étape 2: Un membre de l'équipe lit un paragraphe commençant par l'abrégé.

Étape 3: Enregistrez-vous pour évaluer votre compréhension.

  • Si quelqu'un n'est pas sûr, arrêtez-vous et expliquez si vous souhaitez passer au tableau blanc ou utiliser Google jusqu'à ce que tout le monde comprenne de la même manière.
  • C’est une bonne idée pour le lecteur de paraphraser ou de récapituler tout contenu mathématique ou technique contenu dans le paragraphe. Cela permet à l’équipe de savoir s’ils comprennent tous les choses de la même manière.

Étape 4: Le prochain membre de l'équipe lit un paragraphe

Répétez à partir de l'étape 3 jusqu'à ce que le papier soit terminé

Dernière étape: Discutez des documents à emporter et déterminez si une approche est réalisable. Il est utile d’évaluer la difficulté d’appliquer un tel modèle à petite, moyenne ou grande échelle. Si nécessaire, réservez une 3ème réunion pour lire tous les documents nécessaires.

Suivre

L'animateur de la réunion / scientifique principal doit ensuite prendre les résultats des 2-3 réunions et les distiller en un ensemble d'actions. Ces actions peuvent être organisées en ordre chronologique qui peut ensuite être planifié sur le trimestre. Revenez avec les membres de l'équipe pour vous assurer que rien n'a été oublié et répartissez les tâches. Rappelez-vous, commencez toujours par créer de bonnes données.

Retro: réfléchir sur le bon, le mauvais et le truand

Une partie importante de toute nouvelle entreprise consiste ensuite à faire une pause et à réfléchir à la façon dont le processus a été un succès, là où il a échoué et ce qui nécessite un peu de polissage; Nous avons mené l'une de ces rétrospectives à la fin du trimestre.

Conduire le rétro

Cela peut être fait avec un grand tableau blanc ou simplement sur des post-it. Demandez à chaque membre de l'équipe d'écrire au moins une chose pour chaque catégorie.

  • The Good: Ce qui s'est particulièrement bien passé. Où le nouveau processus a-t-il eu le plus grand impact positif pour vous et pour l'équipe?
  • The Bad: Où le nouveau processus a-t-il échoué? Quels obstacles ou points d'achoppement avez-vous rencontrés, vous et / ou l'équipe, qui auraient pu être prévus? Ce qui ne vous a pas aidé.
  • Le truand: Qu’avons-nous fait qui n’était pas assez bon? Est-ce que quelque chose a manqué ou pas complètement expliqué

Déplacez-vous dans les catégories, The Bad -> The Ugly -> The Good, et lisez chaque point. Il n'y a pas de blâme ni de honte durant ce processus. Cela devrait découler d'une volonté d'améliorer la collaboration et les capacités de recherche en équipe. Si l'auteur veut élaborer, ils le devraient. Pour chaque point, déterminez s’il existe une action qui peut ou doit être entreprise pour le rectifier, l’écrire et lui donner un propriétaire.

Notre rétro

Notre rétro a été incroyablement utile et je partagerai avec vous certaines de nos connaissances. Ceux-ci devraient être incorporés dans votre processus s'ils sont appropriés

Le mauvais

La plupart de nos «mauvais» points ont été classés dans la catégorie «Pas assez de préparation technique». En particulier, nous avons estimé nécessaire d’ajouter une troisième réunion pour expliquer en détail comment nous allions procéder. Cela comprenait des choses telles que

  • Organisation des données: tout le matériel ETL
  • Timelining: Nous avons entrepris des expériences avant que tous les travaux préparatoires soient réalisés. Des choses comme comment allions-nous tester, quelle était notre base de référence. Où avons-nous obtenu certaines de nos données?
  • Comment allions-nous gérer et organiser nos expériences? Fichiers de configuration? Rédaction et partage des résultats.

En résumé, nous avons généré d’excellentes idées de recherche, mais nous nous sommes attachés à accorder autant d’attention et de réflexion à l’exécution.

Le moche

Une grande partie de la laideur est venue de nos points négatifs. Nous avons trouvé beaucoup de bonnes recherches, mais aurions également dû retrouver les données internes et externes appropriées. L'autre grand groupe de points concernait la configuration de notre environnement. Nous essayons de faire fonctionner les bibliothèques appropriées dans le respect de nos règles de sécurité, de passer à python3 et de corriger tous les petits bugs liés à la modification de versions dans du code existant. Ces problèmes n'étaient que des problèmes internes et pourraient ne pas exister dans d'autres organisations.

Le bon

La bonne catégorie était de loin la plus grande et nous remplissait de fierté et de satisfaction. Nous avons fait preuve d’un travail d’équipe incroyable, chaque membre aidant les autres. La lecture du papier de l’équipe a permis à chacun de bien comprendre ce sur quoi nous travaillions et de partager une référence pour créer de nouvelles idées. Les autres points positifs sont:

  • Nous avons pu parcourir rapidement les idées
  • Nous avons fait de solides progrès vers notre objectif
  • Nous avons tous mieux réussi à élaguer nos idées en recherchant des expériences qui nous permettraient de progresser matériellement plutôt que de satisfaire notre curiosité.

Conclusion

Notre réflexion sur le trimestre précédent et ce processus ont montré qu’il était extrêmement utile pour contrecarrer le cloisonnement des connaissances et empêcher la création de «spécialistes» isolés au sein de l’équipe. Nous ajouterons une troisième réunion pour déterminer toutes les pratiques sur le terrain lors de la prochaine itération de notre processus, ce qui, espérons-le, permettra de résoudre les problèmes soulevés dans notre rétro. Notre souhait de partager notre processus est que vous puissiez l'adapter à votre équipe et à votre entreprise et réussir à développer des approches novatrices et intéressantes pour vos propres défis.