Appels à la recherche

Au cours de notre travail chez Octavian, nous avons rencontré toute une série de problèmes sur lesquels nous aimerions voir davantage de travail. Nous partageons cette liste ici pour aider, espérons-le, à diriger ceux qui recherchent des problèmes intéressants.

Nous sommes ravis de pouvoir aider les personnes travaillant sur ces problèmes et de faire connaître vos solutions via nos canaux Medium et Twitter.

  • QA Reasoning on Knowledge Graphs: C'est un sujet qui nous tient à cœur. Nous pensons qu'une approche basée sur RNN intégrant une attention graphique et des convolutions pourrait être très puissante et nous avons résolu le problème de notre propre jeu de données pour le prouver. MacGraph, notre solution générale au jeu de données CLEVR-Graph constitue un bon point de départ.
  • Les capacités algorithmiques de Transformers: L’architecture de Transformer est rapidement devenue le réseau de traitement de séquences de facto. Bien qu’il soit incroyablement puissant pour l’extraction de corrélations de séquences et qu’il semble beaucoup plus avantageux de l’échelle plus grande, nous pensons que Transformers n’est ni efficace ni suffisant pour effectuer de nombreux types d’opérations de raisonnement / algorithmes requises par AGI. Il est probable qu’ils auront besoin d’autres installations. Prouvez-le en générant des paires de traductions de formules et d'algorithmes et leur sortie, entraînez-vous sur un modèle de traduction de Transformer et voyez quand les traductions échouent.
  • Comment écrire dans un graphique: Utiliser l'attention est un moyen facile de lire un graphique dans un réseau de neurones, mais écrire n'est pas si évident. Concevez un réseau (basé sur l’apprentissage supervisé ou sur le renforcement) qui lit et écrit à partir d’un graphique au cours de son exécution pour obtenir un résultat utile. Par exemple, prenez l'une des tâches MacGraph résolues et créez une version dans laquelle certains faits de graphe importants sont introduits séparément du graphe.
  • Un meilleur score de qualité pour les GAN: les mesures les plus courantes pour les GAN sont basées sur l'utilisation d'un réseau Inception formé pour aider à mesurer le niveau de formation des images générées. Cela présente un inconvénient majeur: il n’a que le pouvoir du réseau Inception et les réseaux de convolution semblent s’appuyer principalement sur des textures locales. Les GAN à la pointe de la technologie coordonnent mal les détails (voir photo en annexe). Il est peu probable que nos mesures de qualité actuelles détectent cela. Cette recherche comporte deux parties: (1) prouver le manque de métriques de qualité actuelles, (2) proposer une meilleure métrique
  • Programmes automatiques: les réseaux d’apprentissage algorithmique ont généralement besoin de programmes d’apprentissage (par exemple, des exemples de formation initialement plus faciles qui deviennent de plus en plus difficiles à mesure que le réseau s’entraîne) pour apprendre leurs tâches. Ces programmes sont souvent créés à la main. Concevoir un schéma pour déployer automatiquement un curriculum (par exemple, auprès d’une DNC pour apprendre à trier). Les réseaux d’adversaire génératif utilisent un deuxième réseau qui apprend à mesure que le réseau principal apprend à fournir un programme d’études. De plus, la perte d’un réseau peut indiquer à quel moment l’ensemble d’entraînement peut être rendu plus difficile.
  • Le langage en tant que structure de contrôle du raisonnement: La voix dans nos têtes est un élément crucial de la façon dont nous raisonnons et atteignons nos objectifs. Pouvez-vous construire un modèle Transformer qui prend une question, se parle pendant un moment, puis fournit la réponse?
  • Formation GAN à l'échelle Internet: OpenAI a montré qu'analyser Internet pour créer un ensemble de données de formation volumineux, puis former un modèle Transformer sur celui-ci, peut donner des résultats précieux. Faites la même chose pour les GAN. Cela présente quelques défis notables: (1) des ressources informatiques pour former un modèle suffisamment grand pour exploiter le jeu de données, (2) pouvez-vous produire un signal conditionnel utile pour le GAN à partir du contexte des images?
  • Phrase to Knowledge Encoder automatiquement le graphe: Les graphes sont un excellent moyen de représenter les concepts associés. Les graphiques ouvrent de nombreuses manières de parcourir et d'extraire des connaissances. Le texte a été utilisé pour représenter une grande partie de la connaissance humaine. Créez une structure de codeur automatique qui prend un ensemble de phrases d'entrée, les transforme en graphique, puis transforme ce graphique en phrases définies ayant un certain niveau d'équivalence à l'ensemble d'entrée. Notez que le graphe provisoire ne doit pas nécessairement être un format que les humains peuvent comprendre (comme il est courant dans les incorporations de mots, d'images et de phrases).
  • Architecture en croissance au cours de la formation: les GAN progressifs ont montré qu’ajouter des neurones au fil du temps à un réseau en cours de formation peut être une réussite. Cette approche de formation présente l'avantage que les réseaux antérieurs sont plus rapides à former car ils ont moins de paramètres. En outre, cela ouvre la possibilité d'ajouter juste assez de neurones jusqu'à ce que les performances souhaitées aient été atteintes. Cela permet même de tester simultanément différentes architectures (telles que Population Based Training). Essayez d’adopter une approche de croissance progressive dans un contexte différent (feedforward, séquentiel, classification d’image) et voyez si cela fonctionne.

Si cela vous intéresse, venez parler avec notre communauté!

appendice

BigGAN lutte avec la coordination des textures

Généré à l'aide de la démo Google BigGAN