Pourquoi nous devons créer des chaînes de blocs dans la recherche: crise et opportunités de collaboration

Des solutions décentralisées, sans confiance et correctement motivées sont l'avenir de la collaboration scientifique.

Il est probable que vous n’êtes pas chercheur. Voici donc une petite expérience de pensée.

Vous vous associez à un projet qui vous a fasciné, même si vous ne savez pas exactement quoi et comment vous allez effectuer des recherches. Vous commencez par lire le premier article sur le sujet et passez en profondeur à travers un certain nombre de ses références jusqu'à ce que vous compreniez mieux ce sur quoi vous allez bâtir. Cela prend des semaines. Il est clair que vous ne répéterez pas l’ensemble des recherches effectuées sur ce sujet; vous ne pensez même pas à la validité de ce projet. Et même si vous l’avez fait, la durée de votre contrat est très déterminée et vous avez accepté de faire quelque chose que d’autres êtres humains n’ont pas fait, mais pas ce qu’ils ont déjà fait.

Vous êtes déjà allé aux premières conférences pour vendre votre travail et vous démarquer en tant que personne derrière X, même si cela ne fonctionne pas encore. Certaines des choses que vous avez trouvées ne sont peut-être pas exactement comme prévu. vous continuez d’essayer jusqu’à ce que vous obteniez un résultat positif, qui mérite d’être publié. Le temps presse et le compteur de papier de cette année dit toujours 0; vous avez appris que ce n’est certainement pas un bon signe. Mais vous n’êtes pas troublé car on vous a assuré qu’il y aurait suffisamment de matériel pour en faire au moins deux papiers.

Après quelques mois d’échanges entre vous et les collaborateurs, vous avez finalement envoyé le premier manuscrit au journal. Deux mois plus tard, il a été examiné par un chercheur bénévole. Bien que ce ne soit pas un rejet, vous voudriez pouvoir renvoyer cette lettre à votre heure sombre. Les discussions avec vos pairs vous rassurent, car ils sont unanimes pour dire que les critiques n’ont pratiquement jamais été utiles.

Une fois que vous avez reçu votre première demande d’examen du journal de quelqu'un d’autre, vous êtes flatté et déterminé à faire du bon travail. Mais comme vous le faites gratuitement et que vous avez des tonnes de travail, vous vous en occupez quand même, juste avant la date limite. Vous ne pouvez pas trouver d’erreurs sans accès au pipeline d’analyse et aux données. Vous vous concentrez donc sur les erreurs logiques potentielles ou sur les éléments que les auteurs pourraient explorer en plus de ce qu’ils ont déjà fait.

A présent, vous savez combien de temps la communication scientifique consomme. combien de fois vous avez probablement réinventé la roue en travaillant parce que vous manquiez de ressources ou que votre encadrement / supervision était insuffisant. Vous pourriez même être à court de financement et devez demander une subvention de recherche. On vous a dit que demander du financement est un art; vous devez rédiger des subventions à la fois novatrices et sûres, déguisant en partie ce que vous avez déjà fait.

Au cours de votre carrière, vous entendez un certain nombre d'histoires qui semblent surréalistes. Ce ne peut pas être vrai que quelqu'un a été victime d'intimidation pour ne pas travailler le week-end ou prendre des vacances; manipulé pour laisser la recherche prouver l'irreproductibilité d'une recherche fortement financée; ou avoir le crédit pour leurs résultats de laboratoire prises par un autre chercheur. Le traitement présumé de ces cas vous est souvent choquant.

Je suis sûr que certaines de ces choses vous semblent familières, même si vous n’êtes pas vous-même chercheur. Il existe un grave problème inhérent à tout espace concurrentiel, décrit par [-1] dans la recherche comme "(…) [obsession] avec les points de prestige attribués par les revues comme moyen de gagner des emplois, une promotion ou un financement". Je doute que l’environnement du «gagnant-prend-tout» stimule le dévouement de Jane ou John, salariée moyenne, à rechercher des réponses réellement solides à des questions difficiles, ou à faire un acte de foi pour promouvoir des inventions folles. Et certains disent que la crise a atteint son point culminant, particulièrement à l’époque où les erreurs commises par les chercheurs sont utilisées à des fins politiques [8] pour donner l’information erronée selon laquelle il n’ya pas de réchauffement climatique, les vaccinations sont mortelles ou la Terre est plate.

Crise (comme dans "appel à l'action")

Mais pour un réseau complexe de chercheurs, d'éditeurs, de dirigeants ou d'institutions subventionnaires, personne ne tirerait profit de ce qui sort du cerveau de X. La recherche est hautement collaborative et l'échange, ainsi que la confiance, en sont des éléments essentiels. Comme l'a dit le Dr Joris van Rossum dans ce rapport [1] à propos de l'aspect de la communication,

«(…) La recherche dépend d'un échange efficace d'idées, d'hypothèses, de données et de résultats (…). La communication savante est perçue comme souffrant des flux de travail hérités, des paradigmes de publication obsolètes et des intérêts commerciaux diamétralement opposés à ceux de la science. ”

Passons quelques minutes à un certain nombre de problèmes qui appellent des contre-mesures.

                       CRISE DE REPRODUCTIBILITÉ
[2]

Une fois, j’ai moi-même été incapable de reproduire les résultats d’une expérience numérique que j’avais l’intention de développer. En plus de la frustration personnelle, j’ai le sentiment que c’est briser la confiance dans la recherche et causer une énorme perte de temps / ressources, en particulier de ceux qui ne réalisent pas l’erreur et ne continuent pas. Je suis cependant d'accord avec l'affirmation selon laquelle

«Être à la pointe de la science signifie que, parfois, les résultats ne seront pas robustes. Nous voulons découvrir de nouvelles choses sans générer trop de fausses pistes. »[2]

Ce qui amplifie la crise de reproductibilité au-delà de l’inévitable, c’est le compte rendu sélectif des résultats et la pression en faveur de la publication [2], produits de la compétitivité et de mauvaises incitations. Elle est ensuite suivie d’une analyse médiocre, d’un contrôle insuffisant ou de l’absence de méthodes / code / données brutes; aspects qui, une fois rendus transparents, pourraient créer un écosystème de travail auto-correcteur.

Une tolérance plus grande et une infrastructure plus efficace pour les erreurs d'auto-déclaration [11] réduiraient certainement aussi la gravité du problème.

             SECRET, CONCURRENCE ET SCIENCE FERMÉE

Des universitaires anonymes ont déclaré que la culture axée sur la performance ruinait la recherche scientifique [12], conduisant à une «science aveugle qui sous-enquêtait sur des domaines moins accrocheurs - mais finalement plus utiles». »La concurrence féroce et la pression pour publier ont déjà les atteintes à la santé dans les universités, avec 33% des doctorants risquant un trouble psychiatrique commun [13], en partie à cause de la non-transparence des exigences professionnelles et du contrôle, ou à la jonglerie entre les exigences professionnelles et familiales. Du point de vue des chercheurs expérimentés,

«Partout, les superviseurs demandent aux étudiants en doctorat de publier dans des revues à fort impact et d'obtenir du financement externe avant d'être prêts.» [14]

La pression exercée pour publier dans des revues à fort impact résulte de l'adoption généralisée d'une méthode d'évaluation erronée de l'impact de la recherche. DORA [9] (Déclaration de recherche de San Francisco) a formulé des recommandations visant à «éliminer l’utilisation d’indicateurs basés sur le journal, tels que Facteurs d’impact de journal, dans les considérations de financement, de nomination et de promotion».

Il met en garde que

«Le facteur d'impact de la revue, calculé par Thomson Reuters *, a été créé à l'origine pour aider les bibliothécaires à identifier les revues à acheter et non pour mesurer la qualité scientifique de la recherche dans un article.» [9]

Une concurrence féroce alimente également le secret: ne pas partager ouvertement des idées ou des données de peur d'être pris au piège, ne pas divulguer trop de détails sur les méthodes ou les pipelines post-publication pour éviter d'être appelé pour ses propres erreurs. Le Manifeste de recherche de Leiden [14] soutient à juste titre que «la transparence permet un contrôle» et appelle, entre autres, à

“Garder la collecte de données et les processus analytiques ouverts, transparents et simples”

et

“Permettant aux évaluateurs de vérifier les données et les analyses”.

Permettre un examen minutieux agira certainement comme un mécanisme de prévention pour «jouer le système».

                   REDONDANCE ET INEFFICIENCE
[5]

Les redondances et les inefficacités dans la filière de recherche sont d’autres problèmes qui appellent des améliorations. Cela inclut les biais dans la communication et la publication, ainsi que les problèmes liés à l'examen par les pairs et à l'examen par les pairs après la publication.

Le biais, associé à la pression pour accumuler des publications et des citations à fort impact, signifie qu’il est préférable de ne communiquer que des "résultats positifs", c’est-à-dire ceux qui confirment l’hypothèse plutôt que la réfuter, car ils ont plus de chances d’être remarqués. Les résultats négatifs sont actuellement considérés comme indignes de publication ou mentionnés dans une publication, dans la mesure où des revues spécialisées sont nécessaires pour les prendre en charge [5]. La bonne nouvelle est que, si nous éliminons ce biais et le combinons avec un partage ouvert des idées de recherche et des pipelines, nous empêcherons des milliers de scientifiques de réinventer la roue et de répéter des expériences redondantes. Cela se traduit par une réduction des coûts et peut-être par une affectation plus ciblée du financement de la recherche.

En revanche, l’examen par les pairs, bien que conçu pour faire la distinction entre une recherche de qualité médiocre et de grande qualité, ne semble pas fonctionner comme prévu [7]. Il est plutôt perçu comme un obstacle, comme

«L’avancée des connaissances scientifiques et des progrès est considérablement ralentie par le processus d’évaluation par les pairs.»

Dans sa forme actuelle, il permet les rejets en cas de conflit d’intérêts ou de points de vue entre les chercheurs. En outre, les chercheurs sont encouragés à s’occuper de l’examen avec diligence ni dans les délais.

De même, le système d'évaluation par les pairs post-publication est négligent et inefficace. Dans l'article sur «une tragédie d'erreurs», les chercheurs ont décrit leurs efforts acharnés pour signaler des erreurs importantes [11].

«Nous avons appris que l'examen par les pairs après la publication n'est ni cohérent, ni lisse ni rapide. De nombreux rédacteurs de journaux et membres du personnel ne semblaient pas préparés ou mal équipés pour enquêter, agir ou même répondre. Trop souvent, le processus s'est déroulé à travers des couches de courriers électroniques inefficaces envoyés par des auteurs, des rédacteurs en chef et des représentants de journaux non identifiés, souvent sans aucune déclaration publique ajoutée à l'article d'origine. "

Ils soulignent six problèmes qui pourraient peut-être servir d’inspiration pour une nouvelle entreprise.

1. Les rédacteurs sont souvent incapables ou réticents à prendre des mesures rapides et appropriées.
2. Où envoyer les expressions de préoccupation n'est pas claire.
3. Les revues qui reconnaissaient des erreurs d’invalidation hésitaient à publier des retraits.
4. Les revues demandent aux auteurs de corriger les erreurs des autres.
5. Il n'existe aucun mécanisme standard pour demander des données brutes.
6. Les expressions de préoccupation informelles sont négligées.

Enfin, je dirais qu’il existe un autre aspect des opportunités manquées dans la communication en matière de recherche, qui est souvent négligé. Lorsque nous étudions nos domaines étroits dans des boîtes fermées détachées, nous percevons que les interactions avec des pairs en dehors de notre domaine n’ont pas beaucoup de sens. À l'heure actuelle, nous ne parvenons pas à tirer pleinement parti de la technologie ou des ressources disponibles pour permettre un dialogue interdisciplinaire entre différentes «espèces» de recherche à un niveau autre que politique. Mais ouvrir un tel dialogue nous ouvrirait les yeux, en particulier sur de nouvelles idées ou sur l’application de méthodes existantes d’un autre domaine dans un nouveau contexte. Certains en épargneraient même la publicité et l'embarras indésirables [6].

                     ACCÈS OUVERT OU PAYWALLS
«Il a consulté sa liste de résumés et a fait le calcul. L'achat des papiers coûterait 1 000 dollars cette semaine seulement, à peu près autant que ses frais de subsistance mensuels. »[3]
(papier de dat) url

De nos jours, ouvrir la science revient souvent à pirater des documents par le biais de plates-formes telles que SciHub ou même Twitter (voir #canihaspdf) pour contourner les coûteux paywalls. À l’origine, le véritable besoin de trouver des moyens de propager l’information savante s’est quelque peu transformé en une entreprise monopolistique et extrêmement lucrative au monde [4].

Nous pouvons avoir la science ouverte dans l’intérêt de la science, ou des paywalls monopolistiques dans l’intérêt des affaires de quelqu'un d’autre - je ne pense pas que nous puissions avoir les deux. Il existe un besoin urgent de mettre en place un système meilleur et plus démocratique, voire de récompenser les chercheurs eux-mêmes pour leurs propres travaux. Selon moi, à côté des géants qui bloquent l'accès gratuit aux articles, il existe une sorte d'oubli économique chez les chercheurs qui me laisse encore perplexe. Ainsi, les chercheurs non seulement ne reçoivent aucune réduction pour chaque article vendu, mais doivent également payer, sans être payés, pour la publication de leurs travaux. Si J.K. Rowling a payé à Bloomsburry quelques milliers de dollars par 20 pages d’Harry Potter, comment cela fonctionnerait-il?

                           CONFIANCE BRISÉE

J'ai soutenu que la recherche est fondée sur une communication scientifique fondée sur des preuves, ainsi que sur la confiance. Mais que se passe-t-il si cette confiance est brisée?

Des universitaires anonymes, nous apprenons que

"Nombreux sont ceux qui sont tellement attirés par la perspective du succès qu'ils sont prêts à dissimuler, à mystifier et peut-être à falsifier la recherche pour déjouer le système et en récolter les fruits abondants" [12]

ou

«Malheureusement, les étudiants sont également vulnérables au vol de données, d’idées et de matériel; non seulement par leurs collègues, mais parfois par leur propre superviseur »[15].

Même si cela a toujours été le cas, grâce à la généralisation d'Internet et à la démocratisation de structures historiquement très hiérarchisées, nous avons enfin la possibilité d'agir non seulement pour les personnes touchées, mais pour la science dans son ensemble. Ces mauvaises pratiques portent un préjudice irréversible à la perception qu'a la société de la validité de ce que font les chercheurs. À son tour, cela affecte le montant de l'argent des contribuables destiné à la science, ou même pire - si la planète va se consumer ou non. Paradoxalement, nous devons envisager l'introduction de solutions sans confiance afin de regagner la confiance.

Opportunités: où blockchain peut aider (et où pas)

http://ec.europa.eu/programmes/horizon2020/en/h2020-section/open-science-open-access

La qualité de la recherche, et donc de l'avenir de l'humanité, dépend d'un échange d'idées, d'ensembles de données, de pipelines et de résultats efficace et rentable. Que vous soyez impliqué dans la recherche académique ou dans l'industrie, nous partageons un dénominateur commun, à savoir un bénéfice clair tiré de:

  • rendre les résultats de la recherche plus reproductibles et plus sains;
  • évaluer l'impact de la recherche sur la base d'une métrique juste et, partant, orienter le financement là où son rendement est le plus élevé;
  • prévenir les licenciements et le gaspillage de ressources humaines ou financières;
  • utiliser les nouvelles technologies pour faciliter les échanges d’expertise, non seulement d’un lieu géographique à l’autre, mais aussi d’une discipline à l’autre;
  • réparer et prévenir les dommages causés par les cas où la confiance est brisée.

Je ne couvrirai pas l’introduction à la technologie de la blockchain (voir par exemple [16]), mais m’attarderai plutôt sur les problèmes clés qu’elle contribue à résoudre ou à résoudre. Par exemple, prenons la décentralisation, ce qui signifie qu’elle est conçue pour être démocratique et impossible à contrôler par un parti; la transparence, c’est-à-dire que tout le monde peut voir ce qui a été transmis au réseau; ou censure-résistance, c'est-à-dire ce qui a été enregistré, reste immuable. De plus, dans la mesure où un échange de biens numériques, tel qu'un jeton ou une pièce de monnaie, en est une partie inhérente, il constitue une incitation économique à faire partie du système sur lequel il est construit.

Ces protocoles / technologies ne peuvent à eux seuls résoudre tous les problèmes majeurs mais peuvent servir d’infrastructure permettant de combiner des composants en chaîne et des composants hors chaîne grâce à des incitations économiques appropriées. Alternativement, comme décrit dans [1], tous les pipelines de recherche pourraient devenir «un vaste ensemble d’informations et de données dynamiques créées, modifiées, utilisées et partagées en collaboration» sans aucun propriétaire.

Voici quelques idées sur ce que cela pourrait signifier en pratique pour les problèmes décrits.

# Pour être traité comme une feuille de calcul
- reproductibilité - incite au partage des données, du code, des méthodes de révision et des résultats; inciter le processus ouvert d'évaluation par les pairs post-publication;
- secret et concurrence - mettre en place un système permettant de retracer et de documenter l’ensemble des recherches en cours d’évaluation pour l’excellence et les demandes de subvention; financer la recherche par le «financement participatif» des ICO (offres de pièces initiales);
- redondance et inefficacité - inciter à un examen par les pairs rapide et diligent; effacez l'anonymat et développez votre réputation de critique pour revendiquer plus de responsabilité pour vos actions;
- confiance cassée - trace et attribue correctement qui et quand les données ont été collectées, l'expérience a été écrite, écrit le manuscrit; enregistrer les heures de travail en public pour lutter contre l'exploitation;
- paywalls - remplace les géants de l'édition par une plate-forme utilisant un stockage décentralisé et appliquant un examen par les pairs transparent et incité sur le plan économique;

Parmi les autres idées pour l’utilité des DLT (technologies du grand livre décentralisé) dans la recherche, citons le remplacement de la fonction d’office de brevets [0], la création d’un “marché de la recherche où des laboratoires ou des groupes se spécialisent dans des aspects spécifiques du flux de travail de la recherche”, ou en évitant la pression des pairs. en publiant des idées ou des hypothèses anonymes prêtes à l’emploi [1, 17]. Il existe également un espoir d’adoption de différentes métriques de recherche, telles que le système d’endossement académique décentralisé proposé anonymement, qui pourrait utiliser les jetons AEP (points d’approbation académique) pour approuver des travaux scientifiques, en ajoutant plus de valeur à des résultats de recherche autres que des manuscrits tels que des données et des blogs. , code ou pipelines [18].

Des projets soutenus par des chaînes de blocs favorisant plus d'innovation dans la recherche commencent déjà à faire surface. Pour en nommer quelques uns:

  • Matryx (MTX) permet d’envoyer une prime sur un problème de recherche; les utilisateurs travaillent et l’améliorent collectivement et lorsque la solution est acceptée, les récompenses sont partagées entre tous les contributeurs.
  • Covee Network est une plate-forme qui aide à organiser un travail d’équipe décentralisé sans intermédiaire et permet aux utilisateurs de participer au succès du projet.
  • Scienceroot veut créer tout un écosystème constitué de plateformes de collaboration, de financement et de publication.
  • Blockchain for Peer Review développera un protocole soutenu par un consortium d’organisations afin de rendre l’évaluation par les pairs plus transparente et digne de confiance.
  • L’équipe MaterialsZone envisage de segmenter les données scientifiques et d’inciter les chercheurs à partager ouvertement leurs découvertes.
  • Pluto souhaite redonner aux chercheurs la gouvernance de la communication savante, en rendant les processus de publication et de révision ouverts et transparents.
  • DEIP sera une plateforme décentralisée de publication, de financement de la recherche et de relecture.

De plus, ce que nous pouvons tous faire démocratiquement, c'est de soustraire une partie de l'attention au prestige, aux médailles et à l'histoire de la science, et de la rivaliser davantage avec l'aspect "nous" de la recherche.

Collaboration (où des programmes comme SEED entrent en jeu)

Tandis que nous parlons de collaboration scientifique, nous saisissons l’occasion pour tirer parti des technologies à chaînes multiples et non compatibles pour soutenir cet objectif. Nous rassemblons actuellement les ressources nécessaires pour permettre un dialogue interdisciplinaire au cours d'un programme sans précédent de 5 jours puis de 3 mois. SEED - une conférence et une formation, un groupe de réflexion, puis un incubateur - sera un effort de la communauté open source pour réunir différentes pièces d'un puzzle et dessiner de nouveaux outils appuyés par le blockchain dans le but d'améliorer la qualité et le rythme de la recherche et de l'innovation. .

e

Voici des exemples de projets à l’intersection de la recherche et de l’industrie, qui démontrent l’échelle d’adoption des solutions basées sur le blockchain.

  • Énergie: échanges d'énergie entre homologues, notamment en donnant aux communautés le pouvoir de contrôler leur propre approvisionnement en énergie ou d'investir directement dans les énergies renouvelables [19, 20, 25];
  • Mobilité: véhicules autonomes, systèmes de covoiturage [21, 22];
  • Pharma & Healthcare: partage sécurisé des dossiers médicaux à des fins de diagnostic et de recherche; Chaîne d'approvisionnement en médicaments et enregistrements d'essais cliniques [23];
  • Big Data / IoT / Automation: suivi des produits du producteur au consommateur; permettant une maison connectée en toute sécurité; ou commande de mission d'engin spatial distribué [25,26,27];
  • Education & Développement: attribution de l'identité du réfugié; certifications académiques; prévenir la corruption; suivi de l'aide humanitaire ou des subventions de recherche [25, 28, 29, 30].

Il va sans dire que rien de tout cela n'aurait existé sans le pouvoir de la collaboration interdisciplinaire.

Chez SEED, il y aura de la place pour des entretiens, des travaux sur des projets, des échanges d’idées et des solutions et, enfin, pour la mise en œuvre des plus solides d’entre eux au cours de l’incubateur. Permettez-moi de vous adresser cette invitation. Vous pourriez en faire partie.

Le bon côté

Les gens se réveillent et c’est une bonne chose. C’est notre responsabilité de ramener le respect à ce que les chercheurs font par le biais de l’adoption stratégique simultanée de solutions démocratiques et décentralisées avec des récompenses appropriées et un crédit pour nos efforts, ainsi que des mesures incitatives pour un échange ouvert et un «contrôle de qualité». J'espère que vous pouvez maintenant voir pourquoi certains espèrent tellement de ce que l'infrastructure de blockchain peut fournir pour assurer cela, même si ce n'est que ses débuts.

Si vous êtes au moins un peu curieux et motivé pour participer à cette évolution, j'espère vous voir à Davos [-2].

Et si en plus vous avez de l'argent à dépenser pour ce projet, écrivez-nous à l'adresse seed@validitylabs.org.

www.seed2019.io

[-2] SEED 2019, une conférence, un groupe de réflexion et un incubateur → www.seed2019.io de Validity Labs.

[-1] http://occamstypewriter.org/scurry/2015/04/29/amend-laws-scholarly-publication/

[0] https://blog.froriep.com/fr/blockchain-for-patents-guestblog-by-dany-vogel

[1] https://www.digital-science.com/resources/digital-research-reports/blockchain-for-research/

[2] https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970

[3] http://www.sciencemag.org/news/2016/04/whos-downloading-pirated-papers-everyone

[4] https://www.theguardian.com/higher-education-network/2017/may/25/its-time-for-academics-to-take-back-back- control-of-research-journals

[5] https://www.elsevier.com/authors-update/story/innovation-in-publishing/why-science-needs-to-publish-negative-results

[6] https://fliptomato.wordpress.com/2007/03/19/medical-researcher-discovers-integration-gets-75-citations/

[7] https://medium.com/deip/peer-review-a-black-sheep-in-the-scientific-world-b4270713b88b

[8] https://www.wired.com/story/sciences-reproducibility-crisis-is-being-used-as-political-ammunition/

[9] DORA https://sfdora.org/

[10] https://www.theguardian.com/higher-education-network/2018/may/18/academia-exploitation-university-mental-health-professors-plagiarism

[11] https://www.nature.com/news/reproducibility-a-tragedy-of-errors-1.19264

[12] https://www.theguardian.com/higher-education-network/2018/feb/16/performance-driven-culture-is-ruining-scientific- research.

[13] https://www.sciencedirect.com/science/article/pii/S0048733317300422?sf71465902=1

[14] http://www.leidenmanifesto.org

[15] https://www.theguardian.com/higher-education-network/2018/may/18/academia-exploitation-university-mental-health-professors-plagiarism

[16] https://bitsonblocks.net/2015/09/09/gentle-introduction-blockchain-technology/

[17] www.blockchainforscience.com

[18] https://zenodo.org/record/60054#.W32BNCOB1hA

[19] http://theconversation.com/beyond-bitcoin-how-blockchains-can-empower-communities-to-control-the-own-ener--energy-supply-99411

[20] https://www.indigoadvisorygroup.com/blog/2017/3/6/global-energy-utilities-blockchain-pilots-and-use-cases

[21] https://techcrunch.com/2018/05/02/the-mobility-open-blockchain-initiative-bmw-gm-ford-renault/

[22] https://techcrunch.com/2017/05/22/toyota-pushes-into-blockchain-tech-to-enable-the-next-generation-of-cars/

[23] https://hackernoon.com/how-blockchain-is-set-to-disrupt-the-healthcare-ind-20--5-20-5-5d4fda455911

[25] https://medium.com/@WWF/can-blockchain-serve-business-people-and-planet-5683120ab248

[26] https://medium.com/swlh/how-iot-blockchain-and-ai-can-join-forces-to-improve-the-smart-home-experience-7cdbdab75214

[27] https://sensorweb.nasa.gov/Bitcoin%20Blockchains%20and%20Distributed%20Satellite%20Management%20Control%209-15-17v12.pdf

[28] https://medium.com/@mjmorrow/imagining-blockchain-for-social-good-7c41f2c6dc19

[29] https://digitalcurrency.unic.ac.cy/free-introductory-mooc/self-verifiable-certificates-on-the-bit-coin-blockchain/academic-certificates-on-the-blockchain/

[30] https://nrc-cnrc.explorecatena.com/en