Comment améliorer la qualité des réponses aux enquêtes par SMS et les taux d'achèvement dans les marchés émergents

Par Aimee Leidich, Samuel Kamande, Khadija Hassanali, Nicholas Owsley, David Clarance, Chaning Jang

Sommaire

La pénétration de la téléphonie mobile a atteint 95% au Kenya, faisant de la téléphonie mobile un puissant moyen d’accéder à des personnes jusque-là difficiles à atteindre. Le SMS est en train de devenir une méthode populaire de collecte de données dans la région, mais peu de recherches ont été menées pour déterminer les facteurs qui influent sur son efficacité en tant qu'outil de collecte de données sur ce marché. Cet article explore l'impact de différentes conceptions d'enquêtes SMS sur les taux d'achèvement et la qualité des réponses parmi les Kenyans.

Nous avons envoyé une enquête SMS unique à 3 489 Kenyans familiarisés avec les enquêtes SMS et à 6 279 personnes non familiarisées. Chaque échantillon a été randomisé dans l'une des 54 combinaisons de traitement transversales avec des variations dans plusieurs dimensions: montants de l'incitation, communication avant enquête, durée de l'enquête et variation du contenu.

Nous avons généré cinq recommandations à l’intention des praticiens qui conçoivent des enquêtes par SMS sur les marchés émergents:

1) Recrutez un échantillon qui sait qu'il recevra des sondages SMS

2) Gardez les sondages mobiles au plus 5 questions ou encouragez les sondages plus longs

3) Randomize questions et options de réponse afin d'améliorer la qualité de réponse

4) Utilisez des questions ouvertes lorsque les données qualitatives à l'appui de la question manquent

5) Savoir que les hommes et les moins de 30 ans sont les plus susceptibles de répondre à une enquête par SMS

Lisez la suite pour plus de détails sur nos méthodes et notre discussion.

  1. introduction

Les téléphones mobiles sont désormais un élément essentiel dans la plupart des contextes, ce qui en fait un outil inestimable pour communiquer avec et accéder aux données en provenance de particuliers du monde entier. Au Kenya, le taux de pénétration de la téléphonie mobile a atteint 95,1%, les abonnés envoyant plus de 14,9 milliards de SMS au cours du premier trimestre de 2018 [1]. Un large éventail d'organisations, y compris des sociétés, des entités gouvernementales, des hôpitaux et des organisations à but non lucratif utilisent des SMS pour mieux comprendre et atteindre les personnes traditionnellement inaccessibles. Dans le domaine de la recherche en santé, par exemple, le SMS a été utilisé comme un puissant outil d’intervention pour améliorer l’observance des médicaments salvateurs [2], améliorer l’efficacité des administrateurs médicaux [3] et garantir des stocks suffisants d’équipements médicaux essentiels [4].

Ces recherches antérieures prouvent l'efficacité du SMS en tant que point d'accès et outil de collecte de données [6], mais peu d'études ont exploré les étapes spécifiques que les chercheurs et les praticiens devraient suivre lors de la conception d'une enquête mobile SMS. Par exemple, des études ont montré que l’offre d’incitatifs de temps d’antenne téléphonique pour répondre au sondage avait un effet positif sur les taux de réponse [4], mais elle n’offrait pas d’informations supplémentaires sur la manière dont ces taux pouvaient différer selon le montant de l’incitation et d’autres facteurs.

Pour optimiser les SMS en tant qu'outil de collecte de données, nous devons mieux comprendre les effets de différentes conceptions d'enquêtes et savoir comment optimiser ces conceptions afin de collecter des données de la plus haute qualité au moindre coût. Dans cet article, nous examinons comment le montant de l’incitation, les communications préalables à l’enquête et la longueur des taux d’achèvement de l’enquête, et comment la variation du contenu - ordre des questions, ordre de réponse catégorique et réponses des tests ouverts - impact sur la qualité de la réponse. Les résultats de cette étude serviront à éclairer les meilleures pratiques pour les chercheurs et les praticiens souhaitant utiliser le SMS comme méthode de collecte directe de données à l'avenir.

2. Méthodes

2.1 Population étudiée et échantillon

Cette étude est le fruit d’une collaboration entre mSurvey, société de collecte de données mobiles et de retour d’informations par la clientèle, et Busara Centre, un centre de recherche en sciences du comportement basé à Nairobi. L'échantillon provenait de deux sources: l'audience mSurvey, un échantillon de convenance de plus de 37 000 personnes recrutées de manière continue à travers le Kenya depuis 2012 et l'échantillon de l'étude de Busara, un échantillon ciblé de près de 15 000 personnes recrutées par contact personnel et enquête de base.

Le réseau d'audience mSurvey est composé de résidents kényans âgés de 18 ans et plus qui a) possèdent leur propre téléphone mobile, capable d'envoyer et de recevoir des SMS; b) sont alphabètes anglais et c) ont consenti à recevoir à la fois des recherches et des études de marché. Ils sont bien engagés et affichent un taux moyen de réponse de 65% lors des sondages précédents. Les membres de l'audience de mSurvey sont considérés comme la population «connue» dans cette étude, ayant reçu au moins une enquête par SMS de mSurvey au cours des 5 dernières années.

L’échantillon de Busara est composé d’individus à faible revenu à Nairobi qui possèdent un téléphone portable et ont consenti à recevoir des communications de Busara et à participer à des études ultérieures. Cet échantillon était considéré comme appartenant à la population «inconnue» car ils n'avaient pas explicitement choisi de recevoir des enquêtes par SMS sur leur appareil mobile à partir de mSurvey.

L’échantillon final de l’étude était constitué d’une sélection aléatoire de 6 279 participants à Busara et de 3 489 participants à l’enquête, soit une taille totale de 9 768 personnes. Nous avons constaté que 58 des participants à Busara avaient coïncidé par hasard avec l'audience mSurvey dans le passé. Comme ils sont familiers avec les enquêtes mobiles, nous les avons réidentifiés comme faisant partie de la «population connue», ce qui donne les tailles d’échantillon de l’étude finale à 6.221 personnes pour la population inconnue et à 3.547 personnes pour la population connue. Dans ces sous-échantillons finaux, 45,1% de la population inconnue et 74,8% de la population connue étaient âgés de moins de 29 ans et 54,2% de la population inconnue et 41,4% de la population connue identifiée comme étant une femme (tableau 1).

Tableau 1. Distribution de l'échantillon à l'étude et taux d'achèvement global et par sous-échantillon

2.2. Conception

Cette étude comprenait quatre ensembles différents de conditions de traitement couramment appliquées aux enquêtes SMS: le montant de l’incitation, la communication préalable à l’enquête, la durée de l’enquête et le contenu des questions. Chaque série de traitements consistait en deux à trois conditions distinctes assignées avec une probabilité égale aux participants dans chacun des quatre traitements, à l'exception des incitatifs, qui étaient attribués de manière disproportionnée à l'absence d'incitation en raison de ressources limitées. Voir le tableau 2 pour une description des traitements de l'enquête.

Tableau 2. Traitements, niveaux et hypothèses de l'étude

Ces conditions ont ensuite été attribuées de manière aléatoire dans un plan transversal pour former un total de 54 groupes distincts, comme décrit à l'annexe 1.

La rémunération sous forme de temps d’écoute téléphonique variait entre 0KES, 25KES et 100KES, à condition que le sondage soit terminé, ce qui nous a permis de vérifier si le taux d’achèvement augmentait de manière significative avec un incitatif (25KES) par rapport à un incitatif supérieur (100KES).

La durée de l'enquête variait entre 5 questions, 10 questions et 25 questions à probabilité égale, ce qui nous permettait de vérifier si le taux de réponse à l'enquête diminuait de manière significative avec l'augmentation de la longueur de l'enquête. Chaque communication précédant l’enquête comprenait une question de consentement demandant au participant de s’inscrire à l’enquête ainsi qu’une divulgation ex ante de la longueur de l’enquête afin de vérifier si le taux de participation au sondage augmentait considérablement lorsque la longueur de l’enquête était connue à l’avance.

Enfin, les variations de contenu incluaient trois conditions: le contenu standard (la liste de questions dans l’ordre standard avec des réponses de type Likert), le renversement de l’ordre des questions (la liste de questions dans l’ordre inverse avec les réponses de type Likert) et la variation des options de réponse questions avec des réponses de type Likert plutôt posées sous forme de questions ouvertes) nous permettant de tester s'il y a une baisse significative du taux d'achèvement et de la qualité des réponses quand une question est posée plus tard dans l'enquête ou demande une réponse ouverte au lieu de options discrètes. Pour la variation du contenu des questions, les répondants ont été assignés au hasard pour compléter les questions dans l’ordre initial des questions avec une probabilité de 2/3, puis aléatoirement pour les répondre dans l’ordre inverse avec une probabilité de 2/3, ce qui nous permet de vérifier si les réponses diffèrent selon le moment. dans l'enquête, les participants complètent la question.

Le système mSurvey est conçu pour envoyer à chaque participant un message SMS avec une seule question d’enquête. Selon le format de la question, les participants répondent par des chiffres, des mots ou des expressions à l'aide du clavier du téléphone portable. Après avoir répondu, mSurvey envoie automatiquement au participant la question de l’enquête suivante pour réponse. Voir Figure 1 pour un exemple d'enquête SMS envoyé par mSurvey.

Figure 1. Exemple d’enquête SMS envoyée par mSurvey

Les questions et réponses du sondage sont gratuites pour les participants. Les membres de l'auditoire mSurvey reçoivent une prime de temps d'antenne directement envoyée sur leur appareil mobile une fois l'opération terminée pour compenser leur temps et leurs réflexions. Le 9 octobre 2017, chaque participant a reçu son enquête assignée du système mSurvey au même moment.

2.3. Une analyse

Cette étude concerne principalement deux ensembles de résultats d’importance pratique pour les chercheurs qui conçoivent des enquêtes SMS: l’achèvement de l’enquête (c.-à-d. Le nombre d’enquêtes complétées divisé par le nombre d’enquêtes envoyées) et les différences dans les réponses aux enquêtes (c.-à-d. Les différences dans la distribution des réponses discrètes et qualité relative des réponses en texte ouvert par rapport aux réponses discrètes).

Des tests d'analyse de variance (ANOVA) ont été utilisés pour analyser l'effet des conditions de traitement sur le taux de complétion de l'enquête. Un modèle global avec l'échantillon complet ainsi que des modèles distincts pour chaque sous-échantillon ont été construits et testés pour déterminer la signification de l'effet du traitement.

Les questions de type Likert, telles qu'utilisées dans le présent document, génèrent des données ordinales qui ne prennent pas une distribution standard. À cette fin, le test U de Mann-Whitney était le principal test statistique utilisé pour mesurer les différences entre les réponses aux questions de l’enquête, car les hypothèses de distribution limitée de ce test non paramétrique permettent de rendre compte à la fois de la nature catégorique et ordinale des données.

Pour analyser la différence entre les réponses lorsqu’une question est posée dans l’enquête, nous avons appliqué une correction de Holm pour les comparaisons multiples afin de prendre en compte la gamme de tests effectués.

3. Résultats

3.1. Comment améliorer le taux d'achèvement

Dans l’ensemble, 36% des répondants ont répondu à l’enquête mobile. Le taux d'achèvement était quatre fois plus élevé chez ceux qui connaissaient bien les enquêtes mobiles, la population «connue» (55%) que ceux qui ne connaissaient pas les enquêtes mobiles, la population «inconnue» (17,6%). Les hommes et les participants plus jeunes âgés de 25 à 29 ans étaient les plus susceptibles de répondre au sondage, le taux de réponse diminuant avec l’âge dans les deux groupes (tableau 1).

En ce qui concerne les effets du traitement, il y avait une différence significative dans le taux d'achèvement, le montant de l'incitation et la longueur de l'enquête variant. En ce qui concerne le traitement incitatif, une augmentation incitative de 0KES à 25KES a augmenté le taux d'achèvement de 3,2% et une augmentation de 0KES à 100KES a augmenté le taux d'achèvement de 6% (valeur p: 5.449e-06). Décomposée par sous-échantillon, une augmentation du montant de l'incitatif a considérablement augmenté le taux d'achèvement parmi les inconnus mais pas les connus. L'augmentation du taux d'absence d'incitation à 25KES chez les inconnus a augmenté le taux d'achèvement de 5,8%, passant de 13,7% à 19,5%, et l'augmentation du taux d'absence d'incitation à 100KES a augmenté le taux d'achèvement de 8,2% à 21,9% (valeur p -08). En revanche, il n'y avait pas de différence significative dans le taux d'achèvement lorsque les notaires recevaient une incitation supérieure ou inférieure.

Pour le traitement de la longueur de l'enquête, une enquête mobile comportant cinq questions a produit le taux d'achèvement le plus élevé, en particulier pour la population connue. Dans l'ensemble, l'augmentation de la longueur de l'enquête de cinq à dix questions a réduit de manière significative le taux de réponse de 3% et son passage à 25 questions a entraîné une réduction significative du taux de réponse de 4% (valeur p: 0,001144). En regardant plus spécifiquement par groupe, augmenter la longueur de l’enquête de cinq questions à dix questions connues a considérablement réduit le taux de réponse de 3,8%, de 58,2% à 54,4%, et passer à 25 questions a considérablement réduit le taux de réponse de 5,6% à 52,6%. (valeur p: 0,01872). Pour les inconnus, la réduction était moins importante mais néanmoins significative: augmenter la longueur de cinq à dix questions réduisait le taux de réponse de 3,3%, de 19,9% à 16,6%, et passer à 25 questions réduisait le taux de réponse de 3,7% à 16,2% (p -valeur: 0.01311).

Il n'y avait pas de différence statistiquement significative dans le taux de réussite des deux groupes lorsque les participants recevaient une communication pré-enquête leur indiquant la longueur de l'enquête.

En considérant tous les traitements ensemble, la combinaison optimale de traitements pour les sujets connus est une question à cinq questions et tout montant incitatif ou communication préalable à l'enquête. Pour les inconnus, la combinaison de traitement optimale est une combinaison avec 100 KES et toute longueur d'enquête ou communication préalable à l'enquête (Tableau 3).

Tableau 3. Taux d'achèvement par sous-échantillon et par traitement, combinaison de l'incitatif, de la durée de l'enquête et de la communication préalable à l'enquête.

3.2. Comment améliorer la qualité de la réponse

Inversion de l'ordre des questions

Les réponses diffèrent considérablement selon l'endroit où la question est posée dans une enquête, en particulier lorsque l'on compare les questions posées du début à la fin de l'enquête. Pour cinq questions d'enquête ordinales (questions 25, 8, 7, 3 et 1, la question 25 apparaissant comme la 25ème question dans la condition d'ordre normale ou la première dans la condition d'ordre inverse), les réponses étaient significativement plus «positives» de la part de Likert. échelle (comme dans plus agréable ou probable par rapport à l'inverse) lorsque la question est venue plus tard dans l'enquête. Après avoir transformé le jeu de données en une combinaison unique de participant / question (ce qui signifie que chaque participant a autant d’observations que de questions complétées) et en contrôlant les effets fixes du répondant, l’ordre des questions est très fortement prédictif des réponses (p <0,01). ).

Variante d'option de réponse

Lorsque l'ordre des options fortement en désaccord ou fortement en accord avec Likert a été inversé à la question 4, les répondants ont indiqué «tout à fait en désaccord» en premier dans les options de réponse par rapport à l'option «tout à fait d'accord» en premier, la proportion de ceux qui ont sélectionné «tout à fait en désaccord». ou 'en désaccord' a considérablement chuté de 16,2% à 8,0% une fois déplacé au bas de la liste (p <0,001). Cette différence significative n'a pas été trouvée pour la question 9 lors de l'inversion des options de réponse non-Likert 'Oui, peut-être, je ne sais pas, pas vraiment, non.' Les participants à zéro n'ont sélectionné que la première option pour toutes les questions et moins de 1% des participants ont choisi la première option plus de la moitié du temps, suggérant que la différence significative entre la première option pour la question 4 provenait du fait que les participants fournissaient une réponse de fond et non pas simplement de sélectionner systématiquement la première option par défaut pour faire avancer le sondage.

Il n'y avait pas de différence significative dans le taux de réponse si un participant se voyait proposer une réponse ouverte à une question par rapport aux options à choix multiples. Dans l'ensemble, 94,1% des personnes ayant répondu aux options de texte ouvert des questions 2 et 6 ont fourni des données intelligibles. En comparant les réponses en texte ouvert aux options discrètes pour ces questions, les réponses les plus courantes de l'ensemble de réponses discrètes figuraient également en bonne place dans les réponses en texte ouvert. Par exemple, à la question 6, «Quels facteurs sont importants pour vous lorsque vous montez à bord d'un matatu?», Les catégories de réponses discrètes les plus courantes - «nombre de personnes dans un matatu» et «condition du matatu» - figuraient toutes deux parmi les trois principaux thèmes de une analyse thématique des réponses en texte ouvert (véhicule, conduite, espace / capacité). Une tendance similaire a été identifiée pour la question 2: les catégories de réponses discrètes les plus courantes pour la question «À votre avis, quel est le plus gros problème des conducteurs matatu?" Étaient "Surcharge des passagers" et "Langage grossier" et les trois principaux thèmes de cette même Les questions étaient: impolitesse et inconduite, tarif et surcharge.

Cependant, l'analyse thématique des réponses en texte ouvert a également permis de dégager des thèmes cohérents qui ne faisaient pas partie des options discrètes. De même, certaines options discrètes ne figuraient pas en évidence dans les réponses en texte ouvert. Pour la question 6, la troisième réponse discrète la plus courante, la «malhonnêteté», ne figurait pas du tout dans les réponses en texte ouvert, alors que les thèmes «abusivité», «inconduite» et «arrogance» étaient très présents dans le texte ouvert. Fait intéressant, à la question 2, certains thèmes auxquels nous n'avions pas pensé, tels que matatus ne disposant pas de ceinture de sécurité et l'ivrognerie des chefs de train ne se sont pas rendu compte qu'ils figuraient en bonne place.

4. Discussion

Dans cette étude, nous avons constaté que ceux qui savaient qu'ils recevraient une enquête SMS étaient beaucoup plus susceptibles de remplir leur enquête mobile. Étant donné le nombre élevé de spams envoyés aux téléphones mobiles dans la région, il n’est pas surprenant que les participants se sentent plus à l’aise pour répondre quand ils connaissent la source.

En examinant spécifiquement différents traitements par groupe, ceux qui ne sont pas familiarisés avec les enquêtes mobiles sont plus susceptibles de remplir une enquête mobile lorsqu'ils reçoivent un incitatif d'au moins 25KES avec les taux de réussite les plus élevés avec un incitatif de 100KES. Cette différence n'a pas été observée parmi la population connue, ce qui suggère que les incitations sont une meilleure motivation pour les populations inconnues à remplir les enquêtes SMS que les populations connues pouvant être intrinsèquement motivées. Cela peut également être lié au fait que les membres du public mSurvey sont habitués à recevoir 20KES pour avoir répondu à des sondages reçus en dehors de cette étude et qu’ils ont donc un intérêt à long terme à y participer.

Ceux qui sont familiers avec les sondages mobiles sont plus susceptibles de remplir un sondage mobile lorsque le sondage est court (moins de cinq questions). La nature des SMS consiste à envoyer des messages courts et concis comme suggéré dans le nom SMS: service de messagerie courte. La majorité des mSurveys sont constitués de 10 questions ou moins. Par conséquent, les personnes familiarisées avec le service s'attendent à ce que leurs enquêtes mobiles soient courtes.

Cela dit, la différence de taux d'achèvement entre les montants des incitatifs est plus grande que celle de la longueur de l'enquête, ce qui suggère que des enquêtes plus longues pourraient être réalisables dans la région si elles étaient accompagnées de l'incitatif approprié. Néanmoins, la baisse du taux d’achèvement était significative mais faible: une baisse maximale du taux d’achèvement de 5% pour l’ajout de 20 questions du sondage. À cette fin, les chercheurs pourraient choisir de maximiser le contenu (c'est-à-dire d'inclure des questions supplémentaires) et de ne pas augmenter l'incitation s'ils étaient à l'aise avec le nombre moins élevé de répondants qui ont répondu au sondage.

Nous avons également constaté que les personnes les plus susceptibles de répondre aux enquêtes SMS dans les deux populations étaient les personnes âgées de 25 à 29 ans et les hommes. Cela concorde avec les preuves de mSurvey concernant le recrutement d'un échantillon de confort à travers le Kenya - les hommes et les moins de 30 ans acceptent généralement de participer à des enquêtes par SMS sur leur appareil mobile.

Dans les deux groupes, il n'y avait pas de différence dans le taux de réponse si le participant connaissait la longueur de l'enquête à l'avance, et donc le temps nécessaire pour répondre à l'enquête. Cela suggère que connaître la longueur de l'enquête à l'avance n'est pas nécessairement un facteur de motivation dans les enquêtes par SMS.

En ce qui concerne la qualité des réponses, le placement dans une enquête où une question est posée affecte considérablement la qualité de la réponse dans plusieurs cas. Le fait que cela ne soit statistiquement significatif que pour les questions posées au début d'une enquête (ou à la fin de l'enquête pour le groupe de traitement) est cohérent avec les explications théoriques: la fatigue cognitive ou physique liée à la réponse à de nombreuses questions affecte la manière dont les sujets répondent. Les deux enquêtes doivent être concises ou si plusieurs questions sont nécessaires, les plus pertinentes doivent apparaître au début de l’enquête pour garantir la saisie des données en cas de fatigue.

Les répondants ont sélectionné les réponses selon une échelle fortement en accord-fortement en désaccord plutôt que lorsque les options se trouvaient en haut de la liste. Nous pouvons supposer que ces options sont plus saillantes, et donc plus susceptibles d'être choisies, quel que soit leur contenu. Dans la question où cette constatation n’est pas confirmée, les options de réponse ordinale sont moins proches de la linéarité (par exemple, oui, peut-être, non, etc.), ce qui suggère que les réponses ne varient pas par ordre pour tous les ensembles d’options de réponse. Néanmoins, l'ordre de réponse doit être considéré ou modifié de manière aléatoire afin d'atténuer les biais résultant de l'ordre de réponse.

En revanche, nous n'avons trouvé aucune différence dans le taux d'achèvement si un participant se voyait proposer des questions ouvertes par rapport à des questions à choix multiples suggérant aux participants de répondre correctement à des questions ouvertes par SMS.

Pour les réponses en texte ouvert, la richesse des thèmes dérivés des données a été soulignée par un taux de réponse intelligible globalement élevé - une limitation majeure potentielle des questions d'enquête en texte ouvert par SMS. Compte tenu de cela et de la comparaison de l'analyse thématique avec les réponses catégoriques, les questions à texte ouvert sont un moyen viable de solliciter des données dans les enquêtes SMS et peuvent être puissantes lorsque les tendances existantes sont trop peu nombreuses pour constituer de manière fiable un ensemble d'options discrètes.

En résumé, pour collecter les meilleures données, un concepteur d’enquête SMS doit:

a.) Recruter un échantillon sachant qu'ils recevront une enquête par SMS

b.) Gardez les sondages mobiles au plus 5 questions ou encouragez les sondages plus longs

c.) Aléatoire de la question et de l'ordre des réponses pour améliorer la qualité de la réponse

d.) Utilisez des questions ouvertes lorsque les données qualitatives à l'appui de la question manquent

e.) Savoir que les hommes et les moins de 30 ans sont les plus susceptibles de répondre à une enquête par SMS

Déclaration de disponibilité des données

Toutes les données et le matériel associé pour cette étude sont disponibles sur Open Science Framework ici:

https://osf.io/frqm2/?view_only=692c84fa3a50428082acd703fdee0c58

Références

  1. Autorité de la communication du Kenya (1er janvier - 31 mars 2018), «Rapport sur les statistiques sectorielles du troisième trimestre de l'exercice 2017/2018». Accessible en ligne: https://ca.go.ke/wp-content/uploads/2018/07. /Sector-Statistics-Report-Q3-2017-18-2.pdf
  2. R. Lester, P. Ritvo, E. Mills, Kariri, S. Karanja, M. Chung, W. Jack, J. Habyarimana, M. Sadatsafavi, M. Najafzadeh, C. Marra, B. Estambale, E. Ngugi, TB Ball, L. Thabane, L. Gelmon, J. Kimani, M. Ackers, F. Plummer (2010), «Effets d'un service de messagerie vocale par téléphone portable sur l'observance du traitement antirétroviral au Kenya (WelTel Kenya1: un essai randomisé»). Lancet, 376, 1838-1845.
  3. D. Zurovac, R. Sudoi, W. Akhwale, M. Ndiritu, D. Hamer, A. Rowe et R. Snow (2011), «L’effet des rappels par SMS sur l’application du traitement antipaludique par les agents de santé kényans directives: un essai randomisé en groupe », Lancet, 378, 795–803.
  4. J. Barrington, O. Wereko-Brobby, P. Ward, W. Mwafongo, S. Kungulwe, SMS pour la vie: un projet pilote visant à améliorer la gestion de l'offre de médicaments antipaludiques dans les zones rurales de la Tanzanie à l'aide d'une technologie standard (2010), Malaria Journal, 9, 1–9.
  5. Mourão, Sandro et Karla Okada (2010). «Le téléphone mobile en tant qu'outil de collecte de données dans le cadre d'une recherche sur le terrain», Académie mondiale des sciences, de l'ingénierie et de la technologie, 70 (43), 222-226.
  6. Nanna, M.J. & Sawilowsky, S.S. (1998). «Analyse des données de l'échelle de Likert dans la recherche sur l'invalidité et la réadaptation médicale», Psychological Methods, 3 (1), 55–67.
  7. de Winter, J. C. F. et D. Dodou (2012). «Éléments de Likert en cinq points: test t versus Mann-Whitney-Wilcoxon», Practical Assessment, Research & Evaluation, 15,11. Disponible en ligne: http://pareonline.net/getvn.asp?v=15&n=11.