Par Suzanne Kiwanuka, Ph.D

«Ce qui compte ne peut pas toujours être compté, et ce qui peut être

compté ne compte pas forcément»  -Albert Einstein

La plupart des chercheurs optent toujours pour des approches traditionnelles en transfert de connaissances. Les quelques stratégies qu’ils préfèrent sont souvent influencées par les normes académiques et universitaires et rarement par la nécessité d’influencer les politiques.

Le vieux slogan «publish or perish» (publier ou périr) fait que beaucoup de chercheurs ont comme objectif premier (et souvent comme seul objectif) la publication dans des revues avec un facteur d’impact élevé (et ils en font leur Saint-Graal) plutôt que de viser directement des résultats ou des impacts sur les politiques ou les pratiques au sein de leur pays.

Dans cet article, je vais énoncer que cette préférence pour le facteur d’impact diminue grandement la valeur des résultats de recherche et je vais fournir des arguments pour soutenir ce point. Je propose également des moyens pour que les chercheurs puissent aller au-delà du facteur d’impact afin de mieux valoriser le fruit de leurs recherches.

Le facteur d’impact, son origine, son calcul et les critiques…

Le facteur d’impact est une mesure de la fréquence avec laquelle un article moyen d’une revue a été cité dans une année donnée. Le FI est utilisé pour mesurer l’importance ou le rang d’une revue en calculant le nombre de fois que ses articles sont cités. Le FI d’une revue académique reflète le nombre moyen de citations d’articles récents publiés dans cette revue et il est ainsi utilisé comme un indicateur de l’importance relative d’une revue. Les facteurs d’impact élevés sont considérés comme étant plus prestigieux que les facteurs plus bas. Le calcul du FI est basé sur une période de deux ans et consiste à diviser le nombre de fois que les articles ont été cités par le nombre d’articles qui peuvent être cités.

A= Le nombre de fois que les articles publiés en 2008 et 2009 ont été cités par des revues indexées au cours de 2010.

B= Le nombre total d’articles disponibles à être cités publiés en 2008 et 2009.

A/B= Le facteur d’impact de 2010

Quelques raisons pour lesquelles le FI sous-estime l’impact de la recherche

• Seules les citations dans un délai de 2 ans sont prises en compte. Le FI est calculé en considérant seulement les citations qu’une revue en particulier a reçues moins de 2 ans avant le calcul. Ainsi, pour les disciplines qui recueillent la plupart de leurs citations à l’extérieur de la fenêtre des 2 ans, même l’impact académique de ces articles passe inaperçu.
• La nature de la citation est ignorée. Tant qu’un article d’une revue a été cité, cela contribue au facteur d’impact même si le papier cité est crédité, critiqué, réfuté ou démontré comme étant «faible».
• Seules les revues indexées dans la base de données sources font parmi du classement. Ainsi, les revues non indexées dans «Web of Science» (qui compte plus de 12 000 titres) n’ont pas de FI et ne peuvent pas être comparées avec les revues indexées.
• Les articles sous forme de «revue ou recension de la littérature» sont généralement cités plus souvent que les autres types d’articles parce que les recensions consistent en une compilation de toutes les recherches antérieures. Ainsi, les revues qui publient des recensions ont tendance à avoir un FI plus élevé.
• Les données utilisées pour le calcul des FI ne sont pas accessibles au grand public. Le FI est un produit de Thomson Reuters^®, une société privée qui n’est pas obligée de divulguer les données et ses méthodes d’analyse. En général, d’autres groupes n’ont pas été en mesure de prédire ou de reproduire les rapports de facteurs d’impact publiés par Thomson Reuters^®.
• Les rédacteurs en chef peuvent manipuler le FI de leur revue de différentes façons. Pour l’augmenter, ils peuvent publier plus de recensions de la littérature, qui attirent un grand nombre de citations, et cesser de publier des études de cas qui ne sont que rarement cités.

• La nature de la recherche est telle que son impact ne peut pas être immédiatement observé. Certaines des découvertes scientifiques les plus remarquables de l’histoire ont été reconnues des années plus tard, parfois même après la mort des chercheurs ayant contribué à ces découvertes. Aucune mesure numérique ne peut remplacer efficacement la lecture d’un papier et/ou la réplication d’une expérience, ou bien l’utilisation des leçons apprises par la recherche dans la pratique ou la prise de décision, afin de mesurer l’impact de la recherche à sa juste valeur.
• Le FI dévalorise l’éthique de la recherche avec des sujets humains puisqu’il favorise  injustement et complètement le prestige des revues et des chercheurs au dépend des communautés et des participants aux recherches à qui on dit souvent que leur participation leur sera bénéfique. De plus, la majorité des décideurs ne consultent jamais une revue ou des articles avant de prendre une décision.

Étant donné que le facteur d’impact repose généralement sur un cadre institutionnel académique néolibéral qui valorise l’utilisation de métriques sophistiquées, il peut être futile dans ce contexte de vouloir déterminer autrement la valeur de la recherche et ses bénéfices. Cependant, il est important d’explorer et d’utiliser d’autres indicateurs plus pertinents à cet effet. Ainsi, un débat démocratique sur la valeur sociale de l’évaluation de la recherche serait un meilleur et un reflet plus valide de la valeur réelle de la recherche. ^1,2,3

Comment les chercheurs peuvent valoriser leurs travaux au-delà de la contribution au facteur d’impact?

• Adapter la recherche au contexte des utilisateurs en produisant des outils plus appropriés tels des notes de politique (policy briefs), des articles de journaux, des vidéos, etc.
• Faire un plaidoyer pour un changement dans la culture académique afin qu’elle ne mesure plus seulement l’excellence sur la base des publications, mais aussi sur la base de l’utilisation de d’autres canaux de communications comme les plateformes en ligne et les médias locaux.
• Conduire des activités de dissémination de la recherche, partager les outils de TC produits et évaluer l’impact de ces efforts sur l’engagement des utilisateurs.
• Inclure et engager les décideurs politiques et tout autre décideur dans la conceptualisation ainsi qu’à toutes les étapes du processus de recherche.
• Prolonger l’échéancier prévu pour le processus de recherche afin d’observer et démontrer les impacts possibles même après la fin du projet et prendre note de tout impact observé en différé.
• Les résultats de recherche ne devraient pas mourir d’une mort naturelle à la fin de chaque projet de recherche, mais ils devraient au contraire commencer une nouvelle vie dans les sphères dans lesquelles ils peuvent être utilisés.
• Anticiper, poursuivre et ultimement documenter et partager les impacts sociaux de tous résultats de recherche.
• Développer la passion de voir leurs résultats de recherche utilisés et investir du temps et des ressources pour y arriver.

En résumé, pour mieux soutenir les efforts de transfert de connaissances, les chercheurs devraient ne plus penser seulement à l’obtention d’un FI élevé, afin de ne pas simplement encourager certaines revues prestigieuses et laisser ainsi la majorité des utilisateurs ou bénéficiaires potentiels des recherches de côté. De ce fait, ils pourraient trouver des stratégies plus appropriées et mieux adaptées pour partager leurs résultats de recherche à ces derniers.

Traduction libre par Esther Mc Sween-Cadieux

Références

1.   Katchburian E(2008). Publish or perish: a provocation. Sao Paulo Medical Journal, 202-203.

2. The PLoS Medicine Editors (2006). The impact factor game. PLoS Medicine 3(6): e291.
3. Smith L (1981). Citation analysis. Library Trends, 30: 83-106.
4. Sevinc A (2004). Manipulating impact factor: An unethical issue or an Editor’s choice? Swiss Medical Weekly, 134:410.