Perhaps surprisingly, a recent "special article" in the New England Journal of Medicine (NEJM) on the rather arcane subject of publication bias (Turner et al. 2008) generated considerable media attention in Canada. The paper showed that published reports of industry-sponsored trials of antidepressant drugs overstated the drugs' effectiveness by two means: trials with positive results were much more likely to be published than those with negative or ambiguous results, and, when they were published, trials with negative or ambiguous results were often portrayed as positive.

[To view the French version, please scroll down.]

The study was made possible by the existence of a clinical trials registry and results database maintained by the United States Food and Drug Administration (FDA). Drug companies must register with the FDA all trials they plan to use in support of an application for marketing approval. In their subsequent application, they are required to report the results of each trial based on the analytic plan specified in the study protocol. Following corroborative analyses by FDA statisticians, the FDA classifies the results of each study as positive, negative or neither positive nor clearly negative. The authors of the NEJM study conducted a systematic search to identify publications that matched the placebo-controlled trials of antidepressants in the FDA database and compared the published outcomes with the FDA outcomes. While 94% of the published studies reported positive results, only 51% of the studies in the FDA database were positive. Of the 36 negative or ambiguous studies in the FDA database, three were published as negative, 22 were not published and 11 were published as positive.

What does this report have to do with health services and policy research - apart from the obvious message that, collectively, pharmaceutical manufacturers and those who conduct research under their sponsorship are not to be trusted? This study and the growing body of literature on publication bias focus on clinical research and on the specific issue of selective publication rather than the broader issue of non-publication of research results. However, they do give cause to reflect on the extent, genesis and effects of unpublished, and therefore largely inaccessible, research in the health services and policy domains.

Although the extent of unpublished health services research has not - at least to my knowledge - been documented, one has only to consider the roadblocks and detours on the road from research production to publication to appreciate that much of it is likely to be unavailable, or available only with difficulty, to health researchers, decision-makers and stakeholders. These impediments exist for both investigator-initiated research and for research commissioned by governments and health-related organizations, though the specific barriers differ.

Publications, along with research funding, remain the prime currency in academic tenure and promotion deliberations. However, within a few years of entering academe, most researchers reach a point of publication surplus, where their volume of publications exceeds the required threshold and incremental publications have little effect on academic advancement. At this point, the "publish or perish" imperative ceases to operate. Despite this lessening of the incentive to publish, many disciplined health services researchers - including several of my mentors - motivated by some combination of social responsibility, ambition or obsessiveness, invariably see their work through to publication. Others of us sometimes (or often) get distracted by grant submission deadlines, the demands of ongoing research projects, teaching or administrative responsibilities, a new partner, baby or grandchild, an aging parent or … I could go on, but I imagine you get the point. These distractions delay the preparation and submission of manuscripts. Eventually the study in question becomes stale dated, submission of the manuscript or would-be manuscript no longer seems appropriate and the researcher is left with nothing more than a guilty conscience to show for his or her good intentions. In other cases a brutal review, initial (or repeated) rejection or a request for extensive revisions of a manuscript may lead authors to abandon efforts to publish. Of course, some research appropriately goes unpublished because of inadequate methodology or trivial findings. However, my concern here is with the unpublished research that is of sufficient validity and relevance that it has the potential to expand existing knowledge and inform decision-making.  

The barriers to the publication of commissioned health services and policy research are of a different sort. Much of this research is conducted by consulting firms that have no incentive and little inclination to publish their work. And when academics undertake commissioned research, they are often unable or limited in their ability to publish their findings by the terms of the research contract. The findings may be available to inform the decisions of the commissioning organization, but often not to anyone else.

What does it matter that some (probably a lot) of the health services and policy research conducted in Canada fails to see the light of day? To begin with, researchers, policy makers, health system managers, healthcare organizations, advocacy groups and the public are denied access to potentially relevant evidence to inform their thoughts and actions. In the extreme, bad policy decisions might be made or good ones forgone because key pieces of relevant evidence are unavailable. In other situations, decisions might be made more hesitantly or on a smaller scale than would have been the case if more complete evidence were available.

If fuller access to the findings of health services and policy research is in the public interest, what correctives are possible? In the case of investigator-initiated research, several come to mind:

• attention by promotion and tenure committees and department chairs to the link between completed research projects and publications in researchers' curricula vitae; holding faculty members to account when research projects are not reflected in subsequent publications;
• 
  
• a requirement by funding agencies that investigators report the publications arising from their funded projects, agency follow-up until the publication of final results is reported, and sanctions (e.g., withholding of funding or eligibility for future funding) for failure to publish or to justify that failure;
• 
  
• greater emphasis in research training programs on the researcher's social responsibility to publish as part of knowledge transfer.

For commissioned research, a variety of measures could help to improve transparency and increase the probability of publication, for example:

• advocacy by research organizations and public-interest groups for research contracts that require public disclosure of reports from publicly funded contract research and that, with appropriate data privacy provisions, allow researchers to obtain data produced by consulting firms in the course of such projects¹;
• 
  
• insistence by universities and individual researchers that research contracts assign intellectual property rights to the investigator(s) rather than the funder.

 

Ensuring the broad dissemination of findings from health services and policy research, including publication, is a social responsibility for researchers and an obligation for public funders of research. Decision-makers and the public deserve nothing less.

---

La preuve sous séquestre : les résultats inaccessibles des recherches sur les services et les politiques de santé

Il peut paraître étonnant qu'un article spécial du New England Journal of Medicine (NEJM) paru récemment sur le sujet relativement obscur du biais de publication (Turner et coll., 2008) ait capté l'attention des médias au Canada. L'article démontrait que les rapports publiés sur les essais d'antidépresseurs commandités par l'industrie exagéraient l'efficacité des médicaments, et ce, de deux façons : les essais dont les résultats sont positifs ont beaucoup plus de chances d'être publiés que ceux aux résultats négatifs ou équivoques et, lorsque ces derniers sont publiés, ils sont souvent représentés comme étant positifs.  

Cette étude a été rendue possible par l'existence d'une base de données sur les essais cliniques et leurs résultats entretenue par la Food et Drug Administration (FDA) des États-Unis. Les sociétés pharmaceutiques doivent déclarer à la FDA tous les essais qu'ils prévoient utiliser pour appuyer une demande d'approbation en vue de la mise en marché de leurs produits. Leur demande doit ensuite faire état des résultats de chaque essai en fonction du plan d'analyse indiqué dans le protocole d'étude. Une fois que ses statisticiens ont effectué une analyse corroborante, la FDA classe les résultats des études comme étant positifs, négatifs ou ni clairement positifs ni négatifs. Les auteurs de l'article du NEJM ont effectué une recherche systématique des études publiées sur les antidépresseurs qui correspondaient aux essais contrôlés apparaissant dans la base de données de la FDA et ont comparé les résultats publiés avec ceux de la base de données. Alors que 94 p. cent des études publiées indiquaient des résultats positifs, ce n'était le cas que de 51 p. cent d'entre elles dans la base de données. Des 36 études négatives ou équivoques contenues dans la base de données de la FDA, seulement trois ont été présentées comme étant négatives à leur publication, 22 n'ont pas été publiées et 11 ont été présentées de façon positive.  

En quoi ce rapport est-il lié à la recherche sur les services et les politiques de santé - outre le message clair qu'on ne peut généralement pas faire confiance aux fabricants de produits pharmaceutiques et à ceux qui effectuent des essais pour eux? Cet article, qui s'ajoute à une documentation croissante sur le biais dans les publications, porte sur la recherche clinique, plus précisément sur la question de la publication sélective et non sur celle plus générale de la non-publication des résultats de recherche. Malgré tout, il nous donne de bonnes raisons de réfléchir à l'origine, à l'étendue et aux effets de la non-publication des données de recherche dans le domaine des services et des politiques de santé, données qui restent donc pratiquement inaccessibles.  

Bien que personne n'ait encore étudié, à ma connaissance, l'ampleur des résultats de recherche non publiés en matière de services de santé, on n'a qu'à penser aux obstacles et aux détours qui séparent l'étape de la recherche et celle de la publication des résultats pour comprendre qu'il est probable qu'une grande partie de ces résultats ne soient jamais mis à la disposition des chercheurs, des décideurs et des autres intervenants dans le domaine de la santé, ou alors qu'il soit très difficile d'y avoir accès. De tels obstacles existent autant dans la recherche entreprise par les chercheurs que pour les études commandées par les gouvernements et autres organismes du milieu de la santé, quoique la nature exacte des barrières diffère selon le cas.

Les publications et le financement obtenu pour la recherche sont encore la principale considération pour la titularisation et la promotion des professeurs d'université. Cela dit, quelques années après leur entrée dans le monde universitaire, la plupart des chercheurs atteignent un point de surplus de publication; le nombre d'articles qu'ils ont publiés excèdent le seuil requis, et leurs publications additionnelles ont un effet minime sur leur avancement professionnel. L'impératif de « publier ou périr » cesse alors de s'appliquer. Malgré cela, de nombreux chercheurs assidus du domaine des services de santé (y compris plusieurs de mes mentors), motivés par de multiples raisons, comme la responsabilité sociale, l'ambition et la compulsion, s'assurent invariablement de faire publier leurs travaux. D'autres parmi nous se laissent parfois, voire souvent, distraire par les échéances de demande de subvention, par les exigences des projets de recherche en cours, par les responsabilités administratives ou relatives à l'enseignement, par l'arrivée dans notre vie d'un nouveau conjoint, bébé ou petit-enfant, par un parent vieillissant… Je pourrais continuer, mais vous avez déjà sûrement compris. Le fait est que ces distractions retardent la préparation et la soumission des articles à publier. Les études concernées sont bientôt dépassées, il ne semble plus approprié de soumettre un article ou un projet d'article, et il ne reste plus alors au chercheur que son sentiment de culpabilité pour refléter ses bonnes intentions. Dans d'autres cas, une révision brutale par les pairs, un refus initial (ou répété) et l'exigence de procéder à une révision étendue de l'article peuvent pousser ses auteurs à abandonner leurs efforts en vue de le faire publier. Bien sûr, certaines études ne méritent pas d'être publiées, soit à cause de la méthodologie inadéquate employée ou de l'insignifiance de leurs résultats, mais ce qui nous intéresse ici, ce sont les recherches non publiées en dépit de leur validité et de leur pertinence relatives qui leur donnent le potentiel d'accroître la somme des connaissances en la matière et de contribuer à la prise de décisions.  

Les obstacles à la publication des études commandées sur les services et les politiques de santé sont d'une nature différente. La plupart d'entre elles sont effectuées par des sociétés d'experts-conseils qui n'ont aucune motivation et peu d'intérêt pour la diffusion de leur travail. De plus, lorsque des universitaires réalisent une étude commandée, les termes de leur contrat leur nient ou leur limitent souvent le droit de publier leurs résultats. Ces résultats sont donc uniquement mis à la disposition de l'organisme qui a commandé l'étude pour l'aider à orienter ses décisions; personne d'autre ne peut les consulter.  

Quelle importance cela peut-il avoir pour certains (et probablement pour plusieurs) que des études sur les services et les politiques de santé effectuées au Canada ne soient jamais rendues publiques? Tout d'abord, cela empêche les chercheurs, les décideurs, les gestionnaires de systèmes de santé, les organismes de soins de santé, les groupes de défense des droits et la population d'avoir accès à des renseignements potentiellement pertinents qui pourraient influencer leurs opinions et leurs actions. Poussée à l'extrême, cette inaccessibilité peut entraîner de mauvaises décisions politiques ou l'abandon de bons projets à cause du manque de certains renseignements clés. Il est aussi possible qu'on prenne des décisions moins fermes ou à moins grande échelle que ce ne serait le cas si des données plus complètes étaient disponibles.

Si un meilleur accès aux résultats des études sur les services et les politiques de santé est dans l'intérêt de la population, quelles mesures correctives peut-on adopter? Dans le cas de la recherche entreprise par les chercheurs, plusieurs solutions sont envisageables :

• Les comités de titularisation et de promotion et les directeurs de département des universités devraient porter attention au lien entre les recherches complétées et les publications inscrites dans le curriculum vitæ des chercheurs, et demander des comptes aux enseignants qui ne publient pas les résultats de leurs projets.
• 
  
• Les organismes de financement devraient exiger des chercheurs qu'ils indiquent toute publication découlant des projets financés, avec suivi jusqu'à la publication des résultats finaux et en imposant des sanctions (p. ex., retrait du financement ou de l'admissibilité à tout financement futur) en cas de non-publication des résultats ou d'incapacité de justifier leur non-publication.
• 
  
• Les programmes de formation pour la recherche devraient accorder plus d'importance à la responsabilité sociale des chercheurs de publier leurs études pour favoriser la transmission des connaissances.

Pour ce qui est des études commandées, diverses mesures pourraient servir à améliorer la transparence et à accroître la probabilité qu'elles soient publiées, entre autres :

• Les organismes de recherche et les groupes de défense de l'intérêt public devraient exiger que les contrats de recherche et d'évaluation accordés par l'État incluent l'obligation de rendre publics les rapports de ces projets et qu'on permette aux chercheurs d'accéder aux données obtenues par des sociétés d'experts-conseils durant la réalisation de tels projets (en prévoyant les mesures appropriées pour assurer la confidentialité des données).¹
• 
  
• Les universités et les chercheurs devraient revendiquer qu'on accorde les droits de propriété intellectuelle des résultats des études commandées aux chercheurs plutôt qu'aux commanditaires de la recherche.

La diffusion étendue des résultats des études sur les services et les politiques de santé, y compris leur publication, est une responsabilité sociale des chercheurs et une obligation pour les organismes publics de financement de la recherche. La population et les décideurs y ont droit.

Comments

Be the first to comment on this!