Healthcare Policy

Abstract

The QOF is the product of negotiations between the National Health Service (NHS) and the British Medical Association, assisted by academic advisers. In the words of one of those advisers, "Professional representatives were willing to negotiate the provision of care that met higher standards in return for increased resources, and the government was willing to commit additional resources if there was evidence of improved performance" (Roland 2004). Conditions favourable to the QOF initiative included a period of sustained economic growth and increasing government revenues (Roland 2004), professional commitment to evidence-based practice (Wilson et al. 2006) and the availability of computerized clinical and administrative databases that could provide routine information on primary care performance (Majeed et al. 2007). The QOF was layered on a series of quality initiatives beginning in the 1990s (Campbell et al. 2005, 2007; Galvin 2006) that were associated with substantial improvements in quality of care during the period leading up to QOF implementation (Campbell et al. 2005).  

The NHS committed £1 billion ($2.3 billion CAD) annually in new money to the QOF initiative, a 20% increase in the general practice budget (Roland 2004). General practices stood to increase their income by up to 30%, or £42,000 ($96,000 CAD) per GP. In 2004-2005, the first year of the QOF, the average general practice achieved 958.7 points (91% of the 1,050 available), and almost half of all practices scored between 1,000 and 1,050 points (Peckham 2007). The scores were considerably higher than anticipated, and QOF incentive payments substantially exceeded the budget allocation (Doran et al. 2006). These results could reflect unchallenging performance targets, more diligent recording of performance, or quality improvements made in response to, in anticipation of or independent of the QOF incentives.

On average, practices serving socio-economically deprived populations achieve lower scores than those serving more affluent populations, although the differences are small (Guthrie et al. 2006; Sutton and McLean 2006; Wright et al. 2006; Doran et al. 2006; Ashworth et al. 2007). The QOF has been criticized for perpetuating the inverse care law (Hart 1971) - those with greatest needs get the least care - by failing to reward the extra work required to achieve quality targets in deprived areas (McLean et al. 2006).  

In the absence of either a concurrent control group or comprehensive pre-QOF time series data for the QOF indicators, it has been difficult to determine the extent to which QOF has rewarded GPs for what they were already doing (new money for old rope), what they would have done anyway, what they would have done on the basis of transparent performance feedback alone and what they did in response to the financial incentives. Campbell and colleagues (2007) assessed the quality of care for asthma, coronary heart disease and type 2 diabetes among a representative sample of UK general practices at three points in time - two before the introduction of pay for performance (1998 and 2003) and one after (2005). For 30 indicators for which financial incentives were provided under QOF and 17 indicators for which financial incentives were not provided, they compared mean performance scores in 2005 to scores predicted on the basis of the trend between 1998 and 2003. The rate of improvement in quality of care for diabetes and asthma increased significantly between 2003 and 2005 after the introduction of pay for performance, while the rate for coronary heart disease continued at the same rate. For all three conditions, the rate of improvement between 2003 and 2005 did not differ significantly between incentrivized clinical indicators and those for which incentives were not provided. These findings are consistent with the results of a systematic review of the empirical literature on paying for quality in healthcare and comparable interventions in other sectors, which found little evidence to support the effectiveness of paying for quality (Rosenthal and Frank 2006).  

In semi-structured interviews conducted just before the implementation of QOF, GPs described significant anticipatory changes in the structure and organization of their practices, including increased employment of nurses to provide nurse-led chronic disease management and triage and management of acute minor illnesses (Roland et al. 2006). They also reported recruitment of data entry clerks in response to the administrative demands of QOF, and "healthcare assistants" to undertake health promotion tasks. Most practices were in the process of refining their data collection processes to deal with QOF reporting requirements. Three years after the introduction of QOF, Campbell and colleagues (2008) conducted semi-structured interviews with 21 GPs and 20 nurses in 22 nationally representative English general practices. Although respondents believed that the QOF incentives had improved disease-specific processes of care and data capture, they described unintended effects, including the emergence of potentially competing patient-centred and QOF-oriented agendas during office visits, a decline in relational continuity between doctors and patients and resentment from nurses failing to benefit financially from QOF incentive payments that flowed to the doctors as employers and owners of the practice. Anecdotally, this last issue has also emerged in Ontario's Family Health Teams in relation to performance-based incentives for appropriate provision of influenza vaccinations, Papanicolau smears, mammography, childhood immunization and colorectal cancer screening. Threats to team relationships are particularly worrisome, given evidence that positive team climate is associated with improved chronic disease management, patient satisfaction, continuity of care and access to care (Campbell et al. 2001).  

Several commentators (and GPs themselves) have raised concerns about the potential effects of QOF and earlier quality-related initiatives on the motivations, roles and behaviour of GPs (Charles-Jones et al. 2003; Marshall and Harrison 2005; Roland et al. 2006; Mangin and Toop 2007), based in part on theoretical work in psychology as well as empirical evidence suggesting that for complex tasks, extrinsic incentives tend to reduce intrinsic motivation and performance unless they are consonant with personal and professional interests, values and sense of self (Deci et al. 1999; Gagné and Deci 2005). In the context of QOF, the chief worry is that GPs will pursue the QOF agenda at the expense of relational continuity, coordination of care and whole-person, patient-centred care. Concern that physicians had developed an unhealthy focus on the personal financial implications of their clinical activities led Kaiser Permanente to move away from extensive use of performance-based financial incentives and to focus on regular, transparent and systematic performance feedback as the principal driver of quality improvement (Levine 2007).

Two potential mechanisms by which GPs might be tempted to "game" the QOF have been identified: classifying patients with borderline clinical measures (e.g., blood pressure) or laboratory values (e.g., blood glucose) as having a condition covered by the criteria (Mangin and Toop 2007), and inappropriate exclusion of patients for whom GPs have missed (or are likely to miss) the QOF targets (Doran et al. 2006). The former situation (sometimes referred to as "diagnostic creep") is particularly worrisome because it could lead to inappropriate treatment and other consequences that flow from disease "labelling" (e.g., Macdonald et al. 1984; Forrow et al. 1989). However, there is no evidence to indicate whether and to what extent this situation has arisen in the QOF or in other pay-for-performance settings. In the first year of QOF, 1% of practices excluded more than 15% of patients (in one case, 86%), raising the possibility of gaming by a small number of practices (Doran et al. 2006).

What lessons can be drawn from experience in the United Kingdom and elsewhere to guide the introduction or refinement of pay for performance in primary care?

• Depending on the context and design features, pay for performance can yield small gains at large cost, particularly when targets are set in the absence of good baseline (or, better yet, time series) data on performance, and when performance levels - rather than performance improvements - are rewarded. In a US study conducted on a large health plan, physician groups with baseline performance at or above the performance threshold improved the least but received the largest share of bonus payments (Rosenthal et al. 2005). Although in theory, pay-for-performance schemes could be budget-neutral if increased payments to high performers were balanced by reduced payments to low performers, this scenario seems implausible in any setting where providers are represented by a recognized bargaining agent, such as a national or provincial/state medical association.
• 
  
• Given the above, policy makers should consider phased and carefully monitored introduction of pay-for-performance initiatives, payments that reward both performance levels and improvements over time, and focusing on a limited set of interventions (which might change over time) selected on the basis of baseline performance levels and potential health gains from improved performance.
• 
  
• Sophisticated clinical information systems are a prerequisite for mounting pay-for-performance programs (and for quality improvement initiatives in general).
• 
  
• Encouragement of inappropriate testing and treatment can be reduced by allowing the exclusion of patients for whom incentivized interventions are impracticable or inappropriate, recognizing that this opens the door to gaming.
• 
  
• To minimize the possibility of negative unintended consequences, especially the dilution of providers' internal motivation, primary care providers should be engaged in the design of pay-for-performance initiatives.
• 
  
• Methods for avoiding, identifying and countering unwanted effects, such as provider gaming, impaired team relationships and inequities for socially disadvantaged populations and their primary care providers, need to be thought through and put in place prior to the introduction of a pay-for-performance scheme.
• 
  
• Research is needed to establish the incremental effects of financial incentives beyond what can be achieved through ongoing performance feedback, quality improvement facilitators supporting practice-based quality improvement teams and participation in learning collaboratives.

For policy makers determined to go down the road of pay for performance despite the uncertainties and potential pitfalls, making haste slowly may be the best course of action.

Rémunération au rendement : avancez prudemment, chaussée glissante

Le QOF est un programme grâce auquel les cliniques de médecine générale reçoivent une incitation financière selon des critères de rendement dans quatre catégories : clinique (80 indicateurs), organisationnelle (43 indicateurs), expérience vécue par le patient (quatre indicateurs) et services supplémentaires (huit indicateurs) (National Health Service 2007). Les cliniques peuvent obtenir un total de 1050 points, selon des critères choisis et soupesés en fonction de la prévalence et du fardeau d'états de santé ciblés. Chaque point équivaut à environ 120 £ (240 $ CA) pour une clinique de médecine générale de taille moyenne au Royaume-Uni (c'est-à-dire trois omnipraticiens traitant 5500 patients inscrits) (Roland 2004). Pour certains indicateurs précis, les omnipraticiens peuvent exclure des patients pour diverses raisons, notamment le refus du patient de répondre aux invitations répétées pour un examen de santé; la non pertinence d'un indicateur en raison d'une maladie terminale, d'une faiblesse extrême ou d'une allergie aux médicaments; les effets indésirables ou les contre-indications (Doran et al. 2006). Les données du QOF au niveau clinique sont publiées en ligne (Majeed et al. 2007).

Le QOF est le fruit de négociations entre le National Health Service (NHS) et le British Medical Association, avec l'aide d'experts-conseils du milieu universitaire. Selon un de ces experts, « les représentants du milieu professionnel étaient prêts à négocier une prestation de soins atteignant des normes plus élevées en échange d'un accroissement des ressources, alors que le gouvernement était prêt à engager des ressources supplémentaires si on pouvait garantir une amélioration du rendement » (Roland 2004). Les conditions favorables au moment de l'implantation du QOF comprenaient une période de croissance économique continue, un accroissement des revenus du gouvernement (Roland 2004), un engagement professionnel envers la médecine fondée sur les données probantes (Wilson et al. 2006) et la présence de bases de données cliniques et administratives informatisées permettant d'accéder à des informations de routine sur le rendement en matière de soins de santé primaires (Majeed et al. 2007). Le QOF s'est appuyé sur une série d'initiatives visant la qualité, mises en place depuis le début des années 1990 (Campbell et al. 2005, 2007; Galvin 2006), lesquelles ont été associées à une augmentation appréciable de la qualité pendant la période précédant la mise en œuvre du QOF (Campbell et al. 2005).  

Le NHS a engagé 1 G£ (2,3 G$ CA) en argent frais chaque année dans l'initiative du QOF, une augmentation de 20 % du budget des cliniques de médecine générale (Roland 2004). Les cliniques ont vu leurs revenus augmenter de près de 30 %, soit 42 000 £ (96 000 $ CA) par omnipraticien. En 2004-2005, la première année du QOF, une clinique moyenne obtenait 958,7 points (91 % des 1050 points possibles) et près de la moitié de toutes les cliniques ont obtenu un pointage entre 1000 et 1050 points (Peckham 2007). Le pointage était beaucoup plus élevé que prévu et les paiements du QOF pour l'incitation ont largement dépassé les budgets alloués (Doran et al. 2006). Ces résultats peuvent traduire soit des objectifs de rendement plutôt faciles à atteindre, soit une documentation plus circonspecte du rendement ou encore une amélioration de la qualité en réponse aux mesures incitatives du QOF, ou indépendante de celles-ci.

En moyenne, les cliniques desservant des populations plus démunies au niveau socioéconomique ont obtenu de plus faibles résultats que celles desservant les populations mieux nanties, bien que l'écart entre les deux soit assez petit (Guthrie et al. 2006; Sutton et McLean 2006; Wright et al. 2006; Doran et al. 2006; Ashworth et al. 2007). Une des critiques envers le QOF a trait à sa tendance à favoriser la loi de corrélation inverse des soins (Hart 1971) - où les plus nécessiteux sont ceux qui reçoivent le moins de soins - en omettant de récompenser le travail supplémentaire nécessaire pour atteindre les objectifs de qualité dans les secteurs les plus démunis (McLean et al. 2006).

En l'absence d'un groupe de contrôle simultané ou d'une série chronologique de données complètes (antérieure au QOF) sur les indicateurs utilisés, il est difficile de déterminer si le QOF récompense les omnipraticiens pour ce qu'ils accomplissaient déjà (de l'argent frais pour une pratique déjà en place), pour ce qu'ils auraient fait de façon naturelle, pour ce qu'ils auraient simplement fait face à une rétroaction transparente sur le rendement ou alors pour ce qu'ils ont accompli en réponse aux mesures incitatives. Campbell et ses collègues (2007) ont évalué, dans un échantillon représentatif de cliniques généralistes au Royaume-Uni, la qualité des soins pour l'asthme, les maladies coronariennes et le diabète de type 2. Cette évaluation a eu lieu trois fois, soit deux fois avant la mise en place de la rémunération au rendement (1998 et 2003) et une fois après (2005). Ils ont comparé la moyenne des pointages pour le rendement en 2005 aux résultats projetés selon la tendance observée entre 1998 et 2003, et ce, pour 30 indicateurs utilisés par le QOF et 17 indicateurs pour lesquels il n'y avait pas d'incitation financière. Le taux d'amélioration dans la qualité des soins pour le diabète et l'asthme a augmenté de façon significative entre 2003 et 2005, après la mise en place de la rémunération au rendement, tandis que le taux d'amélioration des soins pour les maladies coronariennes a maintenu le même rythme de croissance. Dans les trois cas, entre 2003 et 2005, il n`y a pas de différences significatives du taux d`amélioration entre les indicateurs cliniques touchés par les mesures incitatives et ceux qui ne le sont pas. Ces résultats concordent avec ceux d'une revue systématique de la littérature empirique portant sur les initiatives de paiements pour favoriser la qualité dans le secteur des services de santé ou portant sur des interventions comparables dans d'autres secteurs; la revue systématique fait état de peu de données appuyant le bien-fondé de l'efficacité du paiement pour la qualité (Rosenthal et Frank 2006).  

Au cours d'entrevues semi-dirigées menées tout juste avant la mise en place du QOF, les omnipraticiens ont décrit d'éventuels changements significatifs dans la structure et l'organisation de leur pratique, notamment le recrutement d'infirmières pour la gestion des maladies chroniques et pour le triage et la gestion de maladies bénignes de courte durée (Roland et al. 2006). Ils ont également évoqué le recrutement d'employés pour la saisie de données afin de satisfaire aux exigences administratives du QOF et l'embauche d'assistants pour les tâches liées à la promotion de la santé. La plupart des cliniques mettaient en place des processus de saisie de données plus poussés afin de satisfaire aux exigences du QOF. Trois ans après l'implantation du QOF, Campbell et ses collègues (2008) ont mené des entrevues semi-dirigées auprès de 21 omnipraticiens et 20 infirmières dans 22 cliniques généralistes représentatives du Royaume-Uni. Bien que les répondants estiment que les mesures incitatives du QOF ont permis d'améliorer la saisie de données et les processus de soins pour des maladies précises, ils ont décrit des effets non escomptés, notamment l'émergence d'une compétition potentielle entre les programmes axés sur les patients et ceux liés au QOF pendant les consultations au cabinet; le déclin de la continuité des relations entre le médecin et le patient; le ressentiment des infirmières qui ne bénéficient pas de l'incitation financière du QOF, lequel est versé aux médecins en tant qu'employés et propriétaires des cliniques. Il convient de mentionner au passage que cette situation a été observée dans les groupes de santé familiale en Ontario dans le cadre des mesures incitatives fondées sur le rendement pour la prestation adéquate des services de vaccination antigrippale, de test de Papanicolaou, de mammographie, de vaccination des enfants et de dépistage du cancer colorectal. Les menaces pesant sur les relations d'équipe sont particulièrement préoccupantes, puisque les données démontrent qu'un climat positif au sein des équipes se traduit par une amélioration de la gestion des maladies chroniques, de la satisfaction des patients, de la continuité des soins et de l'accès aux services (Campbell et al. 2001).

Plusieurs personnes, y compris les omnipraticiens, ont exprimé leurs préoccupations au sujet des effets potentiels du QOF (et autres initiatives antérieures liées à la qualité) sur la motivation, le rôle et le comportement des omnipraticiens (Charles-Jones et al. 2003; Marshall et Harrison 2005; Roland et al. 2006; Mangin et Toop 2007). Ces préoccupations se fondent en partie sur les travaux théoriques en psychologie et sur les données empiriques qui suggèrent que pour des tâches complexes, les mesures incitatives extrinsèques ont tendance à diminuer le rendement et la motivation intrinsèque, à moins qu'ils ne concordent avec les intérêts, les valeurs et le sentiment d'identité aux niveaux personnel et professionnel (Deci et al. 1999; Gagné et Deci 2005). Dans le contexte du QOF, la principale préoccupation réside dans le fait que les omnipraticiens puissent poursuivre le programme du QOF au détriment de la continuité de la relation, de la coordination des soins, et des services axés sur les patients. Préoccupé du fait que les médecins auraient pu développer un intérêt personnel malsain envers les répercussions financières de leurs activités cliniques, Kaiser Permanente a mis fin à l'utilisation massive des mesures incitatives financières fondées sur le rendement. L'organisme s'intéresse plutôt à une rétroaction sur le rendement régulière, transparente et systématique comme principal moteur de l'amélioration de la qualité (Levine 2007).

Il existe deux principaux mécanismes selon lesquels les omnipraticiens peuvent être tentés de « fausser » les données : les patients, dont les mesures cliniques (par exemple pour la pression artérielle) ou les résultats en laboratoire (par exemple le taux de glycémie) donnent des valeurs limites, peuvent être classés comme ayant un état de santé correspondant aux critères (Mangin et Toop 2007); et les patients pour lesquels les objectifs du QOF n'ont pas été atteints ou sont peu susceptibles d'être atteints risquent de faire l'objet d'une exclusion inadéquate (Doran et al. 2006). Cette dernière situation (parfois qualifiée de « dérive diagnostique ») est particulièrement préoccupante car elle peut mener à un traitement inapproprié ou à d'autres conséquences liés à la « catégorie » de la maladie (voir, par exemple, Macdonald et al. 1984; Forrow et al. 1989). Cependant, il n'existe pas de données permettant de démontrer si cette situation est présente ou non dans le cadre du QOF ou d'autres structures où est en place la rémunération au rendement. Au cours de la première année du QOF, 1 % des cliniques ont exclu plus de 15 % des patients (dans un cas, 86 %), ce qui peut laisser entrevoir la possibilité d'un faussement des données pour un petit nombre de cliniques (Doran et al. 2006).

Quelles leçons peut-on tirer de l'expérience du Royaume-Uni ou d'ailleurs pour orienter la mise en place de la rémunération au rendement pour les soins de santé primaires?

• Dépendamment du contexte et de la conception, la rémunération au rendement peut permettre d'obtenir des petits gains à fort prix, en particulier quand les objectifs sont établis sans données initiales solides (ou, mieux encore, sans séries chronologiques) de référence portant sur le rendement, et quand sont récompensés les taux de rendement plutôt que les améliorations du rendement. Dans une étude menée aux États-Unis, les groupes de médecins pour lesquels les références de départ étaient égales ou au-dessus du seuil de rendement sont ceux qui se sont le moins améliorés mais qui ont reçu la plus grande part des primes (Rosenthal et al. 2005). Bien qu'en théorie l'effet des plans de rémunération au rendement sur les budgets puisse être nul, dans le cas où l'accroissement des paiements remis aux plus performants est équilibré par une réduction pour les moins performants, il semble difficile d'observer ce scénario dans tout contexte où les prestataires sont représentés par un agent négociateur reconnu, tel une association médicale nationale, provinciale ou d'État.
• 
  
• Étant donné le point soulevé ci-dessus, les responsables de politiques devraient prévoir une mise en place surveillée (et par étapes) des initiatives de rémunération au rendement, ainsi que des paiements qui récompensent à la fois les taux de rendement et les améliorations, en mettant l'accent sur un ensemble limité d'interventions (qui peut changer avec le temps) choisies en fonction de taux de rendement de référence et des gains potentiels sanitaires obtenus grâce à l'amélioration du rendement.
• 
  
• Des systèmes avancés d'information clinique sont indispensables à la mise en place de programmes de rémunération au rendement (et, en général, pour toute initiative d'amélioration de la qualité).
• 
  
• En permettant l'exclusion des patients pour qui une intervention soumise aux mesures incitatives est inadéquate ou impossible, on peut diminuer le recours aux examens ou traitements inappropriés, reconnaissant ainsi le risque de « faussement » des données.
• 
  
• Afin de réduire la possibilité de conséquences néfastes, particulièrement la réduction de la motivation à l'interne, les prestataires de soins primaires devraient prendre part à la conception des initiatives de rémunération au rendement.
• 
  
• Avant de mettre en place des plans de rémunération au rendement, il est nécessaire de bien concevoir des méthodes permettant d'éviter, de repérer et de contrer les effets non désirés tels que le faussement des données, la détérioration des relations d'équipes ou les iniquités touchant les populations désavantagées de même que leurs prestataires de soins primaires.
• 
  
• Il est nécessaire de faire de la recherche pour déterminer les effets marginaux des mesures d'incitation financières, au-delà de ce qui peut être accompli par une rétroaction continue sur le rendement, par les facilitateurs d'amélioration soutenant les équipes d'amélioration de la qualité et par la participation aux activités d'apprentissage collaboratif.

La prudence est sans doute la meilleure façon de procéder pour les responsables de politiques déterminés à mettre en place la rémunération au rendement malgré l'incertitude et la présence d'écueils potentiels.

About the Author

Brian Hutchison, MD, MSc, FCFP
Editor-in-chief

References

Ashworth, M., P. Seed, D. Armstrong, S. Durbaba and R. Jones. 2007. "The Relationship between Social Deprivation and the Quality of Primary Care: A National Survey Using Indicators from the UK Quality and Outcomes Framework." British Journal of General Practice 57: 441-48.

Campbell, S.M., M. Hann, J. Hacker, C. Burns, D. Oliver, A. Thapar, N. Mead, D. Gelb Safran and M. Roland. 2001. "Identifying Predictors of High Quality Care in English General Practice: Observational Study." British Medical Journal 323: 1-6.

Campbell, S.M., R. MacDonald and H. Lester. 2008. "The Experience of Pay for Performance in English Family Practice: A Qualitative Study." Annals of Family Medicine 6(3): 228-34.

Campbell, S.M., D. Reeves, E. Kontopantelis, E. Middleton, B. Sibbald and M. Roland. 2007. "Quality of Primary Care in England with the Introduction of Pay for Performance." New England Journal of Medicine 357: 181-90.  

Campbell, S.M., M. Roland, E. Middleton and D. Reeves. 2005. "Improvements in the Quality of Clinical Care in English General Practice: Longitudinal Observational Study." British Medical Journal 331: 1121-23.

Charles-Jones, H., J. Latimer and C. May. 2003. "Transforming General Practice: The Redistribution of Medical Work in Primary Care." Sociology of Health and Illness 25(1): 71-92.

Deci, E., R. Koestner and R.M. Ryan. 1999. "A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic Motivation." Psychological Bulletin 125(6): 627-68.

Doran, T., C. Fullwood, H. Gravelle, D. Reeves, E. Kontopantelis, U. Hiroehand and M. Roland. 2006. "Pay-for-Performance Programs in Family Practices in the United Kingdom." New England Journal of Medicine 355: 375-84.

Forrow, L., D. Calkins, K. Althouse and T. Delbanco. 1989. "Effects of Cholesterol Screening on Health Perceptions." Clinical Research 37: 818A.

Gagné, M. and E.L. Deci. 2005. "Self-Determination Theory and Work Motivation." Journal of Organizational Behavior 26: 331-62.

Galvin, R. 2006. "Pay-for-Performance: Too Much of a Good Thing? A Conversation with Martin Roland." Health Affairs 25: 412-19.

Guthrie, B., G. McLean and M. Sutton. 2006. "Workload and Reward in the Quality and Outcomes Framework on the 2004 General Practice Contract." British Journal of General Practice 56: 836-41.

Hart, J.T. 1971. "The Inverse Care Law." Lancet 1: 405-12.

Levine, S. 2007. "Engaging Physicians in Delivering Performance in Kaiser Permanente: Partnership, Integration, Physician Responsibility." Paper presented at the Integrated Health Care Experience Conference, Oakland, CA.  

Macdonald, L.A., D. Sackett, R. B. Haynes and D.W. Taylor. 1984. "Labeling in Hypertension: A Review of the Behavioural and Psychological Consequences." Journal of Chronic Disease 37: 933-42.

Majeed, A., H. Lester and A.B. Bindman. 2007. "Improving the Quality of Care with Performance Indicators." British Medical Journal 335: 916-18.

Mangin, D. and L. Toop. 2007. "The Quality and Outcomes Framework: What Have You Done to Yourselves?" British Journal of General Practice 57: 435-37.

Marshall, M. and S. Harrison. 2005. "It's About More Than Money: Financial Incentives and Internal Motivation." Quality and Safety in Health Care 14: 4-5.

McLean, G., M. Sutton and B. Guthrie. 2006. "Deprivation and Quality of Primary Care Services: Evidence for Persistence of the Inverse Care Law from the UK Quality and Outcomes Framework." Journal of Epidemiology and Community Health 60: 917-22.

National Health Service (NHS). 2007. The Quality and Outcomes Framework (QOF). Leeds: Author. Retrieved July 21, 2008. < http://www.ic.nhs.uk/services/qof >.

Peckham, S. 2007. "The New General Practice Contract and Reform of Primary Care in the United Kingdom." Healthcare Policy 2(4): 34-48.

Roland, M. 2004. "Linking Physicians' Pay to the Quality of Care - A Major Experiment in the United Kingdom." New England Journal of Medicine 351: 1448-54.

Roland, M., S. Campbell, N. Bailey, D. Whalley and B. Sibbald. 2006. "Financial Incentives to Improve the Quality of Primary Care in the UK: Predicting the Consequences of Change." Primary Care Research and Development 7: 18-26.

Rosenthal, M.B., R.G. Frank, Z. Li and A.M. Epstein. 2005. "Early Experience with Pay-for-Performance: From Concept to Practice." Journal of the American Medical Association 294: 1788-93.

Rosenthal, M.B. and R.G. Frank. 2006. "What Is the Empirical Basis for Paying for Quality in Health Care?" Medical Care Research and Review 63(2): 135-57.

Sutton, M. and G. McLean. 2006. "Determinants of Primary Medical Care Quality Measured under the New UK Contract: Cross Sectional Study." British Medical Journal 332: 389-90.

Wilson, T., M. Roland and C. Ham. 2006. "The Contribution of General Practice and the General Practitioner to NHS Patients." Journal of the Royal Society of Medicine 99: 24-28.

Wright, J., D. Martin, S. Cockings and C. Polack. 2006. "Overall Quality of Outcomes Framework Scores Lower in Practices in Deprived Areas." British Journal of General Practice 56: 277-79.