Archives du mot-clé évaluation

Plaidoyer pour une évaluation participative en EHPAD

Comment juger du bien-fondé d’un EHPAD ? Comment juger de sa « qualité » ? [3] Troisième partie : plaidoyer pour une évaluation participative

A contrario, la valeur dont il devrait être question en évaluation concerne le sens et l’importance que les gens attribuent à un objet, un service, une personne. Comme la hiérarchie des valeurs symboliques est parfaitement arbitraire, l’évaluation consiste à « faire émerger » la nature et le sens des valeurs qui mobilisent les gens. L’évaluation devrait s’attacher à comprendre pourquoi nous sommes prêts à payer plus cher une BMW qu’une Peugeot plutôt que de s’échiner à prouver que la différence de prix refléterait une différence de qualité, lié au process de production (l’organisation dans l’institution).

Nous voyons bien que ces valeurs sont le résultat de constructions collectives, parfois manipulées (par le marketing, par les politiques, par les religions, par les médias). Evaluer c’est donc mettre en évidence ces implicites qui guident nos préférences afin de pouvoir opérer un jugement sur la valeur.

Evaluer nécessite de mesurer (ou apprécier) un phénomène, ce qui suppose de définir ce qu’on va mesurer / apprécier (l’indicateur), la méthode de mesure (l’observation, l’entretien, le questionnaire, le contrôle des traces…) et la norme d’interprétation du résultat (le critère). Cette mesure (quantitative et/ou qualitative) ne constitue que le substrat nécessaire à l’élaboration d’un jugement qui dépend de comparaisons entre différentes mesures, lequel jugement ne peut être porté que par une confrontation des points de vue et des analyses de la mesure.

Ainsi par exemple, évaluer un nouveau médicament nécessite de comparer les effets positifs et négatifs du médicament, relativement à d’autres médicaments. En France on compare le médicament à un placébo, ce qui rehausse l’idée que l’on se fait de l’efficacité du médicament. Dans d’autres pays, on compare tout nouveau médicament au médicament de référence dans la classe thérapeutique. La différence de critère est nette et ses effets sur la décision sont parlant : dans la première approche, si le nouveau médicament est plus efficace que le placébo (ce qui est quand même en général le cas), il reçoit le jugement label « service médical rendu positif ». Dans les autres cas, le nouveau médicament n’apporte que très rarement un effet réellement significatif par rapport au médicament déjà existant, et le jugement serait alors « service médical rendu insuffisant ».

Chaque étape, chaque dimension de ce processus de connaissance pose de sérieuses difficultés, et ces difficultés inhérentes au processus d’évaluation, devraient faire l’objet d’un travail préalable entre tous les acteurs concernés. En particulier ce travail préalable explorera :

  • Les cadres de références théoriques et normatifs de l’analyse (les analyseurs) afin de les rendre explicites
  • Les indicateurs dont il est indispensable que la construction soit collective et qui doivent refléter correctement la question posée, afin d’y répondre au moins en partie.
  • Les critères qui doivent être élaborés de telle manière que les résultats de la mesure puissent être interprétés sans trop de flou et permettent l’élaboration d’un jugement collectif.
  • Les méthodes de mesure doivent être relativement fiables et permettre par leur rigueur d’établir les comparaisons. Elles ne doivent pas pour autant conduire à trop simplifier les questions que l’on se pose et les indicateurs que l’on choisit.

On l’aura compris, l’évaluation est un enjeu politique dans les pratiques socio-économiques.

Selon le cadre de référence de l’évaluateur, selon les indicateurs choisis, les critères retenus, le jugement porté sur la situation peut grandement varier.

C’est pourquoi les acteurs de l’évaluation doivent nécessairement intégrer les acteurs de l’action elle-même pour non pas réaliser eux-mêmes l’ensemble du processus, mais être partie prenante des étapes successives :

  • Faire en sorte que l’évaluateur explicite ses conceptions, ses valeurs, son cadre de référence
  • Faire le choix de l’objet à évaluer (on ne peut pas tout évaluer)
  • Négocier les indicateurs, les critères, les méthodes de mesure
  • Contribuer à l’analyse des résultats
  • Etre des sortes « d’assesseurs » dans la production du jugement.

C’est à ces conditions qu’une évaluation est non seulement faisable, mais qu’elle fera sens pour les acteurs et donc qu’elle produira des effets.

Mais nous constatons nombre de situations contextuelles qui ne permettent pas cette élaboration collective et coopérative, comme les évaluations prônées par les tutelles dans lesquelles les référentiels arrivent tous prêts, préparés par des technocrates.

Autrement dit, nombre de procédures dites évaluatives ne permettent pas en réalité une production collective d’un jugement sur la valeur, et en conséquence ne disent rien sur la pertinence ou la qualité d’une action.

Il importe donc de résister à ces « canada dry d’évaluations » et d’essayer de reprendre du pouvoir en contestant les conceptions à l’œuvre tant dans le management que dans les procédures d’évaluation qui en sont issues. Se mobiliser autour des méthodes, des outils et des jugements est indispensable. L’évaluation est un enjeu de pouvoir dans les institutions. S’en emparer, c’est faire en sorte que ce ne soit pas l’évaluation qui soit au pouvoir, et c’est une opportunité pour reprendre collectivement une élaboration du sens de l’action.

 

Michel Bass

Comment juger du bien-fondé d’un EHPAD ? Comment juger de sa « qualité » ? [2]

Deuxième partie : Comment en est-on arrivé là ?

Vous aurez remarqué dans la première partie que j’assimile le processus institué de l’évaluation comme la victoire de la bureaucratie. De même, je fais remarquer que les procédures les plus formalisées d’évaluation sont issues de l’industrie. Ce n’est pas un syllogisme que de rapprocher ces 2 termes : la bureaucratisation prend son origine historique dans la manière dont les grandes entreprises s’organisent : on a un quasi synonyme entre bureaucratie et management. Ce n’est que tardivement que les gouvernements et l’Etat ont aussi adopté ces méthodes. Le management organise bureaucratiquement la production. Taylor en est l’un des fleurons…Pour l’industrie, il s’agit de tout contrôler, d’établir des règles et des process, et de les faire respecter afin d’atteindre une production efficiente. L’évaluation n’étant que le contrôle a posteriori du respect des procédures et de la conformité du produit fini au cahier des charges (lui-même document concocté par des cols blancs dans des bureaux), ce qui définit la qualité.

L’histoire récente de l’évolution du monde sanitaire et médico-social montre une tendance nette à se penser et instaurer des fonctionnements de type industriel. Evaluer ces dispositifs revient à penser les services aux personnes comme une production industrielle. « Tout le néomanagement et le new public management, et en France la Révision Générale des Politiques publiques (RGPP), reposent sur la fétichisation de cette évaluation quantitative systématique à base de reportings et de benchmarkings. Peu importe en définitive que les indicateurs d’efficacité retenus soient, le plus souvent tous plus arbitraires les uns que les autres. L’essentiel, pour satisfaire au dogme, est qu’il y ait une évaluation quantifiée,  qui rappelle l’objectivité des prix du marché et qui permette de penser universellement les acteurs sociaux comme de simples producteurs de biens et de services, marchands ou quasi marchands »[1] Et l’incitation à l’évaluation des administrations et des services publics promue par Michel ROCARD à la fin des années 80 montre bien à quel point le monde de l’industrie, le monde de l’administration et le monde politique sont en fait une seule et même chose.

Or « ce qui spécifie l’évaluation, c’est la notion de valeur, non pas au sens économique mais philosophique du terme[2] [qui devrait faire qu’] il ne devrait y avoir évaluation qu’au moment où quelqu’un déclare qu’ [une mesure] est, ou non, acceptable, qu’elle signifie tel ou tel type de qualité, au moment où émerge le qualitatif dans le quantitatif (…) où elle représente l’irruption de discontinuités de valeurs dans des systèmes continus »

Notre société moderne (disons depuis le 19e siècle) a tenté d’éliminer, en la rationalisant, la question des valeurs : l’être humain moderne débarrassé des valeurs serait un être calculateur motivé par son seul intérêt. Nous agirions rationnellement en fonction de la loi de l’intérêt, c’est-à-dire la loi économique et le prix serait la juste mesure de cet intérêt.

L’évaluation du secteur médicosocial qui tend à ne s’intéresser qu’au process et à son reporting (la fameuse traçabilité) au travers de « démarches qualité » voudrait ramener la valeur à une dimension simple (simpliste) de procédures standardisées, mesurables, comme les industriels le font dans leur management. Dans l’industrie, c’est finalement le prix qui est « la juste mesure ». Dans le médicosocial, il n’existe aucun indicateur aussi synthétique que le prix, les productions étant par trop immatérielles. Mais la tendance, le désir, sont là : ramener la complexité des situations, des vécus, des institués à quelques notions facilement observables et mesurables, d’où une sorte de passion pour les procédures, et leurs traces. Observer par contre le vécu d’un résident dans un EHPAD est autrement plus complexe que d’observer si les changes ont bien été tracés (la trace étant supposée une équivalence de la réalisation) par les aides soignantes.

En pratique [cette] méthode bureaucratique revient invariablement à ignorer toutes les subtilités de la vie sociale réelle pour tout réduire à des recettes mécaniques ou statistiques préconçues. (…) il s’agit d’appliquer des modèles préexistants très simples à des situations complexes et souvent ambiguës[3].

Le problème est bien ce que décrit Graeber : tous ces processus de contrôle, de reporting, voire de « participation » confisquent « toute possibilité de communication ou de signification [et] est l’essence réelle de la violence [4]».

Juger de la valeur d’un EHPAD en quantifiant un process de production normé, c’est faire comme si la relation de service (apporter une aide à une personne en besoins) fonctionnait strictement comme une relation marchande (produire un bien ou un service, le proposer à des « agents économiques » qui « vont faire un choix rationnel » en utilisant ces biens, garantir la qualité du service, juger de sa conformité à un ensemble normatif).

Derrière cela se loge un dogme : le néolibéralisme et le TINA (There Is No Alternative) jadis proclamé par Margaret Thatcher. Au cœur de ce dogme, « règne l’idée que l’Homme étant par nature un Homo Oeconomicus, le seul mode de fonctionnement social, le seul milieu qui convienne véritablement  est le Marché, et que celui-ci, selon la formulation du principal théoricien du néolibéralisme Von Hayek, est un ordre spontané qui s’impose naturellement, de lui-même, en raison de l’avantage sélectif qu’il présente sur tous les autres ordres »[5].

Il s’agit d’une irruption de l’économisme dans l’analyse et la compréhension des phénomènes sociaux. Ou plus exactement, de la réduction à l’économie mathématique de l’analyse des phénomènes sociaux. Si on ne peut oublier qu’« un domaine libre de toutes normes n’existe pas dans la société humaine »[6], le système normatif proposé à l’évaluation des EHPAD est celui des normes de marché (l’efficacité des actes nécessaires au service) et non des normes de la considération que l’on doit à nos aînés. Et ceci est un choix conscient de management, non une démarche naturelle, inéluctable ou indispensable.

Il y a bien sûr une dimension économique dans les EHPAD, mais elle est enchâssée (« Embedded »[7]) dans la structure humaine et sociale où les services effectués devraient être considérés à l’aune du bien-être des personnes, et non de la réalisation de l’acte en soi. Mesurer la proportion des actes tracés, ou observer si les chariots ne trainent pas dans le couloir ne dit rien sur le vécu des résidents. Cela parle de l’organisation productive. Et de sa conformité aux normes d’organisation, lesquelles relèvent d’une approche rationalisée et rationalisatrice des relations humaines, une approche syllogistique : un acte bien fait est un acte fait, un acte fait est un acte tracé, un acte bien fait est donc un acte tracé. Peu importe même alors qu’il ait été réellement réalisé. Le système de production est considéré comme une machine qu’il suffirait de régler, le réglage résidant dans le contrôle de ce que fait chaque agent, les règles étant celles des normes de « bonne pratique » qu’il suffirait de faire respecter pour assurer la qualité.

Or « les hommes [les agents][ne peuvent être] considérés comme des prolongements de la machine et traités principalement comme des marchandises (…), car pour n’être qu’un exécutant, il faudrait qu’il y ait, de l’autre côté, un maître absolu ».[8]

(La 3° et dernière partie à venir: plaidoyer pour une évaluation participative)

 

Michel Bass

[1] Alain CAILLE, in Jérôme MAUCOURANT, avez-vous lu Polanyi ?, Champs essais 2011, p10.

[2] Jacques ARDOINO et Guy BERGER, l’évaluation comme interprétation in REVUE POUR N° 107 « l’évaluation au pouvoir »,Privat,  juin 1986, pp .120 et 122

[3] David GRAEBER, bureaucratie, les liens qui libèrent p.92

[4] David GRAEBER, op.cit p.123

[5] Alain CAILLE, op.cit p.10

[6] Karl POLANYI cité dans Jérôme MAUCOURANT, op.cit. p.27.

[7] L’embeddednes (enchâssement) de l’économique dans le social est l’un des concepts clé de POLANYI

[8] Eugène ENRIQUEZ, l’organisation en analyse, PUF, 19..

Comment juger du bien-fondé d’un EHPAD ? Comment juger de sa « qualité » ? [1]

Première partie : l’évaluation des établissements médicosociaux

Toute institution médicosociale même privée est régie par des règles publiques, s’appliquant à tout établissement quel que soit son statut.  Ces règles sont principalement définies dans la loi de janvier 2002.

Parmi ces règles, les établissements sont soumis à autorisation. Cette autorisation est conditionnée : les établissements doivent satisfaire à des réglementations en matière d’hébergement (normes de confort et de sécurité), d’hygiène (normes sanitaires), d’organisation (normes sociales), et d’évaluation (norme technocratique). Toutes ces réglementations sont en fait l’envahissement par la norme bureaucratique et l’idéologie managériale de tout l’espace de l’action et imposent des contraintes fortes aux acteurs. Personne ne peut ouvrir un établissement même purement privé, c’est-à-dire avec ses propres normes, même si il est entièrement auto financé.

Nous avons pu observer cette progression de la main mise bureaucratique sur le médicosocial depuis une vingtaine d’années : pour mémoire, la création des ARH (agences régionales de l’hospitalisation) introduisant les normes managériales dans l’hôpital avec les procédures d’accréditation et le vote par le parlement d’une loi de finance de la sécurité sociale, la régionalisation des objectifs de santé (conférences régionales de santé) (réforme « Juppé, 1995) ; la création d’un vaste secteur médicosocial (petite enfance, enfance, handicap, personnes âgées) dont la loi de janvier 2002 (réforme Kouchner) est l’aboutissement. Avec cette loi de janvier 2002, certaines règles, auparavant un peu disparates, sont maintenant regroupées et étendues, définissant le fonctionnement interne des établissements – comme par exemple la nécessité de la participation des familles avec les conseils de la vie sociale, mais aussi les conventions dites tripartites entre état, conseil général et structure. Vient ensuite la réforme de l’assurance maladie de 2007 (dans la loi de finance de la sécurité sociale)  qui institue la T2A, puis la mise en place de l’ANESM – agence nationale pour l’évaluation et la qualité du secteur social et médicosocial –, et enfin la loi HPST (2009) créant les ARS (agences régionales de santé). L’évolution manifeste de ces lois successives réside dans la recentralisation du secteur sanitaire et médicosocial. En mettant fin à la possibilité des acteurs locaux d’inventer leurs dispositifs,  l’ARS invente elle-même des appels à projets à partir de définition experto-bureaucratique des « besoins » des populations (essentiellement une adéquation des ressources aux données démographiques et épidémiologiques).

Il reste possible pour des particuliers de s’auto organiser, de réaliser leur propre projet d’hébergement par exemple, à condition que cela reste purement un contrat entre des gens (par exemple un projet immobilier de co-location entre des personnes âgées) dans le cadre d’un domicile privé. Le projet que les gens définissent pour leur vie commune est leur affaire. Aucune subvention publique ne peut être accordée[1]. Sauf dans la fenêtre très étroite d’« expérimentations » qui intéresseraient l’ARS. On a alors affaire non à une « structure d’hébergement » mais à un « collectif ». Le mot « collectif » évoque la mise en commun, et l’affranchissement de certaines règles institutionnelles.

La réponse à la question du jugement du bien-fondé des EHAPD est donc claire : le bien-fondé d’un EHPAD est déterminé par la bureaucratie de l’ARS, par une légion d’experts qui « déterminent » les besoins et déterminent les réponses appropriées dans le cadre de la réglementation. Un « bon » EHPAD est celui qui est conforme aux réglementations, nonobstant la vie qu’y mènent les gens, résidents comme salariés. Il ne s’agit pas de savoir si l’EHPAD est une réponse appropriée aux vies des gens, mais de savoir où les implanter, avec combien de places, et pour quel type de public (par exemple si il y aura une section – ou plusieurs – d’accueil des « Alzheimer » de type unité psycho gériatrique, PASA ou unité d’hébergement renforcé).

Pour juger de cette conformité, une évaluation en deux temps est obligatoire, par un processus voulu par la loi de janvier 2002 : évaluation interne (faite par les acteurs eux-mêmes) et évaluation externe (avec la venue d’un expert).

L’évaluation interne repose sur les recommandations proposées par l’ANESM. A partir de ces recommandations, les acteurs, c’est-à-dire surtout les administratifs (DRH) et les cadres (directeur des soins) fabriquent « une grille » qu’ils vont faire remplir par leurs agents type aides soignant ou infirmières. Il s’agit exclusivement de se situer par rapport aux normes de l’ANESM, et le remplissage des grilles est du pur déclaratif. Quelques séances vite bâclées suffisent en général à apprécier « à la louche » comment les gens qui travaillent se positionnent par rapport aux recommandations et aux normes. Dans cette démarche, on n’ira pas interroger la réalité des pratiques.

Une autre approche est aujourd’hui possible : se faire certifier ISO par l’AFNOR. Là, on n’est plus dans du déclaratif, mais dans de la vérification de conformité aux normes de procédure. Pour l’AFNOR, organisme issu de l’industrie, les normes sont purement techniques, à la différence de l’ANESM qui a fait un réel effort de production de recommandations de « bientraitance ». Que sont les normes industrielles dans le médicosocial ? Essentiellement des normes décrivant le « process » de production, et son « reporting[2] ». Par exemple, un soin doit être pensé en fonction de besoins identifiés (et donc une procédure d’identification doit être repérable, par exemple via le « projet de vie personnalisé), programmé et planifié, et sa réalisation « tracée ». Il importe donc plus, dans cette approche de savoir si le process existe et s’il est respecté, que de savoir si les soins sont adaptés ou nécessaires, et si leur réalisation s’est faite dans les règles de l’art. Ainsi par exemple, des infirmières qui distribuent des médicaments doivent tracer, valider la distribution. Savoir si la personne a effectivement pris ses médicaments importe peu. Le certificateur pourra vérifier aisément si, résident par résident, le process et le reporting sont bien conforme à l’attendu. Ce qui n’est pas sans poser, d’ailleurs, des problèmes de confidentialité et de secret médical puisque les traces sont incluses dans le dossier patient, non anonymisé. Cela rappelle les procédures d’accréditation des hôpitaux. Ainsi un radiologue doit annoncer les résultats de ses examens à un patient. En démarche procédurale, il faut l’avoir fait, et pouvoir le prouver. Savoir comment cela se passe, si le patient a été entendu, a compris et dans quel état il était après n’importe pas dans cette approche.

Cela renvoie aussi à la procédure judiciaire, dont le respect pointilleux tend à devenir plus important que l’établissement de la vérité ou la réalité des faits. Ainsi peu importe les projets de vie, leur contenu, ou comment ils ont été élaborés, et encore moins si l’information ainsi collectée a une utilité ; l’expert vérifiera si ces projets existent dans l’institution, et quelle est la proportion de résidents pour lesquels un tel projet existe. En deçà d’un certain seuil défini par la norme ISO, l’établissement recevra une alerte de non conformité avec un calendrier pour y remédier. On peut comprendre pourquoi, à l’approche de la venue de l’expert, tous les services imposent à leurs agents la mise à jour des projets de vie. Qu’on s’empressera d’oublier (que pourrait-on en faire, en réalité ?) une fois l’expert reparti.

L’ANESM est une petite structure. Peu d’agents y travaillent, comparé aux milliers d’établissements, et à l’obligation qui leur est faite de réaliser leur évaluation interne/externe avant 2017. L’ANESM a donc délégué à des prestataires extérieurs le soin de réaliser les évaluations, à condition de respecter quelques règles et ses recommandations (l’agrément est purement administratif, et les radiations sont exceptionnelles). Il faut vraiment des faits graves pour fermer un établissement… Le résultat de l’évaluation se résume à des recommandations « d’amélioration » des procédures, basées la mise en évidence d’insuffisances de reporting. La rigueur ou la méthodologie de l’évaluation n’est pas contrôlée par l’ANESM surtout s’il s’agit d’officines de certification, elles-mêmes labellisée dans leur propre réseau. Assez rapidement, et au vu du retard pris dans la réalisation des évaluations (initialement elles auraient dû être faites, pour la première salve de renouvellement d’« autorisation » avant 2012, reporté à 2017), l’ANESM semble avoir accepté que la certification AFNOR valide au moins en partie l’évaluation interne. Bel exemple d’entrisme du lobby des boites de consulting. De ce fait l’évaluation externe devient pour partie de la certification et, les experts industriels n’ayant pas une grande culture de l’action sociale et de santé, montrent une assez grande incompétence pour observer, analyser et juger de ce qui se passe réellement dans les établissements (en fait cela ne leur vient même pas à l’esprit).

On peut dire aujourd’hui qu’une réelle évaluation des EHPAD n’existe pas. On trouve bien sûr dans les établissements tout un tas de recommandations de bonne pratique (AFNOR, ANESM, charte du résident, MOBIQUAL), parfois de simples produits commerciaux surfant sur la qualité recherchée par les acteurs (humanitude en est l’exemple le plus flagrant). Mais le processus d’interrogation sur les pratiques existe peu, souvent cantonné aux réunions d’équipe, et en l’absence complète des gens concernés ou de leur entourage.

Aujourd’hui nul ne peut dire si l’EHPAD est une bonne réponse, et encore moins ce qu’il s’y passe réellement (on peut s’en rendre compte quand on y travaille, et tout cela n’est qu’un secret de polichinelle). Rien n’est étudié de manière systématique et approfondie pour dépasser la conformité aux normes, et juger de ce qu’on propose aux gens pour les derniers mois ou années de leur vie.

(la 2° partie à venir: Comment en est-on arrivé là ?)

Michel Bass

[1] Sauf bien sûr l’APA pour les personnes en perte d’autonomie. Mais c’est une allocation personnalisée et non pas une subvention.

[2] Opération consistant à faire rapport de son activité.