Évaluation PSO 2022

Informations générales

Système de surveillance faisant l’objet de l’évaluation

Plan de surveillance des oléoprotéagineux

Année de réalisation

2022

Evaluateur principal

GAY Emilie

Pays

France

Description

Après avoir dressé un état des lieux des dispositifs en charge de la surveillance du cadmium dans la chaîne alimentaire en France, le GT "Cadmium" (2020-2022) de la plateforme SCA, animé par l'ACTA et INRAE, a souhaité réaliser une évaluation OASIS Flash de l'un deux. Le Plan de surveillance des oléoprotéagineux (PSO) s’est porté volontaire. L’évaluation a été menée sur l’ensemble du dispositif, en se focalisant sur le cadmium uniquement pour les critères pour lesquels la diversité des contaminants surveillés rendait impossible l’exhaustivité de l’évaluation.

Confidentialité

Évaluation totalement publique

Contextualisation

1. Termes utilisés dans le questionnaire

INSTANCE DE PILOTAGE

Comité de pilotage

INSTANCE D’APPUI SCIENTIFIQUE ET TECHNIQUE

Groupe d'animation scientifique et technique, constitué de 4 personnes qui participent également à la coordination centrale

INSTANCE DE COORDINATION CENTRALE

4 personnes du groupe d'animation + 2 personnes de Terres Univia (Interprofession)

UNITÉS INTERMÉDIAIRES

Sans objet

COORDONNATEUR

Florence Lacoste (ITERG), Sylvie Dauguet (Terres Inovia)

COLLECTEURS DE DONNÉES

Partenaires du PSO (= entreprises de la filière qui transmettent leurs données d'auto-contrôles)

SOURCES DE DONNÉES

Partenaires également, sauf pour Oqualim qui collecte les données auprès de ses propres adhérents avant de les transmettre au PSO

UNITÉ ÉPIDÉMIOLOGIQUE

1 analyse = 1 unité épidémiologique (car à un même échantillon peuvent correspondre plusieurs analyses)

LABORATOIRE CENTRAL

Sans objet

LABORATOIRE LOCAL

Ceux choisis par les partenaires

2. Schéma synthétique du système de surveillance

Questionnaire

Section 1 : Objectifs et contexte de la surveillance

1.1 Objectifs du Système de Surveillance

1.1.1 Décrivez les objectifs globaux du système de surveillance

Le PSO a été mis en place de façon opérationnelle en 2005 dans un contexte d’entrée en application progressive du « Paquet Hygiène » dans les années 2000. Cet ensemble de textes réglementaires rend les professionnels responsables de la sécurité sanitaire de leur production et ils doivent alors mettre en place des plans d’autocontrôles permettant de garantir cette sécurité sanitaire. Le but du PSO est de créer une base de données sur les contaminants touchant le secteur des oléoprotéagineux (mycotoxines, éléments traces métalliques, produits phytosanitaires, toxiques organiques, contaminants microbiologiques et chimiques, impuretés botaniques), afin de surveiller leur évolution dans différentes productions, en mutualisant les résultats d’autocontrôles des professionnels de la filière.

1.1.2 Décrivez les objectifs spécifiques du système de surveillance

- constituer une base de données sur les contaminants des graines, tourteaux et huiles de colza, tournesol et soja, ainsi que sur les graines et produits transformés de graines protéagineuses (pois, féverole, lentille …), base de données mutualisée à l’échelle filière ;
- permettre aux entreprises de se positionner anonymement par rapport aux autres partenaires ;
- déterminer objectivement les étapes de contamination potentielle et les dangers sanitaires concernant la filière oléoprotéagineuse, ce qui a l’avantage pour le partenaire de lui permettre de mieux cibler ses auto-contrôles ;
- orienter la recherche vers des problèmes détectés dans le Plan de surveillance ;
- permettre une réponse consensuelle de la filière en cas de crise touchant les oléagineux ou les protéagineux, à partir de données objectives, fiables et représentatives ;
- participer à la fixation de seuils réglementaires réalistes ;
- produire une veille réglementaire.

1.1.3 Indiquez le niveau de formalisation de ces objectifs

Inscrits dans la convention de partenariat, sauf les aspects de veille réglementaire

1.2 Attentes des organismes impliqués dans le système de surveillance

1.2.1 Attente du public (le grand public en général)

Garantie d’une alimentation sûre d’un point de vue sanitaire

1.2.2 Nom de l’institution mettant en œuvre la surveillance (coordination)

Terres Inovia, ITERG, Terres Univia

1.2.3 Attentes de l’institution mettant en œuvre la surveillance (coordination)

Garantir la compétitivité de la filière, la sécurité sanitaire

1.2.4 Nom de l’institution qui finance le système de surveillance

Terres Inovia, ITERG, Terres Univia (financement de l’interprofession), pas de frais d’adhésion pour les partenaires, financements ponctuels par réponse à des appels à projets (ex : FranceAgriMer)

1.2.5 Attentes de l’institution qui finance le système de surveillance

Garantir la compétitivité de la filière, la sécurité sanitaire

Nom du partenaire

La Coopération Agricole Métiers du grain, FNA, GTOM, SNIA, La Coopération Agricole Nutrition animale, Syndicat des Exportateurs (SYNACOMEX).

Attentes du partenaire

Permettre les échanges entre les différents maillons de la filière, défendre les intérêts des entreprises (fixation de seuils réglementaires), avoir accès aux informations sur l’évolution de la réglementation (veille réglementaire)

Nom du partenaire

OS (Organismes stockeurs), triturateurs (transformation des graines en tourteaux et huiles brutes) et raffineurs (production des huiles pour l’alimentation humaine)

Attentes du partenaire

Pouvoir se positionner par rapport aux autres partenaires (comparer leurs résultats annuels), avoir une vue d’ensemble de la qualité sanitaire des produits de la filière, être actif dans la détermination des seuils, avoir accès à une veille réglementaire, orienter l’élaboration des plans de surveillance (stratégie d’échantillonnage, contaminants à cibler….), pouvoir échanger avec les autres acteurs de leur filière

Nom du partenaire

Oqualim

Attentes du partenaire

Pouvoir se positionner par rapport aux autres acteurs du secteur, contribuer à la sécurité sanitaire de la filière en ayant accès aux résultats sur l’amont de leur filière (fournisseurs de matières premières), avoir une vue d’ensemble de la qualité sanitaire des produits de la filière, pouvoir échanger avec les autres acteurs de leur filière

1.3 Stratégie de surveillance et de lutte

Nom de la maladie / danger

Résidus de pesticides, éléments traces métalliques, mycotoxines, impuretés botaniques, contaminants microbiologiques, polluants organiques (HAP, dioxines, PCB, huiles minérales, esters de 3-MCPD, néoformés…)

Situation dans la zone de surveillance et stratégie de lutte en place de la maladie / danger

Liste de contaminants prioritaires revue en fonction de la législation et de son évolution (Ex : toxines d’Alternaria, graines de Datura), des données d’occurrence, l’évolution de l’intérêt porté.
Le dispositif de surveillance n’a pas de base réglementaire en lui-même mais collecte des données produites sur une base réglementaire (réglementation alimentation animale et humaine).

Section 2 : Organisation institutionnelle centrale

2.1 Responsabilité du système de surveillance

Financement : Terres Inovia, ITERG, Terres Univia (financement de l’interprofession), pas de frais d’adhésion pour les partenaires, financements ponctuels par réponse à des appels à projets (ex : FranceAgriMer)
Coordination : Terres Inovia, Terres Univia, ITERG
Motivations : Garantir la compétitivité de la filière, la sécurité sanitaire

2.2 Instance de coordination centrale

Composition :
- Terres Inovia (2 personnes)
- ITERG (2 personnes)
- Terres Univia (2 personnes)

Moyens matériels, financiers, humains suffisants ? :
Pour la coordination les moyens sont suffisants dans l’ensemble, pas de difficultés particulières identifiées

Composition formalisée : Non
Ressources humaines en ETP : 6 pers. (< 10 % /pers)

Modalités d’animation/supervision des acteurs de terrain (Ex : nb de réunions) :
- 1 réunion annuelle de restitution aux partenaires (fin d’année)
- 1 journée associée à Hypérion avec tous les partenaires du PSO et d’Hypérion (dont certains sont communs), les pouvoirs publics (printemps). Cette réunion n’a plus eu lieu depuis le Covid.
- Actuellement 3 wébinaires d’1h sont prévus au cours de l’année avec l’ensemble des partenaires mais les pouvoirs publics ne sont plus présents. Au cours de ces wébinaires sont abordés : des points d’actualité, des infos réglementaires, le bilan des données saisies sur la campagne en cours. L’organisation de ces wébinaires fait suite à une demande de la part des partenaires, désireux d’avoir des réunions plus régulières, dans un format plus concis.

2.3 Instance de pilotage

Organismes représentés: Le Comité de Pilotage est constitué par des représentants de chaque métier (TERRES UNIVIA, La Coopération Agricole Métiers du grain, FNA, GTOM, SNIA, La Coopération Agricole Nutrition animale, ITERG, TERRES INOVIA, le Syndicat des Exportateurs (SYNACOMEX).

Moyens matériels, financiers, humains suffisants ? : Oui, pas de difficultés remontées

Composition formalisée ? : La liste des membres du Copil est indiquée dans la convention de partenariat (à mettre à jour). La composition nominative n’apparaît que dans un document interne et dans les CR des comités de pilotage. Un accord de confidentialité a été signé (mais pas toujours à jour), un membre de l’INRAE peut être invité ponctuellement afin d’intervenir sur une problématique spécifique

Fonctionnement : 1 réunion annuelle + réunion extraordinaire si besoin

2.4 Instance d’appui scientifique et technique

- Personne A, Terres Inovia : recrutement des partenaires, recherche bibliographique, représentation du PSO à l’extérieur
- Personne B, Terres Inovia : saisie des données
- Personne C, ITERG : saisie des donnés, référente méthodes d’analyses (chimie)
- Personne D, ITERG : saisie des données

Moyens matériels, financiers, humains suffisants, difficultés rencontrées ?
Les moyens permettent de fonctionner mais des moyens humains et financiers permettraient d’aller plus loin, notamment le recrutement d’autres partenaires, assez chronophage, n’est pas beaucoup développé faute de temps/moyens.

Composition formalisée ? : Non

Fonctionnement (nb réunions,…) : une réunion par trimestre environ

2.5 Textes encadrant le fonctionnement du système

Surveillance/vigilance sanitaire formalisée dans la réglementation ? : pas de base réglementaire pour le dispositif en lui-même mais ce dernier s’appuie sur des données collectées de façon réglementaire (textes législatifs du Paquet hygiène)

Existence d’une charte/ convention/ autres ? : convention de partenariat signée avec chaque partenaire (reconduite tacitement), accord de confidentialité signé avec le Copil

Section 3 : Organisation institutionnelle de terrain

3.1 Unités Intermédiaires

Sans objet

3.2 Coordination et supervision par les unités intermédiaires ou l’instance de coordination centrale

Sans objet

3.3 Moyens humains, matériels et financiers des unités intermédiaires pour répondre aux objectifs du système

Sans objet

3.4 Collecteurs de données

Catégories de collecteurs de données, rôles : Partenaires (OS, triturateurs, raffineurs) qui transmettent les résultats de leurs propres auto-contrôles sauf Oqualim qui collecte déjà de son côté les données de ses adhérents

Nombre : 37 partenaires dont 29 OS, 5 triturateurs, 2 raffineurs, 1 représentant du secteur animal (Oqualim)

Recrutement : La sollicitation des adhérents se fait via les membres du Copil (fédérations) qui recrutent auprès des entreprises. Le recrutement peut éventuellement se faire par contact direct d’un membre du PSO avec les entreprises. Enfin, le PSO fait la promotion de son dispositif lors d’évènements. Le PSO continue à recruter des adhérents, processus qui est toujours d’actualité. La stratégie de recrutement peut être ciblée si identification d’un maillon de la filière qui n’est pas représenté.

Couverture du territoire : Problème des producteurs dominants qui seraient des fournisseurs uniques de données au niveau national sur leur domaine, et qui ne trouvent pas d’intérêt à participer au PSO (et de plus seraient facilement identifiables même après mutualisation des données). Il y a donc potentiellement certains maillons non représentés (Ex : soja, pour lequel il existe un seul gros importateur en France qui ne souhaite pas communiquer ses données, les producteurs français sont peu nombreux).

Formalisation des activités : dans la convention de partenariat les engagements des deux parties sont bien formalisés.

3.5 Moyens humains, matériels et financiers des collecteurs de données pour répondre aux objectifs du système

Le caractère obligatoire des auto-contrôles implique de dégager les moyens nécessaires. La saisie et la transmission des données au PSO, qui pourrait représenter un coût en termes de temps, n’est cependant pas un facteur limitant pour les collecteurs de données puisque le PSO se propose de faire la saisie pour les adhérents si besoin. Ce service a été mis en place afin d’éviter que certains partenaires cessent de transmettre leurs données par faute de temps/moyens à allouer à cette étape.

3.6 Sources de données et population(s) sous surveillance

- Les sources de données sont les collecteurs de données : Organismes stockeurs (OS), triturateurs, raffineurs et entreprises du secteur de l’alimentation animale dont Oqualim se fait l’intermédiaire.
- Espèces végétales surveillées : colza, tournesol, soja, pois, féverole, lentille, lupin, lin, pois chiche
- Nature de produits : graines, tourteaux, farines, coques, huiles (huiles brutes, huiles vierges, huiles raffinées et huiles acides et autres coproduits du raffinage)
- Produits issus de l’agriculture conventionnelle ou de l’agriculture biologique (pas de distinction sur ce critère dans la présentation des résultats)
- Production française ou importation
- Données d’autocontrôles ou campagnes d’analyses ciblées

Section 4 : Laboratoire de diagnostic et équipe d’investigation

4.1 Rôle des laboratoires

Les laboratoires ne sont pas intégrés de façon formelle au réseau, ce sont les partenaires qui choisissent les laboratoires pour leurs analyses, pas d’intervention du PSO dans ce choix. Le dispositif de surveillance n’a donc pas d’emprise sur les laboratoires, cependant, ponctuellement, il a pu mettre en œuvre des investigations/groupes de travail sur les méthodes analytiques :
- Ex : travail sur des fiches de recommandations (pour les analyses pesticides) pour le choix des laboratoires (enquête menée en 2019 pour la fiabilisation des données sur les résidus de 7 pesticides prioritaires envoyée aux partenaires, identification des laboratoires accrédités, collecte des performances analytiques). Suite à ces enquêtes, émission d’une fiche de recommandations portant notamment sur les informations à collecter auprès des laboratoires et à renseigner dans les jeux de données.
- Ponctuellement, le PSO a pu mettre en place des essais inter-laboratoire (EIL), avec des échantillons « spikés » et analysés par différents laboratoires pour comparaison des résultats.
- Travail engagé entre 2004-2007 sur une méthode commune pour les résidus de produits phytosanitaires, avec des EIL, mais groupe de travail abandonné car difficile de proposer une méthode de référence à la normalisation. Ce travail a néanmoins permis d’améliorer les méthodes d’analyses sur les matrices surveillées par le PSO.

4.2 Techniques de diagnostic

Au-delà des recommandations émises par les EURL, les méthodes d’analyses pour les couples matrice-substances surveillés ne sont pas forcément standardisées, coexistence de plusieurs méthodes (L’info sur la méthode d’analyse est collectée avec les résultats d’analyse par les collecteurs de données et cette donnée est présente dans les bases de données gérées par le PSO).

*FOCUS CADMIUM*
Description des techniques : 2 méthodes principales employées = Absorption atomique (AAS) ou ICP-AES/ICP-MS.
La plupart des laboratoires travaillent maintenant en ICP-MS, avec une étape de minéralisation si nécessaire. De manière générale les techniques sont performantes et les résultats sont fiables. Le Cadmium est un des éléments pour lesquels la sensibilité est la plus importante, pas de difficultés particulières identifiées.

4.3 Laboratoire central

Sans objet

4.4 Laboratoires locaux

- Ils sont choisis par les partenaires. Actuellement, le PSO n’a plus accès aux rapports d’analyse (puisque les données sont saisies via un portail web) donc l’info sur l’accréditation du laboratoire n’est pas collectée. Le PSO dispose de peu d’informations sur ces laboratoires et la qualité des résultats d’analyse, mis à part lors d'enquêtes ponctuelles permettant d'obtenir ces informations.

Nombre de laboratoires différents référencés pour le cadmium : 15 laboratoires principaux, quelques laboratoires plus rares (attention pas d’info sur le recours à la sous-traitance de certains labos).

Disparités des performances analytiques : 5 ppb à 10 ppb pour la limite de quantification (LQ), les valeurs sont très loin des seuils règlementaires
Globalement les techniques sont performantes et pas trop de disparités sur les limites de quantification/détection.
Note : Pour les huiles raffinées, aucun résultat supérieur à la LQ enregistré pour le Cadmium. La problématique concerne surtout les tourteaux.

4.5 Equipe d’investigation épidémiologique

L’investigation se fait au sein des entreprises en cas de dépassement, il peut arriver qu’il y ait des échanges avec le PSO mais de façon très ponctuelle.
Le PSO ne dispose pas forcément des information sur les actions menées par le partenaire. Si les dépassements sont récurrents et concernent plusieurs partenaires, une investigation plus poussée peut-être proposée par le PSO, au cas par cas, après prise de contact avec les partenaires.
Le PSO n’est pas un dispositif d’alerte sur des dépassements réglementaires, comme ce qui peut se faire pour Oqualim, notamment car la saisie des données est décalée dans le temps par rapport au moment du prélèvement et de l’analyse.

Sections 5 et 6 : Outils et modalités de surveillance

5.1 Protocole de surveillance

- Les entreprises qui transmettent les données répondent à des contraintes réglementaires mais le PSO n’a pas lui-même de cadre réglementaire.
- Il n’y a donc pas de garantie que l’ensemble des données soient transmises par les adhérents même si cela est dans leur intérêt. En signant la convention de partenariat, les adhérents s’engagent normalement à transmettre la totalité de leurs données.
- Chaque partenaire définit son protocole de surveillance, le PSO n’impose pas de protocole de surveillance à ses adhérents mais il émet des recommandations sur les contaminants à surveiller (ex : un tableau spécifique listant les résidus de pesticides à surveiller en fonction des cultures est proposé).
- Le PSO n’a pas la maîtrise des protocoles de surveillance utilisés par les collecteurs de données mais les rapports émis ainsi que les différentes recommandations permettent de guider la surveillance réalisée par les adhérents (Par exemple, en mettant en lumière les non-conformités retrouvées le plus fréquemment).

5.2 Définition du cas ou du danger

Danger = Présence de contaminants, résidus ou agents pathogènes dans les aliments. Ici sensibilité, spécificité et simplicité sont très bonnes.
Note : rubrique peu adaptée dans ce cas, car ce sont des analyses de laboratoire, rigoureuses et encadrées réglementairement qui permettent de statuer sur la présence des dangers.

5.3 Composantes de surveillance événementielle (passive)

Sans objet

5.4 Composantes de surveillance programmée (active)

- Les partenaires disposent d'une surveillance programmée, le PSO s’appuie sur ces données sans pouvoir toutefois garantir leur exhaustivité.
- Le volume de données transmis n’est pas toujours proportionnel aux tonnages des produits pour certains adhérents .
- A ces débuts, le PSO a pu réaliser lui-même des campagnes d’analyses (financées par Terres Univia) pour acquérir plus de données sur des contaminants non réglementés par exemple, lorsqu’un besoin particulier le justifiait.
- Certaines données transmises par l’ITERG et qui alimentent le PSO sont obtenues dans le cadre de campagnes d’analyses annuelles organisées par l’ ITERG. Ces campagnes ciblent généralement quelques couples contaminants/huiles d’intérêt. Chaque année, 80 analyses sont réalisées sur 40 échantillons d’huiles. Depuis 3-4 ans, ces analyses ciblent les MOAH/MOSH et phtalates. Ces campagnes sont cependant financées sur un budget hors PSO. (Ces données font l’objet d’un document dans le rapport annuel ITERG et sont présentées en comité scientifique, hors PSO)

Il n’existe pas de programme global de surveillance mais chaque partenaire définit son propre programme. Cependant, la mutualisation des données permet à chaque partenaire d’avoir une vue d’ensemble des dangers surveillés dans la filière et les conclusions qui ressortent des analyses peuvent guider sa surveillance. Cette mise en commun des données permet aussi au PSO d’œuvrer pour la convergence des programmes de surveillance.
Le PSO n’ a pas la garantie de l’exhaustivité des données mais des campagnes ciblées ont pu être menées par le passé ou sont encore menées actuellement par l’ITERG, ce qui peut compenser certains déficits de données.

5.5 Composantes de surveillance syndromique

Sans objet

5.6 Adéquation des procédures de surveillance

L’adéquation entre les procédures de surveillance et les objectifs est assez bonne. Cependant, il peut manquer des analyses sur certains contaminants, en particulier lorsqu’il n’y a pas d’encadrement réglementaire.
(Ex : besoin de collecter des données sur les toxines d’Alternaria, non réglementées au moment de l'évaluation)

Section 7 : Gestion et analyse des données

7.1 Outils et modalités de gestion des données

Note : l'évaluation a eu lieu en 2022. En 2023-2024, le PSO a entamé une refonte de son système de gestion des données en collaboration avec Intercéréales. Les indications ci-dessous sont le reflet de l'ancien système encore utilisé en 2022.

- Un prestataire informatique a réalisé un outil pour le PSO qui couvre la saisie, le stockage, l’export, la consultation et l’analyse statistiques des données et l’édition de rapports. Tout se fait via une interface web en ligne, crée en 2015, puis optimisée au fur et à mesure. L’édition de rapport, par exemple, est une fonctionnalité qui n’est effective que depuis 2016. Cet outil a été développé pour Hypérion et le PSO.
- Fonctionnalités de l’outil pour l’utilisateur : Chaque partenaire peut saisir ses données, les consulter, consulter les données globales anonymisées pour les contaminants pour lesquels il a transmis des données uniquement, extraire ses données.
- Fonctionnalité réservée à l’administrateur : consultation des l’ensemble des données brutes, création de contaminants, ajout d’adhérents, modification des seuils et autres paramètres.
- Flexibilité de l’outil : La création de nouveaux indicateurs sur l’interface n’est pas possible. Pour réaliser des analyses statistiques qui ne sont pas prévues par les fonctionnalités de l’outil, une exportation sous Excel des données est réalisée afin qu’elles puissent être retraitées sous Excel.
- Extraction des données : Possibilité d’extraire tous les résultats annuels d’une entreprise, ou bien tous les résultats annuels sur un contaminant par exemple, au format Excel. Un onglet « Résultats globaux », accessible à tous, permet de récupérer des estimateurs statistiques (moyenne, médiane, min, max….) sur les données, anonymisées. Des sorties graphiques permettent de visualiser le nombre de résultats conformes/non-conformes. Une fonctionnalité « Rapport » permet d’obtenir pour chaque couple contaminant/produit plusieurs sorties graphiques (distribution des résultats…). Ce sont ces sorties graphiques qui sont exploitées dans les rapports annuels du PSO
- Facteurs limitants : langage de programmation obsolète, outil d’importation pas assez souple et formatage manuel des données qui prend beaucoup de temps (cette étape de formatage des données est parfois réalisée par le PSO à partir des propres fichiers « maison » des adhérents transmis par mail. La quantité de travail nécessaire pour formater ces fichiers est variable en fonction des partenaires), bugs informatiques
- Besoins identifiés : améliorer l’étape d’importation, modalités plus souples pour que cette étape soit réalisée directement par les adhérents sans qu’ils aient besoin de retravailler leurs données.

Avant 2015, ITERG et Terres Inovia avaient des outils différents. Terres Inovia possédait une base Access et des outils permettant d’éditer des rapports. Au moment de l'évaluation, le PSO menait une réflexion autour d’un nouvel outil, qui devait être mutualisé avec le plan de surveillance des céréales, car le langage de programmation étaitdevenu obsolète. Ce changement d’outil devait être l’occasion de rassembler l’ensemble des données collectées par le PSO, y compris les données antérieures à 2015.

7.2 Modalités de saisie et de validation des données

- Importation et saisie des données : se fait via l’interface en ligne, soit via un fichier Excel déjà préparé au bon format pour importer plusieurs résultats en une fois, soit les résultats peuvent être saisis un à un dans le cas où il y en aurait peu.
- Formatage : les données doivent respecter un certain format afin d’être validées et intégrées dans la base. Cette étape de formatage, plutôt chronophage, est le plus souvent réalisée par les membres du groupe d’animation technique et scientifique. A ces fins, des tables de correspondance reprenant les différentes orthographes rencontrées pour les contaminants ont pu être établies, pour formater plus rapidement les fichiers. Pour les OS, l’importation est réalisée par les OS eux-mêmes dans environ 50 % des cas et principalement par les plus petits OS qui ont peu de données à importer. Pour les huiles, 80 % des données sont saisies par le PSO.
- Fréquence de transmission des données : variable, le plus souvent une fois par année après relance des partenaires. Pour les graines, la collecte fonctionne par campagnes d’analyses : un rapport est édité l’année n pour les récoltes de l’année n-1. Pour les huiles le fonctionnement est similaire, il y a un décalage d’un an entre les analyses et le rapport annuel.
- Validation des données : L’outil envoie une notification après la saisie de données et chaque échantillon peut être validé manuellement par l’administrateur, suite à un contrôle fiche par fiche (1 fiche = 1 échantillon avec toutes ses analyses). Cependant, cette étape n’est pas réalisée systématiquement car très chronophage. Dans les faits, il y a plutôt une vérification sur quelques échantillons afin de s’assurer de l’absence d’erreurs généralisées, puis les données sont validées. L’outil est paramétré pour rejeter les données si des variables essentielles ne sont pas renseignées, ou bien s’il y a des erreurs d’orthographes. Une notification est alors envoyée à l’administrateur qui peut corriger la fiche de l’échantillon. Suite à l’édition de rapports, des erreurs peuvent également être identifiées et corrigées au cas par cas.
- Autre : L’outil étant mutualisé entre le PSO et Hypérion, des doublons de contaminants ont pu être créés pour les deux plans dans la base.

Globalement, même si la validité des données n’est pas systématiquement vérifiée, il existe des gardes fous au moment de l’importation qui permettent d’éviter les erreurs les plus grossières. La saisie de données aberrantes est également visible au moment de l’analyse des données et le PSO peut alors revenir vers le partenaire pour vérifier les informations saisies.

7.3 Analyse de la qualité des données

L’absence de certaines informations ou la saisie de certaines données erronées entraînent le rejet de l’importation. Une notification est alors envoyée à = la personne en charge de la saisie des données qui peut corriger la fiche de l’échantillon. Suite à l’édition de rapports, des erreurs peuvent être identifiées et corrigées au cas par cas.
Il n’ y a pas de procédure formalisée de l’analyse qualité des données mais des corrections sont faites au cas par cas si des résultats aberrants sont repérés. La complétude des données indispensables est normalement bonne puisque leur renseignement conditionne l’intégration d’un nouveau jeu de données à la base générale.

7.4 Analyse et interprétation de données

L’analyse et interprétation des données est réalisée par le groupe d’animation technique et scientifique :

- L’analyse des données peut se faire de manière automatisée via l’outil en ligne ou bien manuellement après exportation et extraction des données ;
- Les estimateurs statistiques rendus sont : moyenne, médiane, max, min, écart-type, P90 + taux de non conformités pour les dangers réglementés ;
- Consultation régulière des résultats par les membres du groupe d’animation scientifique et technique via l’interface pour vérifier des contaminants déjà bien connus ;
- Un rapport annuel complet est édité ;
- Un diaporama très complet est aussi présenté le jour de la restitution des résultats, qui permet de communiquer sur l’interprétation des données. C’est ce support qui fait vraiment office de rapport. Il est transmis à tous les adhérents. L’outil actuel rend en effet un rapport au format PDF difficile à modifier et très standardisé.
- Facteurs limitants identifiés : L’analyse des données est chronophage, elle demande une expertise importante qui se construit au cours du temps.

Section 8 : Formation

8.1 Instance de coordination centrale

Il n’y a pas vraiment de formation proposée de manière formalisée mais :
- Un accompagnement quotidien des personnes nouvellement intégrées par des personnes ayant déjà l’expertise requise ;
- Une transmission de compétences qui se fait par compagnonnage ;
- Chaque chargé d’affaire participe à une réunion annuelle de remise à niveau concernant les réglementations ;
- Les expériences de chacun et les opportunités de participation à des groupes de travail permettent d’acquérir des compétences sur des domaines transverses.

8.2 Formation initiale des acteurs de terrain

- La formation des acteurs de terrain n’est pas du ressort du PSO mais de celui des entreprises adhérentes. Elle est optimale a priori puisque la surveillance entre dans un cadre réglementaire. Les équipes qualité des partenaires permettent par ailleurs d’améliorer la qualité des process et des données collectées.
- Le PSO peut cependant accompagner les partenaires sur certains aspects de la surveillance, en émettant des recommandations relatives aux contaminants à cibler par exemple.
- Une fois par an un bilan qui synthétise les évolutions réglementaires est édité par le PSO et participe à l’actualisation des connaissances des partenaires dans ce domaine.

8.3 Formations de remise à niveau des acteurs de terrain

Idem point 8.2

Section 9 : Communication

9.1 Identité visuelle

Le PSO dispose d’un logo et d’un acronyme largement employé.

9.2 Site Web

Au moment de l'évaluation, le PSO ne disposait pas de site web public, qui permettrait de présenter le PSO, mais il existe un site web dédié pour la saisie, collecte, consultation et analyse des données. Les partenaires peuvent consulter leurs données, consulter les données anonymisées et agrégées.
Besoin identifié : pouvoir mettre à disposition des documents, transmettre la veille réglementaire, archiver les rapports, les diaporamas

9.3 Modalités de communication entre les acteurs du système

Les différents supports de communication identifiés sont :
- Le rapport annuel, le diaporama annuel ;
- La réunion annuelle avec l'ensemble des partenaires ;
- Des réunions intermédiaires remplacées depuis la pandémie par des webinaires qui permettent de faire un point sur la veille règlementaire et les actualités ;
- La réunion annuelle du Comité de Pilotage mais celle-ci n’est pas systématique, elle est programmée selon les besoins ;
- Des évaluations de satisfaction si le besoin se fait ressentir, communiquées à tous les partenaires ;
- L’outil web pour consultation des résultats, à la demande. Cet outil permet à chaque partenaire d’éditer des rapports individuels à n’importe quel moment via l’interface. Dans les faits les partenaires utilisent peu cette fonctionnalité ;
- Des échanges mails et téléphoniques avec chaque partenaire, afin de leur apporter une expertise technique si besoin ;
- Un document PDF sur la veille réglementaire édité une fois par an ;
- Des échanges réguliers avec d’autres dispositifs de surveillance ;
- La participation à des journées de restitution d'autres dispositifs de surveillance (Oqualim, Hypérion par exemple)
- Des articles scientifiques publiés occasionnellement (dans des revues professionnelles par exemple).

9.4 Communication des résultats de la surveillance

—> Cf rubrique 9.3
La cible principale est l’ensemble des partenaires sauf dans le cas des articles qui ciblent l’ensemble de la profession. Le PSO participe ponctuellement à des journées interprofessionnelles, même si cela reste peu fréquent.

Section 10 : Evaluation

10.1 Indicateurs de performance

N'existent pas au moment de l'évaluation.

10.2 Évaluation externe

Il s'agit de la première évaluation externe du dispositif.

Notes et commentaires

Section 1 : Objectifs et champ de la surveillance

1.1 Pertinence des objectifs de surveillance

Note

Commentaire

Objectifs formalisés dans la convention de partenariat (et sur la plaquette de présentation disponible en ligne), clairs et adaptés, pertinents. Peut-être un manque de visibilité pour les partenaires (envisager de les rappeler, les faire apparaître sur un document en ligne ? Pour l'instant il s'agit d'une reconduction tacite, et certains partenaires ont signé la convention il y a plusieurs années) (cf partie "Communication")

1.2 Niveau de détail, de précision et de formalisation des objectifs

Note

Commentaire

Ne pas oublier d'ajouter la veille règlementaire dans la convention de partenariat lors de sa prochain actualisation, voire sur un autre support (par exemple si un autre support est créé entre-temps)

1.3 Prise en compte de l’attente des partenaires

Note

Commentaire

Enquête de satisfaction menée par le PSO appréciée par les partenaires actuels qui se sentent écoutés et sollicités. Il faudra bien rediscuter des attentes de chacun à l'inclusion de nouveaux partenaires.

1.4 Cohérence des maladies, dangers sanitaires ou organisemes nuisibles surveillés avec la situation sanitaire

Note

Commentaire

Le périmètre du PSO évolue en fonction de la législation, de la situation sanitaire. Des substances émergentes, non réglementées, sont également inclues en fonction des besoins. Il pourrait être utile de s'entourer de personnes de la DGAL/DGCCRF au moment de discuter de la liste des contaminants, notamment pour avoir un œil sur les réglementations à venir (PFAS). Pour cela il faut au préalable formaliser qui participe à la prise de décision sur les contaminants à suivre.

Commentaire / recommandation générale

Suggestion : réactualiser la convention, la refaire signer à tout le monde pour formaliser les objectifs, les engagements. Un document pourrait formaliser les modalités d’établissement de la liste annuelle des contaminants à surveiller et les personnes impliquées dans sa validation.

Section 2 : Organisation institutionnelle centrale

2.1 Existence d’une structure d’animation fonctionnelle (instance de coordination centrale)

Note

Commentaire

Équipe d'animation en cours d'évolution, mise à jour de la plaquette nécessaire pour tenir compte des nouveaux membres. Suggestion : formaliser la composition par un organigramme.

2.2 Existence d’une instance de pilotage du système fonctionnelle et représentative des partenaires

Note

Commentaire

- Réunir le Copil au moins une fois par an car actuellement les décisions qui relèvent d'un Copil sont prises lors de la journée annuelle. Suggestion : Réunir le Copil la veille de la réunion annuelle, ce qui permettrait aux personnes participant aux deux réunions de limiter leur déplacement.
- Pouvoirs publics : Des données aggrégées et anonymisées sont déjà transmises ponctuellement aux pouvoirs publics mais le dialogue avec les pouvoirs publics pourrait être plus présent. Réfléchir à quel niveau associer certains interlocuteurs qui ne participent plus aux réunions (DGAL, DGCCRF, Anses). Ne pas forcément les intégrer au Copil (qui a pour vocation de statuer sur le fonctionnement du dispositif), peut-être les inviter aux journées de présentation des résultats annuels ?

2.3 Existence d’une instance d'appui scientifique et technique du système

Note

Commentaire

Formaliser de manière simple son fonctionnement et sa composition (des membres peuvent être des membres ponctuels pour répondre à des besoins particuliers). A l'heure actuelle, la composition est un peu confondue avec celle du comité de pilotage.

2.4 Organisation et fonctionnement du système prévus par la réglementation, une charte ou convention entre partenaires

Note

Commentaire

Ne pas oublier d'actualiser le document et retravailler son contenu. Il est reconduit tacitement donc nécessiterait une mise à jour.

2.5 Fréquence de réunions de coordination centrale

Note

Commentaire

Prévoir des échanges plus réguliers et plus formalisés avec Terres Univia (financeur du dispositif). Reclarifier le rôle de Terres Univia qui dépasse parfois le financement.

2.6 Mise en place d’un suivi et d'une supervision par l’échelon central

Note

Commentaire

Sans objet

2.7 Suffisance des moyens humains, matériels et financiers de l’échelon central

Note

Commentaire

Des moyens plus importants permettraient de recruter plus de partenaires.

Commentaire / recommandation générale

Formaliser la composition des différents comités (pilotage, scientifique et technique) pour préciser leur rôle (qui prend quelles décisions et à quel moment). Préciser le rôle de Terres Univia. Actualiser la charte.

Section 3 : Organisation institutionnelle de terrain

3.1 Existence d’unités intermédiaires formalisées sur tout le territoire

Note

Commentaire

Sans objet

3.2 Rôle actif des unités intermédiaires dans le fonctionnement du système (validation, animation, retour d’information)

Note

Commentaire

Sans objet

3.3 Mise en place d’un suivi ou d'une supervision par l’échelon intermédiaire

Note

Commentaire

Sans objet

3.4 Harmonisation de l’activité des unités intermédiaires

Note

Commentaire

Sans objet

3.5 Suffisance des moyens humains matériels et financiers des unités intermédiaires

Note

Commentaire

Sans objet

3.6 Existence de réunions de coordinations à l’échelon intermédiaire

Note

Commentaire

Sans objet

3.7 Exhaustivité ou représentativité de la couverture de la population cible par les intervenants de terrain

Note

Commentaire

Faible représentativité, structurelle, du fait de l'adhésion volontaire des partenaires. La quantité de données transmises au PSO n'est, de plus, pas toujours proportionnelle au tonnage des entreprises.

Suggestion : Réaliser un état des lieux des partenaires, être en capacité d'estimer différents indicateurs de représentativité car :
- ces données permettent de communiquer à l'extérieur sur l'intérêt et la force du PSO
- cela permet d'avoir des indicateurs à disposition et de suivre leur évolution au cours du temps pour ensuite se fixer des objectifs et identifier les "trous dans la raquette" (ex : probablement encore trop peu de données pour soja et pois qui sont pourtant des cultures en expansion).
- c'est un point clé pour définir la stratégie du PSO

Pour la représentativité géographique : travailler à la décrire par secteurs, elle est probablement excellente sauf pour les protéagineux.

3.8 Suffisance des moyens humains, matériels et financiers des intervenants de terrain

Note

Commentaire

Les auto-contrôles sont obligatoires et réalisés de toute façon par les entreprises qui doivent y accorder des moyens suffisants. Ce point n'est donc pas limitant, c'est plutôt la disponibilité d'une personne au sein de chaque entreprise pour faire remonter les résultats au PSO qui peut être limitante, ainsi que les ressources humaines et financières dont dispose le PSO dans le cas où il souhaiterait planifier lui-même des analyses.

Commentaire / recommandation générale

Seuls deux items sont notés dans cette section. Travailler à décrire la couverture géographique par secteurs et la représentativité des différents secteurs. Certains secteurs comme le pois, soja sont probablement peu couverts et des données chiffrées permettraient d'estimer la marge d'amélioration. Pour les analyses réglementaires les partenaires se doivent de mobiliser les moyens nécessaires donc ce critère n'est pas pertinent pour le PSO. En revanche, les ressources financières/humaines pourraient être un frein occasionnel à l'analyse de substances hors cadre réglementaire, que le PSO devrait financer lui-même, comme cela a été le cas par le passé.

Section 4 : Laboratoire

4.1 Intégration effective du laboratoire dans le système de surveillance

Note

Commentaire

Limite structurelle : le PSO n'est pas en contact direct avec les laboratoires choisis par les partenaires mais il bénéficie éventuellement d'une action indirecte via des recommandations qui s'adressent aux partenaires ou aux laboratoires (ex : émission d'une fiche détaillant des critères à vérifier pour sélectionner les laboratoires).

4.2 Suffisance des ressources humaines, matérielles et financières pour les besoins en diagnostic

Note

Commentaire

Les analyses ne sont pas planifiées par le PSO et on peut supposer que les laboratoires disposent de moyens adaptés aux demandes des entreprises. Pour certaines substances qui ne son pas surveillées en routine (toxines d'alternaria par ex) car non réglementées, le PSO a plus de difficultés à obtenir des données car cela représente un coût supplémentaire pour les entreprises, parfois plus difficile à faire accepter.

4.3 Recours à l’assurance qualité pour les analyses réalisées

Note

Commentaire

Accréditation : L'information était connue auparavant (car transmission des bulletins papiers par les laboratoires) mais n'est pas systématiquement renseignée aujourd'hui lors de la saisie des données par les entreprises. Les évaluateurs internes s'interrogent de la pertinence de cette information pour les besoins du PSO. Il est souligné qu'à deux reprises par le passé des envoi d'échantillons dopés (graines, huiles) ont été réalisés pour vérifier les performances des laboratoires choisis par les partenaires. Suggestion : La collecte de cette information ne semble pas une priorité mais il faudrait s'assurer de pouvoir collecter ponctuellement cette information pour des besoins spécifiques (ex : remontées de données à l'Efsa , à l'Anses, ou bien dans le cadre de depôt d'un dossier auprès des pouvoirs publics pour faire une demande de révision d'un seuil réglementaire sur un couple précis)

4.4 Qualité de la standardisation du travail entre les différents laboratoires

Note

Commentaire

Point faible structurel, la standardisation n'est pas du ressort du PSO mais ce dernier contribue à améliorer la standardisation (ex: organisation d'EIL)

4.5 Proportion d'analyses soumises à des essais inter-laboratoires

Note

Commentaire

Sans objet

4.6 Existence d’une équipe d’investigation pour appuyer les agents de terrain

Note

Commentaire

Les investigations ne sont pas du ressort du PSO mais de celui des entreprises, même si le PSO peut apporter son expertise.

4.7 Pertinence des techniques de diagnostic

Note

Commentaire

En considérant le cadmium uniquement.

4.8 Sensibilité des techniques de diagnostic

Note

Commentaire

En considérant le cadmium uniquement.

4.9 Spécificité des techniques de diagnostic

Note

Commentaire

En considérant le cadmium uniquement, pour lequel les méthodes sont réglementées et répondent à un cahier des charges précis.

4.10 Contrôle des réactifs de laboratoire

Note

Commentaire

Sans objet

4.11 Niveau de technicité de la gestion des données au laboratoire

Note

Commentaire

Sans objet

4.12 Délai d’analyse au laboratoire (formalisation, standardisation, vérification, transfert des résultats à l'instance de coordination centrale)

Note

Commentaire

Sans objet

4.13 Qualité du rendu des résultats

Note

Commentaire

Sans objet

Commentaire / recommandation générale

Les laboratoires ne font pas partie intégrante du PSO, aucune convention ne les lie au dispositif. Ce sont les partenaires qui choisissent les laboratoires avec lesquels ils souhaitent travailler pour analyser leurs échantillons, et le PSO ne peut assurer la qualité et la standardisation des analyses. Les informations relatives à l’accréditation des laboratoires, à la proportion d’analyses soumises aux EIL, aux contrôles des réactifs, au délai d’analyse etc. ne sont pas remontées dans le cadre du PSO. Cependant le PSO pallie partiellement en :
- Émettant des recommandations à destination des partenaires sur les critères à vérifier au moment du choix des laboratoires ;
- Réalisant ponctuellement des comparaisons des résultats obtenus par plusieurs laboratoires pour des échantillons « dopés » par un contaminant spécifique.
Ce sont des initiatives pertinentes qui pourraient être renouvelées si possible (mais attention au coût humain compte tenu de la multiplicité des contaminants), voire étendues en proposant une liste de laboratoires référencées pour chaque type d’analyse aux partenaires.

Section 5 : Outils de surveillance

5.1 Existence d’un protocole de surveillance formalisé pour chaque maladie, danger sanitaire ou organisme nuisible surveillé

Note

Commentaire

Sans objet, ce sont les partenaires qui décident de leur propre plan de surveillance.

5.2 Standardisation des données collectées

Note

Commentaire

Pas d'harmonisation entre les protocoles de chaque partenaire --> limite structurelle à avoir en tête lors de l'exploitation/transmission des résultats--> connaître les limites des données collectées.

5.3 Pertinence des outils de mesure (à l'exclusion des outils de laboratoire)

Note

Commentaire

Sans objet

5.4 Sensibilité de la définition du cas ou du danger

Note

Commentaire

Définition simple, sensible et spécifique

5.5 Spécificité de la définition du cas ou du danger

Note

Commentaire

Sans objet

5.6 Simplicité de la définition du cas ou du danger

Note

Commentaire

Sans objet

5.7 Qualité de renseignement des fiches d’investigation

Note

Commentaire

Sans objet

5.8 Pertinence des prélèvements

Note

Commentaire

Sans objet

5.9 Standardisation des prélèvements

Note

Commentaire

Sans objet

5.10 Qualité des prélèvements collectés

Note

Commentaire

Sans objet

5.11 Respect du délai entre déclaration du cas ou du danger et rendu du résultat

Note

Commentaire

Sans objet

5.12 Simplicité de la procédure de déclaration

Note

Commentaire

Sans objet

5.13 Simplicité de la procédure de collecte des données

Note

Commentaire

Sans objet

5.14 Acceptabilité des conséquences d’une suspicion ou d'un cas pour la source ou le collecteur de données

Note

Commentaire

Sans objet

Commentaire / recommandation générale

Cette section permet d’évaluer la formalisation des protocoles de surveillance et la standardisation de la collecte des données. Elle ne s’applique donc pas au PSO qui s’appuie sur une surveillance existante dont les protocoles sont déterminés par la réglementation ou bien découlent de la démarche HACCP des entreprises. Le PSO propose cependant une liste indicative de contaminants problématiques ou émergents pour lesquels il serait utile d’augmenter l’effort de surveillance. Comme précédemment pour la non standardisation des analyses entre laboratoires, ce sont des limites structurelles pour lesquelles il n’y a pas de marge de progression possible mais qui doivent cependant être reconnues par le dispositif puisqu’elles impactent l’exploitation qui peut être faite des données, et notamment leur comparabilité.

Section 6 : Modalités de surveillance

6.1 Adéquation des modalités de surveillance aux objectifs du système

Note

Commentaire

Revoir l'objectif suivant : "déterminer objectivement les étapes de contamination[…]". Reformuler en évoquant plutôt un "appui/accompagnement du PSO dans l'investigation de sources de contamination".
En effet, les données de surveillance elles mêmes ne permettent pas cette investigation, il s'agit plutôt d'une mission d'appui par l'expertise.

6.2 Existence d’une surveillance événementielle (passsive) dont les résultats montrent des résultats exhaustifs ou représentatifs

Note

Commentaire

Le PSO s'appuie sur des résultats d'analyse obtenus dans le cadre d'une surveillance programmée (pas de surveillance événementielle). Dans le cas de situations particulières, il peut y avoir un appel à données mais ces dernières ne sont pas forcément remontées au PSO. Cependant l'information peut être remontée ponctuellement par des partenaires afin d'alerter sur certaines problématiques émergentes.

6.3 Existence d’actions de sensibilisation des sources de données pour les modalités de surveillance événementielle (passive)

Note

Commentaire

Sans objet

6.4 Pertinence et adéquation de l’existence et des protocoles de surveillance programmée

Note

Commentaire

Pas de prise directe sur les protocoles de surveillance, pas de marge d'action

6.5 Surveillance de la faune sauvage ou du milieu naturel sensible

Note

Commentaire

Sans objet

6.6 Surveillance et contrôle des vecteurs

Note

Commentaire

Sans objet

6.7 Représentativité des populations ciblées de l’échantillonnage en surveillance programmée (active)

Note

Commentaire

(Cet item couvre la représentativité de l'échantillonnage effectué par chaque partenaire) Elle dépend des matrices analysées et des partenaires, elle est difficile à estimer. Le PSO constate en tout cas que la quantité des résultats d'analyse n'est pas toujours proportionnelle au volume de production des partenaires.

6.8 Précision des résultats sur l’échantillon en surveillance programmée (active)

Note

Commentaire

Les textes réglementaires portant sur les prélèvements varient en fonction des couples matrices/contaminants. L'échantillonnage est fixé en fonction du tonnage à réception. On ne peut pas garantir que ce critère soit respecté pour tous les couples et tous les partenaires car il y a une hétérogénéité des normes. Cette précision dépend des matrices, de l'hétérogénéité de la contamination, de la taille des lots.
La contamination sera plus homogène dans les huiles par exemple que dans les graines.

6.9 Niveau de satisfaction du taux de réalisation de la surveillance programmée (active)

Note

Commentaire

Sans objet car la surveillance est programmée par les partenaires, le PSO ne dispose pas de cette information. Remarque : Il s'agit d'une information sensible vis-à-vis des entreprises, la réclamer pourrait s'avérer contre-productif et faire peur aux partenaires.

Commentaire / recommandation générale

Quatre critères ne sont pas pertinents pour le PSO (deux liés à une surveillance évènementielle et deux autres concernent la surveillance de la faune sauvage et des vecteurs), par contre le 5ème critère écarté est pertinent mais le PSO ne dispose pas des éléments pour y répondre. Il s’agit du taux de réalisation de la surveillance effectuée par les entreprises mais il parait difficile d’exiger cette information des partenaires et cela pourrait se révéler contre-productif et fragiliser le lien de confiance établi.
La note obtenue est un peu plus faible que dans d’autres sections pour des raisons essentiellement structurelles. En effet, si l’adéquation des modalités de surveillance aux objectifs du dispositif ne pose pas de question, le PSO, basé sur le système existant des autocontrôles, n’a pas la possibilité de maîtriser l’adéquation des protocoles mis en place ni la représentativité et la précision permises par l’échantillonnage. Par ailleurs, l’exploitation des données collectées met en lumière que le nombre d’analyses transmises au PSO n’est pas systématiquement corrélé aux volumes de production des entreprises. Cela peut être lié à un taux d’échantillonnage variable ou par une remontée non exhaustive des résultats d’analyses. Il pourrait être utile de déterminer avec les partenaires la proportion de résultats d’analyse transmis au PSO par rapport au total des analyses réalisées, et ce afin de pouvoir mieux estimer la représentativité des données collectées par le PSO.
Une autre piste d’amélioration concerne les objectifs du dispositif. Il est proposé de revoir l’objectif O3 qui consiste à pouvoir « déterminer les étapes potentielles de la contamination ». En effet les données de surveillance collectées par le PSO ne permettent pas cette investigation, mais en revanche l’objectif pourrait être reformulé et proposer « un appui du PSO dans l’investigation des sources potentielles de contamination ».

Section 7 : Gestion des données

7.1 Adéquation du système de gestion des données aux besoins du système

Note

Commentaire

Prévoir d'intégrer les données antérieures à 2015 dans la nouvelle base de données, ces données sont disponibles si besoin mais pas forcément pertinent d'estimer des tendances pour toutes les molécules d'après les animatrices.

7.2 Délai de saisie des données en accord avec les objectifs et l’utilisation des résultats du système

Note

Commentaire

Fréquence de transmission des données variable, relances nécessaires.

7.3 Personnel spécifique disponible et qualifié pour la saisie, la gestion et l'analyse des données

Note

Commentaire

Besoin d'améliorer l'étape d'importation pour libérer du temps à l'équipe d'animation et aux partenaires

7.4 Suffisance des moyens matériels et financiers pour la gestion et l'analyse des données

Note

Commentaire

L'analyse des données est un sujet prioritaire pour le réseau, les moyens à disposition sont jugés adéquats.

7.5 Procédures de vérification et de validation des données formalisées et performantes

Note

Commentaire

Il n'existe pas de procédure formalisée de vérification systématique des données mais la nature des données fait que les valeurs aberrantes sont facilement repérables. Formaliser les étapes de vérification des données permettraient cependant de les rendre facilement transmissibles. Suggestion : profiter de la construction du nouvel outil pour discuter d'options qui permettraient de détecter automatiquement, à la demande des animatrices, les lignes comportant des saisies erronées. Ce besoin est jugé non prioritaire par les animatrices.

7.6 Traitement descriptif complet des données

Note

Commentaire

Un rapport plutôt complet est édité automatiquement mais les sorties graphiques sont assez contraintes par l'outil utilisé. La représentation des distributions des valeurs quantitatives n'est pas possible avec l'outil actuel mais elle est présentée lorsque cela est pertinent après export et exploitation sous Excel. L'outil actuel n'est cependant peut être pas tout à fait adapté puisqu'il édite des rapports conséquents (200 pages) que peu de personnes prennent le temps de lire, un support plus concis serait mieux adapté.

7.7 Exploitation des données en adéquation avec les besoins du système

Note

Commentaire / recommandation générale

L’outil informatique permettant la collecte et l’exploitation des données est actuellement en cours de refonte et le PSO pourra se saisir de cette opportunité afin de se fixer des objectifs de progression facilement atteignables. En premier lieu, l’étape d’importation doit être facilitée afin de libérer du temps à l’équipe d’animation et aux partenaires, pour qui la saisie des données est souvent chronophage. Actuellement, pour la base de données sur les huiles, près de 80 % du volume des données est ainsi saisi par les animatrices du PSO.
Parmi les pistes d’amélioration, un protocole formalisé de vérification et de validation des données pourrait être rédigé afin d’homogénéiser les pratiques et de faciliter le transfert de compétences (quelles sont les étapes, les biais à prendre en compte etc.). Il pourrait également être envisagé de configurer des outils simples à manier permettant une identification rapide et systématique de données erronées, afin de pouvoir les extraire et les corriger.
Enfin, l’outil actuel permettant l’édition de rapport manque de flexibilité et son changement pourra être l’occasion d’explorer d’autres modes de représentation des données : par exemple des bilans annuels synthétiques permettant d’identifier rapidement les contaminants problématiques, et des bilans plus détaillés montrant des distributions statistiques, voire des distributions temporelles, lorsque que cela s’avère pertinent.

Section 8 : Formation

8.1 Niveau de compétence satisfaisant en épidémiologie des membres de l'instance de coordination centrale

Note

Commentaire

Forte expertise des personnes actuellement en poste, mais le PSO doit rester vigilant au maintien et transfert de compétences.

8.2 Formation initiale mise en œuvre pour tous les agents de terrain à leur entrée dans le système

Note

Commentaire

Accompagnement des nouveaux interlocuteurs à formaliser (notamment des personnes responsables de la saisie des données dans la base), vraisemblablement déjà fait mais peut-être pas systématiquement. Suggestion : proposer une session annuelle à destination à la fois des nouveaux arrivants et anciens partenaires pour une remise à niveau. Profiter de ces sessions pour préciser les besoins du PSO et les enjeux/limites liées à l'exploitation des données, afin de bien souligner l'intérêt de saisir des données de qualité. Ces sessions pourraient être proposée conjointement avec Intercéréales pour ne pas solliciter à plusieurs reprises les partenaires communs.

8.3. Objectifs et contenu de la formation initiale des acteurs de terrain du système en adéquation avec les besoins opérationnels de la surveillance

Note

Commentaire

Sans objet

8.4 Formations de perfectionnement régulières des acteurs de terrain

Note

Commentaire

Sans objet

8.5 Suffisance des moyens humain, matériels et financiers pour la formation

Note

Commentaire / recommandation générale

Le score obtenu repose sur la notation de trois critères sur cinq, deux critères n’étant pas applicables puisque la formation en épidémiologie du personnel en charge des autocontrôles chez les partenaires ne relève pas du PSO. L’équipe d’animation actuelle dispose de très bonnes compétences adaptées aux besoins du dispositif et notamment une excellente maîtrise des sujets en chimie, ce qui explique le bon score obtenu. Il faudra veiller au maintien et transfert des compétences en cas de renouvellement au sein de l’équipe d’animation. Il pourrait également s’avérer utile de faire appel ponctuellement à des compétences externes complémentaires sur les contaminants microbiologiques, d’autant qu’ils sont très minoritaires en comparaison des contaminants chimiques qui concernent la filière. Actuellement le PSO propose un accompagnement des partenaires à leur entrée dans le dispositif, notamment pour ce qui concerne l’outil de saisie des données, mais ce dernier n’est pas systématique. Cette initiative pourrait être formalisée et faire l’objet d’une mise en œuvre annuelle, ouverte aux nouveaux adhérents mais aussi aux anciens adhérents (formation initiale pour le nouveau personnel et re-sensibilisation pour les autres). La formation pourrait éventuellement être mutualisée avec Intercéréales puisque l’outil de saisie sera commun. Au-delà d’apporter un accompagnement technique, ces sessions seraient l’occasion pour l’équipe d’animation de replacer la collecte des données dans le contexte plus large de la surveillance (utilité de chaque information collectée) et d’exposer aux partenaires les enjeux liés à la saisie des données. Par exemple, elles permettraient de sensibiliser à des sujets clés comme la qualité des données (importance de renseigner des données complètes, homogènes etc.).

Section 9 : Communication

9.1 Edition régulière de rapports et articles scientifiques sur les résultats de la surveillance

Note

Commentaire

Bilan apprécié, attendu et valorisé par les partenaires auprès de leurs clients. Appartenance au PSO renforce la confiance des clients dans les entreprises.

9.2 Restitution des résultats des analyses individuelles aux acteurs de terrain

Note

Commentaire

L'outil actuel permet à chaque partenaire d'extraire un bilan personnalisé de ses données.

9.3 Diffusion régulière d’un bulletin d’information pertinent

Note

Commentaire

Sans objet

9.4 Restitution systématique des bilans de résultats aux acteurs de terrain (hors bulletin)

Note

Commentaire

La journée annuelle remplit ce rôle de manière satisfaisante.

9.5 Présence d’un système d’échange d’informations organisé transversalement et verticalement entre les acteurs de terrain (mail et /ou web)

Note

Commentaire

Les informations redescendent vers les agriculteurs via les OS ou les interprofessions qui relayent les informations données par le PSO, il existe ainsi différents canaux externes aux PSO pour informer les professionnels. Partenaires satisfaits actuellement, pas de besoin particulier ressenti.
Suggestion : Développer un site web pour permettre la diffusion des supports, FAQ etc…

9.6 Politique de communication externe solide

Note

Commentaire

Actuellement, il existe une plaquette PDF détaillant les missions du PSO, elle est hébergée sur le site de Terres Univia. Suggestion : prévoir au moins une page complète hébergée sur le site d'une interprofession (par exemple Terres Univia) pour présenter la démarche, le réseau et pouvoir indiquer un contact.

9.7 Suffisance des moyens humains, matériels et financiers pour la communication

Note

Commentaire

Moyens humains limités et attribués à d'autres objectifs prioritaires.

Commentaire / recommandation générale

Sur le plan de la communication interne, le PSO édite un rapport annuel largement apprécié et attendu par les entreprises. L’outil informatisé permet en plus à chaque partenaire un accès privatif à ses données qu’il peut consulter à tout moment. Les notes obtenues sur ces critères de communication interne sont donc élevées.
Sur le plan de la communication externe, le PSO gagnerait en visibilité s’il disposait d’un espace web où afficher un descriptif du dispositif et de ses objectifs et où rassembler les supports de présentation et publications, ainsi que la veille règlementaire. Cet espace pourrait être hébergé sur le site de Terres Univia par exemple et relayé par les partenaires qui disposent d’un site web. Cela permettrait de mieux faire connaître le dispositif et lui donner un espace d’expression facilement actualisable. A cette occasion, la plaquette PDF de présentation du dispositif actuellement en ligne pourrait être utilisée et mise à jour.

Section 10 : Evaluation

10.1 Système d’indicateurs de performance développé et validé par les responsables du système

Note

Commentaire

Quelques indicateurs sont déjà suivis (nombre de partenaires, nombre d'échantillons, nombre d'analyses). Le PSO doit décider si d'autres indicateurs pourraient être développés et exploités en Copil. Les indicateurs à développer pourraient par exemple permettre d'orienter la stratégie de recrutement des partenaires du PSO.

10.2 Indicateurs de performance régulièrement calculés, interprétés et diffusés

Note

Commentaire

Suggestion d'indicateurs : nombre de partenaires, nombre de résultats d'analyse, couverture géographique et représentativité par secteurs, nombre de données refusées pour des problèmes de qualité des données ou ayant nécessité une correction.

10.3 Evaluations externes effectuées

Note

Commentaire

Cette évaluation est la première mais le PSO a déjà réalisé une enquête de satisfaction auprès de ses partenaires.

10.4 Mise en œuvre des mesures correctrices suite aux évaluations externes

Note

Commentaire

Des mesures ont été prises suite aux résultats du questionnaire de satisfaction. Suite à l'évaluation actuelle, définir un plan d'action avec des objectifs pour les années à venir.

Commentaire / recommandation générale

Les notes de cette section sont faibles mais seront très vite améliorées par le fait même d’avoir mis en place cette première évaluation. Par ailleurs, le PSO a déjà procédé à une évaluation « interne » à travers une enquête de satisfaction réalisée auprès des partenaires, qui lui a permis de mettre en oeuvre des actions d’amélioration. Au-delà d’une évaluation comme celle proposée par l’outil OASIS, il est possible de mettre en place différents indicateurs simples et rapides à suivre annuellement et indiquant la bonne santé du dispositif. Par exemple : nombre de partenaires dont nouveaux partenaires, nombre de données collectées par secteur/produit/zone géographique, pourcentage de données exploitables (en lien avec la qualité des données), nombre de participations à des séminaires externes, collaborations etc.

Rapport

Télécharger Rapport_OASIS_PSO_depot_web.pdf

Recommandations

Objectifs et champs

Reformuler l’objectif O3 « Déterminer les étapes de contamination potentielles », par exemple : « Apporter une expertise aux entreprises en cas d’investigation visant à identifier les sources potentielles de contamination ».
Ajouter la veille réglementaire à la liste des objectifs et actualiser la convention de partenariat.

Organisation institutionnelle centrale

Formaliser la composition et le rôle du comité de pilotage, de l’équipe d’animation et du groupe d’animation scientifique et technique (organigramme, missions), utiliser éventuellement un schéma.
Expliciter le rôle de Terres Univia.
Réunir le comité de pilotage au moins une fois par an (par exemple en amont de la journée annuelle de restitution des résultats aux partenaires).
Réfléchir à quel niveau associer la DGAL, DGCCRF, l’Anses, la communauté scientifique afin de valoriser les données collectées par le PSO et de bénéficier d’une expertise complémentaire, par exemple au moment de constituer la liste des contaminants à surveiller.

Organisation institutionnelle de terrain

Estimer la représentativité des entreprises partenaires (par secteur, produits, zone géographique) en nombre et en volume.
Identifier de nouveaux partenaires potentiels pour la filière des protéagineux.

Laboratoire

Maintenir les initiatives existantes de standardisation des analyses (information des entreprises sur les critères à vérifier pour orienter le choix des laboratoires, analyse comparative d’échantillons « dopés ») et éventuellement les étendre (création d’une liste de laboratoires recensés par le dispositif).

Modalités de surveillance

Déterminer avec les partenaires la proportion de résultats d’analyse transmis au PSO par rapport au total des analyses réalisées annuellement pour estimer la représentativité des données collectées.

Gestion des données

Profiter de la construction du nouvel outil pour simplifier l’étape d’importation des données et libérer du temps aux animatrices du réseau et aux partenaires.
Formaliser les procédures de vérification et d’analyse des données.
Éventuellement mettre en place des outils informatisés permettant l’extraction de données aberrantes/erronées et leur correction.

Formation

Prévoir une session régulière (ou plusieurs en fonction des besoins) de formation sur le fonctionnement du PSO et plus spécifiquement l’outil de dépôt des données, permettant aussi de sensibiliser les partenaires à la qualité des données. Envisager la mutualisation avec Intercéréales.

Communication

Prévoir un espace web (hébergé sur le site de Terres Univia ?) décrivant le dispositif, son fonctionnement, ses objectifs, ses collaborations et listant les communications du PSO.
Réfléchir à un outil de partage et d’archivage des bilans (résultats du plan et veille règlementaire) afin de permettre un accès illimité aux partenaires, y compris aux nouveaux arrivants.
Actualiser la plaquette de présentation du PSO
Réfléchir à un bilan synthétique en complément du bilan détaillé des résultats, voire explorer d’autres modes de représentation des résultats lorsque cela s’avère pertinent (analyse temporelle, boîtes à moustache, diagramme de densité etc.).

Évaluation

Systématiser et étendre le calcul d’indicateurs permettant un suivi annuel des performances du dispositif : nombres de partenaires (dont nouveaux partenaires), nombre de résultats d’analyses par matrices, pourcentage de résultats exploités et motifs de rejets des données, nombre de webinaires, nombre de comités de pilotage, participations à des colloques/groupes de travail collaboratifs etc.