Évaluation de l’impact environnemental de l’agriculture au niveau de la ferme
comparaison et analyse de 12 méthodes basées sur des indicateurs  

• par Hayo M.G. van der Werf et Jean Petit
  INRA, UMR Sol, Agronomie et Spatialisation de Rennes-Quimper,
  ENSAR, 65 rue de Saint Brieuc, CS 84215, 35042 Rennes cedex.
  hayo.vanderwerf@roazhon.inra.fr

Description des méthodes d’évaluation
Comparaison des méthodes d’évaluation
Analyse des composants des méthodes d’évaluation
Conclusions

Références bibliographiques

[R]  Description des méthodes d’évaluation

Les douze méthodes étudiées ici ont été identifiées par une recherche bibliographique. Toutes les méthodes utilisent un jeu d’indicateurs pour évaluer l’impact environnemental de l’agriculture au niveau de l’exploitation agricole. Certaines méthodes n’utilisent pas l’expression " évaluation de l’impact environnemental " mais emploient plutôt " évaluation de la durabilité écologique (ou environnementale) ". Quoique cette dernière expression ne soit pas toujours clairement définie, elle désigne visiblement une situation où l’impact environnemental est à un niveau acceptable. Ont été retenues les méthodes qui sont suffisamment différentes les unes des autres, dont la description est détaillée et qui ont été utilisées ou au moins testées dans le cadre d’une évaluation. Certaines des méthodes analysées ici prennent en considération également les dimensions sociale et économique des agroécosystèmes, toutefois cette analyse s’est limitée à la partie de la méthode concernant les effets environnementaux.

Figure 1. Représentation des facteurs influant l'état du système de production et des flux de produits et d'émission
Les indicateurs d'impact environnemental peuvent concerner les pratiques de l'agriculteur (indicateurs basés sur les moyens), ou bien l'état du système de production voire les émissions vers l'environnement (indicateurs basés sur les effets).

L’indice de durabilité de l’agriculteur (IDA)
Taylor et al. (1993) prennent en compte 33 pratiques de l’agriculteur concernant la production de chou. À chaque pratique est affecté un score qui peut être positif ou négatif. Ces scores sont additionnés et donnent un indice de durabilité de l’agriculteur, valeur unique qui traduit la durabilité écologique. Cette méthode a été mise au point en Malaisie pour des décideurs. L’IDA prend en compte les modifications récentes des pratiques : ainsi, un agriculteur qui a adopté des pratiques plus durables obtient un IDA plus élevé que celui qui applique ces mêmes pratiques depuis plus longtemps.
Durabilité des cultures énergétiques (DCE)
Biewinga et van der Bijl (1996) présentent une méthode pour évaluer la durabilité écologique et économique de la production et de la transformation des cultures énergétiques. Cette méthode est basée sur l’analyse du cycle de vie (ACV) (Heijungs et al., 1992), mais elle prend en compte des indicateurs supplémentaires, spécifiques aux systèmes de production agricoles. La méthode a été utilisée pour comparer des cultures énergétiques dans quatre régions d’Europe.
Écopoints (EP)
Mayrhofer et al. (1996) proposent une méthode qui attribue des scores aux pratiques de l’agriculteur et à ses actions sur les éléments paysagers. Cette méthode est utilisée en Basse Autriche pour établir le montant des aides accordées aux agriculteurs afin de stimuler des comportements souhaités par rapport à l’environnement et le paysage. En 1998, 1 500 fermes ont participé à ce programme.
Analyse du cycle de vie pour l’agriculture (ACVA)
Audsley et al. (1997) présentent les résultats d’une étude réalisée par des groupes de recherche de huit pays européens. L’étude avait pour objectif l’identification de problèmes méthodologiques liés à l’application de l’ACV à la production agricole. Une approche harmonisée est proposée. Trois modes de production de blé sont utilisés comme études de cas.
Indicateurs agro-écologiques (IAE)
Girardin et al. (2000) ont choisi une méthode classique d’évaluation de l’impact environnemental : la matrice d’interaction (Leopold et al., 1971) pour évaluer l’effet des pratiques de l’agriculteur sur des composantes de l’agroécosystème. Des modules d’évaluation caractérisant l’impact d’une pratique sur une composante de l’environnement peuvent être agrégés afin de produire deux types d’indicateurs. Les indicateurs agro-écologiques traduisent les impacts d’une pratique sur l’ensemble des composantes concernées de l’environnement, tandis que les indicateurs d’impact environnemental traduisent les impacts de l’ensemble des pratiques concernées sur une composante de l’environnement. La méthode est utilisée en France.
Attributs des systèmes agro-écologiques (ASA)
Dalsgaard et Oficial (1997) présentent un " cadre pragmatique pour surveiller, modéliser, analyser et comparer l’état et la performance des agroécosystèmes intégrés ". L’approche trouve ses origines dans la théorie des écosystèmes. Le logiciel ECOPATH, permettant la modélisation de bilans de masse, est utilisé comme outil structurant. L’approche a été appliquée à quatre petites fermes productrices de riz aux Philippines.
Vers une durabilité opérationnelle (VDO)
L’objectif de la méthode proposée par Rossing et al. (1997) est la conception de systèmes de production de bulbes à fleur, respectueux de l’environnement aux Pays-Bas. La méthode prend en compte deux objectifs environnementaux, un objectif économique et plusieurs contraintes socio-économiques. Les objectifs sont définis en concertation avec des producteurs et des écologistes. La programmation linéaire interactive à objectifs multiples est utilisée pour optimiser les systèmes au niveau de la ferme.
Paramètres multi-objectifs (PMO)
L’objectif de la méthode proposée par Vereijken (1997) est la conception de systèmes de production intégrés et biologiques en grandes cultures. La méthode prend en compte un jeu d’objectifs écologiques, économiques et sociaux. Ces objectifs sont fixés au regard des problèmes causés par le système de production en place dans la région concernée. La méthode utilise des indicateurs nommés paramètres multi-objectifs pour quantifier ces objectifs. Des prototypes de systèmes durables sont testés dans des stations de recherche ou des fermes pilotes et améliorés de façon itérative jusqu’à ce que les objectifs soient atteints. La méthode est appliquée dans un réseau de recherche européen.
Management environnemental pour l’agriculture (MEA)
Lewis et Bardon (1998) proposent un " système informatique informel de management environnemental pour l’agriculture ". Ce système produit des éco-scores, traduisant la performance environnementale de l’agriculteur, en comparant ses pratiques aux pratiques identifiées comme étant les meilleures, ceci dans le contexte de la parcelle et de son environnement direct. Le système comporte des modules permettant d’explorer des scénarios du type " Que se passe-t-il si ? " ainsi qu’un système d’information hypertexte. Le système est utilisé par des agriculteurs et leurs conseillers au Royaume-Uni.
Diagnostic Solagro (DS)
Pointereau et al. (1999) proposent une méthode pour " évaluer l’environnement à l’échelle de la ferme par une approche globale, simple et rapide d’utilisation ". La méthode fournit des niveaux de performance pour quatre " critères intégrateurs " prenant en compte : le nombre de systèmes de production (cultures annuelles, cultures pérennes, élevage) au sein de la ferme, la diversité des cultures, la gestion des entrants et la gestion de l’espace. La méthode peut être appliquée à tous les systèmes de production agricole existants en France. Jusqu’ici, 300 fermes ont fait l’objet du diagnostic.
Écobilan, outil de gestion écologique (EOGE)
Rossier (1999) a adapté l’écobilan afin d’obtenir une évaluation complète de l’impact environnemental d’une ferme. Cette approche a été appliquée à treize fermes suisses en production végétale, production animale ou de type mixte. Elle a permis d’identifier les principales sources d’émissions polluantes et d’évaluer les effets de modifications des pratiques ou des structures des fermes.
Indicateurs de la durabilité des exploitations agricoles (IDEA)
Vilain (1999) propose une méthode qui attribue des scores aux pratiques et au comportement de l’agriculteur. La méthode peut être utilisée pour l’évaluation des durabilités agro-écologique, socioterritoriale et économique de différents types de fermes, en France. Initialement la méthode a été développée à la demande du ministère français de l’agriculture pour évaluer les fermes de quinze lycées agricoles impliqués dans la promotion de l’agriculture durable.

[R] Comparaison des méthodes d’évaluation

Qu’est-ce qui est évalué et pourquoi, approche utilisée et objet étudié
Cinq méthodes (EP, ACVA, IAE, DS et EOGE) disent évaluer l’impact environnemental, tandis que MEA évalue la performance environnementale, c’est-à-dire la conformité avec les codes de bonnes pratiques agricoles (tab. I). Cinq méthodes (IDA, DCE, ASA, VDO et IDEA) déclarent évaluer la durabilité environnementale, PMO paraît faire la même chose, mais n’utilise pas le terme de durabilité.
EP évalue afin d’établir des niveaux de paiement, VDO et PMO évaluent afin de concevoir de nouveaux systèmes de production, MEA évalue afin d’encourager les bonnes pratiques. Les autres approches s’occupent d’évaluation en tant que telle.
Pour DCE, ACVA et EOGE, l’approche utilisée est l’ACV ; ainsi ce sont les seules méthodes qui évaluent le produit plutôt que le site de production (c’est-à-dire la ferme), bien que EOGE puisse évaluer les deux. IAE et PMO font référence toutes les deux au concept de la production agricole intégrée. ASA est la seule méthode basée sur l’écologie quantitative des systèmes, elle utilise des attributs des écosystèmes comme indicateurs de durabilité. L’optimisation de plusieurs objectifs par programmation linéaire est le concept central de VDO.
Type de ferme, utilisateurs, dimensions et effets pris en compte, demande en temps
Six méthodes sont conçues pour évaluer uniquement la production de cultures, les six autres méthodes sont capables de traiter les productions végétales et animales (tab. II). IDA et ASA sont originaires de l’Asie, les dix autres méthodes viennent d’Europe. Les utilisateurs visés sont : les agriculteurs (8 méthodes), leurs conseillers (4), les chercheurs (4) et les décideurs (3), l’administration régionale, les consommateurs et les étudiants sont tous mentionnés une fois. Sept méthodes ne prennent en compte que les impacts environnementaux, cinq méthodes considèrent également la viabilité économique et, parmi ces cinq, deux prennent en compte la compatibilité sociale. Toutes les méthodes tiennent compte des effets locaux (par exemple, l’érosion, la qualité du paysage), mais ACVA et EOGE le font à un moindre degré. Les effets globaux (par exemple, le changement climatique, l’épuisement des ressources non-renouvelables) sont considérés par sept méthodes, parmi lesquels MEA le fait à un moindre degré. Le temps nécessaire pour la collecte de données est modéré (jusqu’à 2 jours par an) pour sept méthodes. Pour les trois méthodes basées sur l’ACV (DCE, ACVA et EOGE) et pour ASA et PMO, le temps nécessaire est plus important, à cause de la quantité plus importante de données à collecter.

Les objectifs des agroécosystèmes
" L’impact environnemental " ou " la durabilité environnementale " ne peuvent pas être estimés ou quantifiés directement, il faut donc un jeu d’objectifs plus spécifiques. Ce jeu d’objectifs est au cœur d’une méthode d’évaluation. Le terme objectif est utilisé par IAE, VDO, PMO et IDEA. D’autres termes employés pour le même concept sont : thèmes environnementaux (DCE, DS), catégories d’impact environnemental (ACVA), champs d’activité (MEA), et impacts environnementaux (EOGE). Mitchell et al. (1995) parlent de points de préoccupation. La plupart des articles énoncent ces objectifs de façon explicite, toutefois ce n’était pas le cas pour certaines méthodes, et nous avons déduit les objectifs des critères utilisés pour l’évaluation. Peu d’articles exposent comment les objectifs ont été choisis. Les méthodes examinées ici diffèrent en ce qui concerne le nombre et le type d’objectifs pris en compte.

Les objectifs ont été groupés en trois classes : concernant les entrants, concernant les émissions et concernant l’état du système (tab. III). Il y a des similarités entre les méthodes. IDA et VDO ont une cible très restreinte, elles ne considèrent que deux objectifs : Utilisation de pesticides et Utilisation d’engrais azoté/Émission de substances eutrophisantes. EP (cinq objectifs) et ASA (quatre) ont également une cible assez restreinte, chacune à sa façon : EP vise l’extensification et la qualité du paysage, tandis que ASA fait référence uniquement à la théorie des écosystèmes. DCE, ACVA et EOGE sont les seules méthodes prenant en compte une gamme d’objectifs concernant les émissions, à cause de leur origine commune (ACV). Ces méthodes ont une grande envergure, ACVA et EOGE considèrent 10 objectifs, DCE en considère 13 et est la méthode ayant la plus grande portée. DCE comprend des objectifs qui généralement ne sont pas pris en compte par l’ACV (Érosion du sol, Qualité du paysage, Biodiversité naturelle) afin de s’adapter à l’évaluation des agroécosystèmes. IAE, DS et IDEA font chacune référence à deux ou trois objectifs concernant les entrants et à cinq ou six objectifs concernant l’état du système, ces méthodes ont cinq objectifs en commun. PMO est la seule méthode ne prenant en compte que des objectifs concernant l’état du système, et la seule ayant pour objectif la Qualité alimentaire. MEA est également plutôt à part en tant que seule méthode prenant en compte le Bien-être animal.
Les objectifs mentionnés le plus souvent sont : Utilisation d’énergie non-renouvelable (7 méthodes), Qualité du paysage (6) et Biodiversité naturelle (6). Émission de substances eutrophisantes, Biodiversité agricole et Qualité du sol sont mentionnés chacun par cinq méthodes.
Les indicateurs utilisés pour quantifier les objectifs
Les indicateurs utilisés pour quantifier le degré auquel sont atteints les objectifs représentent la mise en œuvre de la méthode. La construction d’indicateurs constitue une étape essentielle dans l’établissement d’une méthode d’évaluation. Les indicateurs d’impact environnemental peuvent être basés soit sur les moyens, soit sur les effets (fig. 1). Le tableau IV présente des indicateurs pour un sous-ensemble d’objectifs et de méthodes, choisis afin d’illustrer la diversité des approches pour la construction d’indicateurs.
Pour Utilisation d’énergie non-renouvelable, DCE et ACVA utilisent un indicateur basé sur les effets provenant de mesures (utilisation d’énergie directe) et de calculs de modélisation simples (énergie indirecte). DS utilise également un indicateur basé sur les effets qui dépend de mesures de l’utilisation d’énergie directe uniquement. MEA adopte une approche hybride : son indicateur combine des éléments basés sur des effets (mesure de l’énergie directe) avec des éléments basés sur des moyens (mesures d’efficacité prises).
Pour Érosion du sol, DCE a un indicateur basé sur les effets utilisant un modèle de simulation pour estimer une somme de pluie nuisible, indiquant l’érosion. EP a un indicateur basé sur les moyens prenant en compte un nombre de pratiques liées au risque d’érosion. DS a un indicateur très simple, basé sur les effets, demandant une seule variable d’entrée (estimation de la couverture végétale, indiquant l’érosion).
Pour Émission de substances eutrophisantes, DCE, ACVA et VDO utilisent des indicateurs basés sur les effets tirés de modèles de simulation. Les trois méthodes se distinguent en ce qui concerne les éléments pris en considération (uniquement l’azote - N - pour VDO, N, le phosphore - P - et le potassium - K - pour DCE et N, P, K et métaux lourds pour ACVA).
Pour la Biodiversité naturelle, MEA utilise un indicateur basé sur les moyens. DS utilise une approche basée sur les effets, fondée sur des mesures de haies et de lisières de bois, pour représenter la Biodiversité naturelle. L’approche proposée par DCE est la plus sophistiquée des trois, elle estime la contribution des cultures à la biodiversité naturelle en agrégeant une information écologique concernant la contribution de la culture (en tant qu’habitat) à la diversité des espèces, et son intérêt pour les espèces menacées et caractéristiques. On pourrait considérer cette approche comme un modèle qualitatif de la biodiversité, ayant le choix de la culture comme variable d’entrée. Cette approche est donc basée sur les effets.
Choix cruciaux lors de la conception des méthodes
Sept méthodes utilisent des indicateurs basés sur des effets, parmi celles-ci, ACVA, ASA, VDO, PMO et EOGE expriment les sorties sous la forme de valeurs, IAE fournit des scores et DCE donne des scores pour certains indicateurs et des valeurs pour le plus grand nombre (tab. V). IDA, EP et MEA utilisent des indicateurs basés sur les moyens et DS et IDEA utilisent les deux types d’indicateurs. Parmi ces cinq méthodes, DS seul exprime les sorties sous forme de valeurs, les autres utilisent des scores.
Parmi les méthodes utilisant des scores, IAE et MEA utilisent la même échelle pour tous ou presque tous les indicateurs, IDA, DCE, EP et IDEA utilisent des échelles qui varient d’un indicateur à un autre. Parmi ces six méthodes, tous sauf IDEA ont défini des seuils ; pour trois de ces méthodes des scores négatifs reflètent un résultat indésirable, des scores positifs indiquent un " bon " résultat. Parmi les six méthodes utilisant des valeurs, PMO et DS seuls ont défini des seuils.
DCE utilise des facteurs pour donner des poids aux indicateurs, pour MEA la pondération vient en option, l’utilisateur peut déterminer des poids. IDA, EP et IDEA attribuent des poids aux indicateurs de façon indirecte, à travers la gamme des scores possibles. Les autres méthodes n’ont pas de procédure pour attribuer des poids aux indicateurs.
Parmi les méthodes produisant uniquement des scores, IDA, EP et IDEA agrègent l’information par addition, IAE et MEA n’agrègent pas. IAE suggère l’utilisation de méthodes multicritères comme une alternative à l’agrégation. Parmi les méthodes produisant des valeurs, DCE, ACVA et DS agrègent les indicateurs, chacun utilisant sa méthode particulière (tab. V) ASA, VDO, PMO et EOGE n’agrègent pas.

[R]  Analyse des composants des méthodes d’évaluation

Qu’est-ce qui est évalué ?
Les méthodes passées en revue se partagent en deux groupes : celles qui déclarent évaluer l’impact environnemental ou la performance environnementale, et celles revendiquant l’estimation de la durabilité écologique (tab. I). L’évaluation de la durabilité est un but de plus grande envergure, demandant la prise en compte d’objectifs concernant les fonctions source de l’écosystème global (par exemple, l’énergie fossile, la biodiversité) en plus d’objectifs concernant ses fonctions puits (par exemple, la qualité de l’eau, la qualité du sol). Parmi les méthodes revendiquant l’estimation de la durabilité (IDA, DCE, ASA, VDO et IDEA), IDA et VDO ne remplissent pas ces exigences, puisqu’elles restreignent leurs objectifs à l’utilisation des pesticides et à la fertilisation (tab. III). Les sept autres méthodes, EP, ACVA, IAE, PMO, MEA, DS et EOGE considèrent non seulement les fonctions puits mais également les fonctions source de l’écosystème global. Elles évaluent donc la durabilité.
Objet étudié, échelle de l’évaluation et objectifs
Pour les méthodes basées sur l’ACV, l’objet d’étude est le produit, tandis que pour les autres méthodes, c’est la ferme (c’est-à-dire le lieu de production), DCE combine ces deux approches (tab. I). C’est pourquoi les indicateurs utilisés par les méthodes basés sur l’ACV consistent en des rapports d’entrants ou d’émissions par kg de produit. Les autres méthodes utilisent des rapports d’entrants ou d’émissions par hectare (c’est-à-dire la terre, l’entrant limitant in fine) (tab. IV). Ainsi, les méthodes basées sur l’ACV considèrent les fermes comme des systèmes de production, tandis que les autres méthodes les considèrent comme un mode d’occupation du sol. Ces deux points de vue sont complémentaires : Haas et al. (2000) proposent que les indicateurs exprimant les impacts par hectare soient les plus appropriés pour les effets locaux et que les indicateurs exprimant les impacts par kg de produit soient les plus appropriés pour les effets globaux.
Toutes les méthodes comparées ici prennent en compte des effets locaux. Des effets globaux sont considérés par sept des douze méthodes (tab. II). L’idéal serait qu’une méthode considère non seulement les effets locaux mais également les effets globaux, afin d’éviter d’aboutir à une augmentation par mégarde de l’effet global en essayant de réduire l’impact local (ou vice versa). L’examen des objectifs considérés par les méthodes (tab. III) révèle une grande diversité en ce qui concerne la largeur de l’analyse : certaines méthodes ont une cible très restreinte et ne considèrent que deux objectifs, alors que d’autres méthodes considèrent dix objectifs, voire plus. Sur l’ensemble des 26 objectifs, certains sont pris en compte par six ou sept méthodes, tandis que d’autres sont considérés par une méthode seulement. Peu de méthodes exposent explicitement comment les objectifs ont été choisis, et une seule méthode examine si, dans un jeu d’objectifs, certains sont redondants.

Évaluation sur les effets ou sur les moyens
Parmi les méthodes passées en revue, sept utilisent des indicateurs basés sur les effets, trois utilisent des indicateurs basés sur les moyens et deux utilisent les deux types (tab. V). Les avantages des indicateurs basés sur les effets sont évidents : le lien avec l’objectif est plus direct et le choix des meilleurs moyens ou pratiques pour atteindre l’effet désiré est laissé à l’agriculteur, qui peut prendre en compte la spécificité agronomique, économique et environnementale de sa situation. Le principal inconvénient des indicateurs basés sur les effets par rapport aux indicateurs basés sur les moyens est une collecte de données plus coûteuse. Les cinq méthodes demandant plus que deux jours/an pour collecter les données (tab. II) utilisent des indicateurs basés sur les effets. Trois sont basées sur l’ACV, et présentent ainsi une forte intensité d’information, les deux autres sont ASA et PMO, et ont besoin de données mesurées au champ.
Puisque leur mise en œuvre est plus simple et coûte donc moins chère, les indicateurs basés sur les moyens sont souvent préférés pour des méthodes d’évaluation utilisées pour la certification ou l’établissement de niveaux de rémunération où la vérification et la mise en application jouent un rôle. Le défaut principal des méthodes utilisant des indicateurs basés sur les moyens est qu’ils ne conviennent pas pour guider le changement, parce qu’il est logiquement impossible d’évaluer la contribution d’une pratique à l’impact environnemental quand l’adhésion à cette pratique a servi comme critère pour évaluer l’impact environnemental (Hansen, 1996). Par conséquent, une évaluation utilisant des indicateurs basés sur les moyens ne contribuera pas à reconnaître des erreurs et à améliorer les pratiques. En fait, les auteurs de ces méthodes savent déjà à quoi ressemblent les systèmes de production à faible impact ou durables. Cette approche ne tient pas compte de la nécessité d’adapter les technologies aux environnements spécifiques (Hansen, 1996) et ne favorisera pas l’émergence de nouvelles pratiques. Quand elles sont utilisées les méthodes basées sur les moyens doivent être dynamiques : les nouveaux résultats de recherche concernant les effets environnementaux des pratiques de l’agriculteur doivent être utilisés continuellement pour améliorer les indicateurs basés sur les pratiques.
L’estimation des effets nécessite l’utilisation de modèles de simulation, mais quel degré de complexité est opportun ? Cette question peut être illustrée par les indicateurs utilisés pour l’objectif Érosion du sol (tab. IV). DCE et DS ont chacun un indicateur basé sur les effets, pour DCE un modèle de simulation simple demandant plusieurs variables d’entrée est utilisé, tandis que l’indicateur proposé par DS est simplifié à l’extrême, demandant une seule variable d’entrée (présence ou absence d’une culture). Cet exemple illustre le compromis entre la simplicité et la complexité dans la conception des indicateurs. Les données d’entrée requises pour DS sont plus faciles à collecter que celles requises pour DCE, mais les sorties fournies par DCE sont probablement plus proches de l’effet réel (Érosion du sol) et/ou valable pour un domaine plus large que celles fournies par DS. EP utilise un indicateur basé sur les moyens, prenant en compte un certain nombre de pratiques liées au risque d’érosion, son " coût de collecte de données " est probablement d’un niveau intermédiaire. Toutefois, il est difficile de dire dans quelle mesure ses sorties correspondent à l’érosion du sol du " monde réel ". Tandis que l’on peut concevoir une approche expérimentale afin de valider les indicateurs basés sur les effets comme proposés par DCE et DS, la seule façon pour valider l’indicateur basé sur les moyens proposé par EP serait par jugement d’expert, ce qui, par nature, est plus subjectif.
Parmi les sept méthodes utilisant des indicateurs basés sur les effets, six expriment les résultats sous forme de valeurs, une (IAE) fournit des scores (tab. III). Chacune des trois méthodes utilisant des indicateurs basés sur les moyens exprime les résultats sous forme de scores. Parmi les deux méthodes utilisant les deux types d’indicateur, l’un utilise des valeurs, l’autre des scores. Les scores ont des unités sans dimension. C’est une caractéristique qui est indésirable en soi, entre autres parce qu’un score ne peut pas être comparé à d’autres valeurs et qu’il complique l’utilisation d’observations du monde réel pour la validation de la méthode (Suter II, 1993). Alors, pourquoi utiliser des scores ? La première raison est que pour des indicateurs basés sur les moyens les scores sont souvent la seule option, parce que cette approche permet d’" additionner " un ensemble de moyens ou de pratiques (par exemple, ceux concernant l’érosion du sol pour EP ; tab. IV). Deuxièmement, certaines méthodes expriment les sorties sous forme de scores pour qu’elles soient plus facilement compréhensibles (par exemple, scores négatifs : " mauvais ", scores positifs : " bons ") (MEA), ou bien pour permettre une agrégation ultérieure (DCE).
Parmi les sept méthodes utilisant des indicateurs basés sur les effets, deux seulement ont défini des seuils, une attribue des poids aux indicateurs et deux agrègent les indicateurs pour obtenir une seule valeur (tab. V). Parmi les trois méthodes utilisant des indicateurs basés sur les moyens, tous ont des seuils, deux attribuent des poids aux indicateurs et les agrègent en additionnant des scores. La définition de seuils permettant la distinction de catégories (par exemple, " élevé ", " moyen ", " bas ") et l’attribution de poids suivi d’une agrégation visent, l’un et l’autre, une interprétation plus aisée des sorties par l’utilisateur. Ceci peut entraîner un coût : souvent la définition de seuils et de poids n’a pas de fondement scientifique, donc les choix sont basés sur des valeurs et plus ou moins arbitraires. De même, l’agrégation facilite la prise de décisions, mais au prix d’une perte d’information, produisant un seul indice ambigu (Suter II, 1993 ; Maystre et al., 1994). Apparemment, les auteurs des méthodes basées sur les effets ont moins tendance à inclure des éléments basés sur des valeurs (définition de seuils, attribution de poids, agrégation d’indicateurs) que les auteurs des méthodes basées sur les moyens.

La validité des méthodes
Le but des méthodes passées en revue ici est l’identification de l’option la moins dommageable pour l’environnement parmi plusieurs solutions. La capacité d’une méthode à faire cela peut être compromise de deux façons : d’une part, l’analyse peut donner une réponse erronée et, d’autre part, l’analyse peut être impossible à conduire (Hertwich et al., 1997). Ceci soulève deux questions : est-ce que la méthode est valide et est-ce qu’elle est pratiquement faisable ? Une méthode peut donner une réponse erronée pour deux raisons : son jeu d’objectifs ne convient pas à son but ou bien ses objectifs sont mal quantifiés par ses indicateurs. Une analyse peut être impossible à conduire parce que la méthode est trop compliquée, trop chère ou nécessite des données qui ne sont pas disponibles.
Dans les publications passées en revue ici, l’évaluation de la méthode par l’examen de sa validité est abordée seulement par les auteurs de IDA, IAE et MEA, donc apparemment la plupart des auteurs n’ont pas beaucoup réfléchi à la validation. Ceci est regrettable et en fort contraste avec des publications dans le domaine des modèles de simulation, où la validation des modèles est prise très au sérieux. Bockstaller et Girardin (sous presse) proposent une approche pour la validation des indicateurs qui est pertinente pour les méthodes analysées ici. Leur approche s’inspire des méthodes utilisées pour la validation des modèles de simulation, sans toutefois être identique à elles, puisqu’un indicateur et un modèle de simulation ont une nature et un but différents. L’idéal serait que la validation de la méthode consiste en un examen critique de son jeu d’objectifs et de ses indicateurs. Un jeu d’objectifs devrait être exhaustif, non-redondant et minimal (réduit au plus petit nombre possible), comme proposé par Schärlig (1985). Les indicateurs doivent quantifier les objectifs de façon pertinente, ceci peut être validé en confrontant les valeurs des indicateurs aux données du monde réel et/ou en soumettant la conception des indicateurs à un groupe d’experts.
La plupart des auteurs discutent de la faisabilité. Les méthodes utilisant des indicateurs basés sur les moyens ont une performance particulièrement bonne, avec un temps de collecte de données faible. Les méthodes utilisant des indicateurs basés sur les effets et, en particulier, celles basées sur l’ACV sont beaucoup plus exigeantes sur ce point. Il est évident que l’identification du compromis approprié entre les exigences contradictoires d’éviter les réponses erronées et de faisabilité constitue un des défis les plus importants pour le développement d’une méthode d’évaluation. Une piste pour relever ce défi pourrait être l’étude de cas d’agroécosystèmes bien documentés pour évaluer les effets d’une simplification des méthodes utilisant des indicateurs basés sur les effets sur leur tendance à donner des réponses erronées.

[R]   Conclusions

Sur la base de la discussion précédente, nous proposons les exigences suivantes pour des méthodes basées sur des indicateurs et visant l’évaluation environnementale au niveau de l’exploitation agricole. Ces conseils peuvent être utilisés pour l’évaluation de méthodes existantes et pour le développement de nouvelles méthodes.
Pour évaluer réellement l’impact environnemental, une méthode d’évaluation doit prendre en compte une gamme d’objectifs couvrant aussi bien des effets locaux que des effets globaux. Le nombre d’objectifs doit être suffisamment grand pour éviter la création par mégarde de nouveaux problèmes, et le plus petit possible pour préserver la faisabilité ; les objectifs ne doivent pas être redondants. La procédure utilisée pour choisir les objectifs doit être énoncée.
Des indicateurs permettant de quantifier le degré d’atteinte de ces objectifs doivent être identifiés ou construits. Des indicateurs basés sur les effets sont à préférer, puisque le lien avec l’objectif est plus direct et le choix des moyens ou des pratiques est laissé à l’agriculteur. Des indicateurs basés sur les moyens sont moins coûteux en collecte de données, mais ils ne permettent pas une réelle évaluation de l’impact environnemental. La validation des indicateurs basés sur les moyens est problématique.
Des indicateurs permettant l’expression des impacts aussi bien par unité de surface que par unité de produit sont préférables, puisqu’ils permettent d’évaluer les systèmes agricoles non seulement comme des modes d’occupation du sol mais aussi comme des systèmes de production.
Les sorties des indicateurs peuvent avoir la forme de valeurs ou de scores. Les sorties sous forme de valeurs sont préférables, puisque les scores ont des unités sans dimension et ne peuvent donc pas être comparés à d’autres valeurs ou à des observations du monde réel.
Si possible des valeurs seuils doivent être définies pour les indicateurs. Dans l’idéal, les seuils doivent avoir un fondement scientifique.
La méthode doit être validée par, d’une part, l’évaluation de la pertinence de son jeu d’objectifs par rapport à son but et, d’autre part, la confrontation des valeurs des indicateurs à des données du monde réel et/ou par la soumission de la conception des indicateurs à un groupe d’experts.

[R]  Remerciements
Cet article a largement bénéficié des commentaires détaillés de Ch. Bockstaller et J.M. Meynard, J. Baudry, Ph. Girardin, P. Robin et D. Vermersch. Deux lecteurs anonymes ont également fournis des commentaires utiles.

 [R]  Cet article est paru en anglais dans Agriculture, Ecosystems, and Environment , 93(3) en 2002, sous le titre original Evaluation of the environmental impact of agriculture at the farm level: a comparison and analysis of twelve indicator-bases methods et les signatures de Hayo M.G. van der Werf et de Jean Petit. Il est reproduit ici avec l'aimable autorisation d'Elsevier Science. La traduction (par Hayo van der Werf) n'a pas été relue par Elsevier.[VU]

[R]   Références bibliographiques

Audsley E., Alber S., Clift R., Cowell S., Crettaz P., Gaillard G., Hausheer J., Jolliett O., Kleijn R., Mortensen B., Pearce D., Roger E., Teulon H., Weidema B., van Zeijts H., 1997. Harmonisation of environmental life cycle assessment for agriculture. Final Report Concerted Action AIR3-CT94-2028. Silsoe Research Institute, Silsoe, United Kingdom.
Biewinga E.E., van der Bijl G., 1996. Sustainability of energy crops. A methodology developed and applied. Report no. 234, Centre for Agriculture and Environment (CLM), Utrecht, The Netherlands.
Bockstaller C., Girardin P., 2002. How to validate environmental indicators. Agricultural Systems. (sous presse)
Dalsgaard J.P.T., Oficial R.T., 1997. A quantitative approach for assessing the productive performance and ecological contributions of smallholder farms. Agricultural Systems, 55, 503-533.
Girardin P., Bockstaller C., van der Werf H.M.G., 2000. Assessment of potential impacts of agricultural practices on the environment: the AGRO*ECO method. Environmental Impact Assessment Review, 20, 227-239.
Goodland R., 1995. The concept of environmental sustainability. Annual Review of Ecological Systems, 26, 1-24.
Gras R., Benoît M., Deffontaines J.P., Duru M., Lafarge M., Langlet A., Osty P.L., 1989. Le fait technique en agronomie. Activité agricole, concepts et méthodes d'étude. INRA - L'Harmattan, Paris, France.
Haas G., Wetterich F., Geier U., 2000. Life Cycle Assessment framework in agriculture on the farm level. International Journal of Life Cycle Assessment, 5(6), 345-348.
Hansen J.W., 1996. Is agricultural sustainability a useful concept? Agricultural Systems, 50, 117-143.
Heijungs R., Guinée J.B., Huppes G., Lankreijer R.M., Udo de Haes H.A., Wegener Sleeswijk A., Ansems A.M.M., Eggels P.G., van Duin R., Goede, H.P., 1992. Environmental Life Cycle Assessment of product., Part I, Guide ; Part II, Backgrounds. Centre of Environmental Science, Leiden, The Netherlands.
Herdt R.W., Steiner R.A., 1995. Agricultural sustainability: concepts and conundrums. In: V. Barnett, R. Payne & R. Steiner: Agricultural sustainability. Economic, environmental and statistical considerations. John Wiley & Sons, Chichester, UK, 3-13.
Hertwich E.G., Pease W.S., Koshland C.P., 1997. Evaluating the environmental impact of products and production processes: a comparison of six methods. The Science of the Total Environment, 196, 13-29.
Kätterer T., Andrén O., 1999. Long-term agricultural field experiments in Northern Europe: analysis of the influence of management on soil carbon stocks using the ICBM model. Agriculture, Ecosystems and Environment, 72, 165-179.
King C., Gunton J., Freebairn D., Coutts J., Webb I., 2000. The sustainability indicator industry: where to from here? A focus group study to explore the potential of farmer participation in the development of indicators. Australian Journal of Experimental Agriculture, 40, 631-642.
Leopold L.B., Clark F.F., Hanshaw B.B., Balsley J.R., 1971. A procedure for evaluating environmental impact. US Geological Survey Circular, 645. Department of the Interior, Washington DC, USA.
Lewis K.A., Bardon K.S., 1998. A computer-based informal environmental management system for agriculture. Environmental Modelling and Software, 13, 123-137.
Lewis W.J., van Lenteren J.C., Phatak S.C., Tumlinson J.H., 1997. A total system approach to sustainable pest management. Proceedings of the National Academy of Sciences USA, 94, 12243-12248.
Mayrhofer P., Steiner C., Gärber E., Gruber E., 1996. Regionalprogramm Ökopunkte Niederösterreich. Informationsheft. NÖ Landschaftsfonds, Wien, Austria.
Maystre L.Y., Pictet J., Simos J., 1994. Méthodes multicritères ELECTRE. Description, conseils pratiques et cas d’application à la gestion environnementale. Presses polytechniques et universitaires romandes, Lausanne, Suisse.
Mitchell G., May A., McDonald A., 1995. PICABEU: a methodological framework for the development of indicators of sustainable development. International Journal of Sustainable Development and World Ecology, 2, 104-123.
OECD, 1999. Environmental indicators for agriculture. Volume 1, Concepts and Framework. OECD, Paris, France.
Pimentel D.C., Kounang N., 1998. Ecology of soil erosion in ecosystems. Ecosystems, 1, 416-426.
Pointereau P., Bochu J.L., Doublet S., Meiffren I., Dimkic C., Schumacher W., Backhausen J., Mayrhofer P., 1999. Le diagnostic agri-environnemental pour une agriculture respectueuse de l’environnement. Trois méthodes passées à la loupe. Travaux et Innovations. Société Agricole et Rurale d’Édition et de Communication, Paris, France.
Rossier D., 1999. L’écobilan, outil de gestion écologique de l’exploitation agricole ? Revue suisse Agric., 31(4), 179-185.
Rossing W.A.H., Jansma J.E., de Ruijter F.J., Schans J., 1997. Operationalising sustainability: exploring options for environmentally friendly flower bulb production systems. European Journal of Plant Pathology, 103, 217-234.
Ryden J.C., Ball P.R., Garwood E.A., 1984. Nitrate leaching from grassland. Nature, 311, 50-53.
Schärlig A., 1985. Décider sur plusieurs critères. Panorama de l’aide à la décision multicritère. Presses Polytechniques et universitaires romandes, Lausanne, Suisse.
Suter II G.W., 1993. A critique of ecosystem health concepts and indexes. Environmental Toxicology and Chemistry, 12, 1533-1539.
Taylor D.C., Mohamed Z.A., Shamsudin M.N., Mohayidin M.G., Chiew E.F.C., 1993. Creating a farmer sustainability index: a Malaysian case study. American Journal of Alternative Agriculture, 8, 175-184.
Vereijken P., 1997. A methodical way of prototyping integrated and ecological arable farming systems (I/EAFS) in interaction with pilot farms. European Journal of Agronomy, 7, 235-250.
Vilain L., 1999. De l’exploitation agricole à l’agriculture durable. Aide méthodologique à la mise en place de systèmes agricoles durables. Educagri éditions, Dijon, France.
Wauchope R.D., 1978. The pesticide content of surface water drainage from agricultural fields: A review. J. Environ. Qual., 7, 459-472.