conception et exécution - Environment and Climate Change Canada

Évaluation du programme national de mise à la ferraille de véhicules
Rapport final Le 12 juillet 2011
Étapes d'approbation du rapport |Fin de l'étape de planification |Novembre 2010 |
|Achèvement du rapport |Juillet 2011 |
|Approbation du rapport par le comité |Juillet 2011 |
|d'évaluation ministériel | |
Liste des acronymes utilisés dans le rapport |EC |Environnement Canada |
|NOx |oxydes d'azote |
|OSBL |organisme sans but lucratif |
|PQA |Programme de la qualité de l'air |
|SPARC |SPARC est une base de données de programme utilisée pour |
| |effectuer le suivi des véhicules mis à la casse et des |
| |primes d'encouragement versées. | Remerciements L'équipe de projet responsable de l'évaluation aimerait remercier les
personnes qui ont collaboré au projet, notamment toutes les personnes
interrogées, qui ont fourni des idées et des commentaires cruciaux pour
cette évaluation. Nous souhaitons également remercier les membres du comité
d'évaluation pour leurs conseils et leur soutien, soit Gwen Goodier, Josée
Maillette, Caitlin Horrall et Phil Caron, appartenant à la Division de la
mobilisation de la Direction générale de l'intendance environnementale. L'équipe de projet responsable de l'évaluation a été menée par Michael
Callahan, sous la direction de William Blois, directeur par intérim de la
Division de l'évaluation, avec la participation de Ryan Brown, de Monicah
Malusi et de Robert Tkaczyk.
L'évaluation a été réalisée par Goss Gilroy Inc. en collaboration avec
David Redmond and Associates, qui ont préparé ce rapport sous la direction
de la Division de l'évaluation de la Direction générale de la vérification
et de l'évaluation. Table des matières RÉSUMÉ i
1.0 INTRODUCTION 8
2.0 RENSEIGNEMENTS GÉNÉRAUX 9
2.1 Profil du programme 9
2.2 Structure de gouvernance 14
2.3 Affectation des ressources 15
2.4 Résultats attendus et modèle logique du programme 16
3.0 CONCEPTION DE L'ÉVALUATION 18
3.1 Objectif et portée 18
3.2 Approche et méthodologie d'évaluation 18
3.3 Limites 21
4.0 CONSTATATIONS 23
4.1 Pertinence 24
4.2 Rendement - conception et exécution 33
4.3 Rendement - efficacité 60
4.4 Rendement - efficience et économie 80
5.0 CONCLUSIONS 88
6.0 LEÇONS APPRISES 92
Annexe 1 : Bibliographie 94
Annexe 2 : Réseau d'organismes régionaux sans but lucratif chargés de
l'exécution 97
Annexe 3 : Enjeux et questions de l'évaluation 99
Annexe 4 : Résumé des constatations 107
Annexe 5 : Comparaison avec d'autres pays 111 RÉSUMÉ
INTRODUCTION Une évaluation du programme national de mise à la ferraille de véhicules a
été menée en vue de fournir les renseignements requis par la haute
direction d'Environnement Canada (EC) et de remplir un engagement auprès du
Conseil du Trésor. En 2010-2011, la Direction générale de la vérification
et de l'évaluation d'Environnement Canada a assuré la supervision de cette
évaluation, qui faisait partie du plan d'évaluation axé sur le risque
d'Environnement Canada pour les exercices de 2010-2011 à 2014-2015. Le
Ministère a chargé Goss Gilroy Inc. en collaboration avec David Redmond and
Associates d'effectuer la collecte et l'analyse des données. Le programme national de mise à la ferraille de véhicules (connu sous le
nom de Retire Your Ride / Adieu bazou) est l'une des nombreuses initiatives
complémentaires de transport écologique réalisées en partenariat avec
d'autres ministères fédéraux dans le cadre du Programme de la qualité de
l'air (PQA). Le programme offrait un incitatif aux personnes qui retiraient
de la circulation leurs vieux véhicules (année modèle 1995 et années
antérieures). Le programme national de mise à la ferraille de véhicules
visait principalement à réduire les polluants atmosphériques en retirant de
la circulation les véhicules plus anciens. Les objectifs secondaires
étaient de réduire les gaz à effet de serre en favorisant d'autres modes de
transport durables et d'empêcher le rejet de substances toxiques par le
recyclage responsable des véhicules. Environnement Canada a également
travaillé avec Automotive Recyclers of Canada afin d'élaborer un code de
pratique national pour le recyclage des véhicules pour établir des normes
environnementales strictes et des pratiques cohérentes s'appliquant aux
véhicules retirés de la circulation dans le cadre du programme. Environnement Canada a établi une autorisation de contribution distincte
avec un organisme sans but lucratif (OSBL) pour qu'il assume l'exécution du
programme national de mise à la ferraille de véhicules à compter de 2007.
Un financement se chiffrant jusqu'à 92 millions de dollars sur cinq ans (de
2007-2008 à 2011-2012) a été accordé au programme à même les budgets
de 2005 et de 2007. Le programme a pris fin le 31 mars 2011 et n'a pas été
renouvelé, conformément à ce qui avait été défini lors de sa conception. MÉTHODOLOGIE L'objectif de cette évaluation est d'évaluer la pertinence et le rendement
du programme national de mise à la ferraille de véhicules. L'évaluation
porte surtout sur le calendrier de quatre ans (de 2007-2008 à 2010-2011),
mais elle comporte également un examen des données du programme de 2011-
2012 sur le nombre total de véhicules qui ont été retirés de la circulation
et les dépenses définitives prévues du programme. L'évaluation s'appuie sur
de multiples sources de renseignements, y compris une analyse documentaire,
une analyse des données secondaires, 20 entrevues auprès de répondants clés
et trois études de cas axées sur des aspects précis du programme : les
communications, l'utilisation d'incitatifs et le code de pratique pour le
recyclage des véhicules. CONSTATATIONS ET CONCLUSIONS Pertinence Sur la foi des données recueillies dans le cadre de cette évaluation, le
programme national de mise à la ferraille de véhicules répondait à un
besoin réel. Les véhicules de l'année modèle 1995 et des années antérieures
produisent beaucoup plus de smog que des modèles plus récents, et des
données scientifiques indiquent que le smog est très toxique pour
l'environnement et la santé humaine. Lorsque le programme national de mise
à la ferraille de véhicules a commencé en 2007, 4,6 millions de véhicules
de l'année modèle 1995 et des modèles plus anciens étaient toujours en
circulation. Il s'avérait également nécessaire d'améliorer les pratiques
environnementales de l'industrie du recyclage automobile au Canada. Même
si, en général, les plus gros recycleurs de véhicules utilisent de bonnes
pratiques environnementales, de nombreuses petites et moyennes entreprises
ont eu des difficultés à modifier leurs pratiques en raison d'un manque de
connaissances ou de fausses idées à propos des coûts associés à de bonnes
pratiques environnementales. Même s'il existait des initiatives régionales avec des objectifs semblables
lorsque le programme national de mise à la ferraille de véhicules a été mis
en ?uvre, aucune n'avait une portée semblable à celle du programme.
Environnement Canada a tenté de tirer parti de ces initiatives pour réduire
le chevauchement. Le programme était conforme aux priorités fédérales ainsi
qu'au mandat et aux priorités d'Environnement Canada concernant la qualité
de l'air et les changements climatiques. Il cadrait également avec le
résultat stratégique suivant d'Environnement Canada : « Les menaces que
représente la pollution pour les Canadiens ainsi que pour leur
environnement sont minimisées ». Rendement - conception et exécution Les objectifs du programme national de mise à la ferraille de véhicules
étaient bien définis et les cibles étaient claires, même si le nombre total
de véhicules à retirer de la circulation visé initialement est devenu
inatteignable étant donné que le programme n'a été pleinement lancé à
l'échelle nationale qu'en janvier 2009 - 21 mois après avoir été annoncé
dans le budget de 2007. Cette période préalable au lancement était
nécessaire à la conception du programme et à l'obtention des approbations
financières requises. Néanmoins, les cibles annuelles ont été respectées ou
surpassées une fois le programme pleinement mis en ?uvre. Les objectifs du
code de pratique pour le recyclage des véhicules étaient réalistes, bien
définis et ont été atteints. Un organisme national sans but lucratif (Summerhill Impact) a assuré
l'exécution du programme par la voie d'un accord de contribution conclu
avec Environnement Canada. L'organisme a ensuite travaillé avec un réseau
d'organismes régionaux sans but lucratif et, dans l'ensemble, le système
d'exécution s'est avéré efficace et efficient. Il a notamment permis
d'accélérer la mise en ?uvre, d'offrir une souplesse pour apporter des
modifications et de réduire le chevauchement. Le financement du programme
pour les mesures incitatives pécuniaires et les activités du programme
était adéquat. Les participants ont été satisfaits et le degré de
satisfaction a augmenté à mesure qu'évoluait le programme. Un système de données en ligne (SPARC), des rapports trimestriels et
annuels de l'organisme Summerhill Impact à Environnement Canada, un examen
à mi-parcours du programme, des sondages auprès des participants et du
grand public, et divers outils de gestion de programme, tels que des
feuilles de calcul pour surveiller les vérifications des recycleurs de
véhicules, ont servi à surveiller les résultats du programme. Les
gestionnaires du programme ont largement utilisé les données relatives à la
surveillance et au rendement du programme pour diriger et adapter le
programme. Les activités de communication ont réussi à atteindre les principaux
intervenants et le grand public