Zásady a standardy hodnocení
Zásady a standardy hodnocení a rozvoj kapacity pro hodnocení
Tak, jak funkce hodnocení veřejného sektoru/veřejných služeb nabývala během posledních více než 30 let na významu, vnikal zároveň i značný počet hodnotících systémů na mezinárodní, národní a/nebo regionální úrovni; každý z nich byl přitom vytvořen podle specifických potřeb konkrétní veřejné služby a průběžně je dále rozvíjen, aby odrážel měnící se potřeby.
V důsledku této intenzivnější a širší aplikace funkce hodnocení se veřejný sektor/veřejné služby v řadě případů snaží vytvářet pro řízení svých procesů potřebné institucionální rámce a zpracovávat alespoň minimální zásady, normy a standardy na podporu institucionalizace hodnotících funkcí pokrývajících celý systém, a také sdílet osvědčenou praxi.
Tyto minimální standardy přirozeně umožňují lepší kontrolu kvality výsledků hodnocení s ohledem na jejich využití jako vstupů pro podporu kvalifikovaného rozhodování veřejného sektoru/veřejných služeb v rámci různých institucí, programů, fondů a intervencí.
Tyto zásady, normy a standardy obvykle zahrnují např. následující problémové okruhy:
- účel, profil, role, úkoly a zdroje funkce hodnocení,
- definice standardní terminologie, často také včetně indikátorů plnění,
- vytvoření/stanovení kontextu širšího institucionálního rámce funkce hodnocení včetně příslušných monitorovacích informačních systémů a procesů,
- řízení funkce hodnocení zadavatelem hodnocení včetně otázek jeho návrhu, plánování, participace, řídících skupin, zpětné vazby, navazujících činností a dalšího šíření výsledků hodnocení,
- provedení hodnocení hodnotitelem včetně otázek jako je nezávislost, nestrannost, základní kompetence hodnotitelů a profesní etika,
- kontrola kvality hodnotícího procesu, výsledky hodnocení, jejich věrohodnost a užitečnost pro orgán, který hodnocení zadal,
- přispění hodnocení k dalšímu rozvoji kapacity a vědomostí v této oblasti prostřednictvím sdílení a šíření osvědčené praxe při navrhování, řízení a hodnocení programů/projektů.
Tyto otázky řeší řada aktérů zapojených do veřejného sektoru/veřejných služeb, a to jak na národní tak i na mezinárodní úrovni. Na mezinárodním poli se jimi zabývají např. OSN a Světová banka při řízení vlastních akcí a také OECD v souvislosti s rozvojem a aktivní podporou sdílení informací o osvědčené praxi mezi svými členskými státy.
Následující materiály jsou užitečným vodítkem pro orientaci v různých hodnotících systémech.
- I. Hodnocení – zásady, standardy a osvědčená praxe
- II. Hodnocení – definice, indikátory plnění
- III. Hodnocení – rozvoj kapacity
I. Hodnocení – zásady, standardy a osvědčená praxe
Evropská komise:
zásady, standardy a osvědčená praxe
Evropská komise: Centrální Hodnotící jednotka a síť hodnotitelů Evropské komise byly založeny v r. 1996 na podporu osvědčené praxe v hodnocení a v r. 1999 poprvé vydaly Pokyny pro osvědčenou praxi v řízení hodnotící funkce Komise, které pak byly aktualizovány řadou následných sdělení Evropské komise.
- Reakce Evropské komise na strategické potřeby - posilování využití hodnocení (.PDF, 171 kB)
Reakce na strategické potřeby: posilování využití hodnocení - Responding to Strategic Needs: Reinforcing the Use of Evaluation, (publikováno v r. 2007), ke stažení ve formátu pdf, anglicky. - Standardy hodnocení a osvědčená praxe (.PDF, 252 kB)
Standardy hodnocení a osvědčená praxe- Evaluation Standards and Good Practice, (publikované v r. 2002), ke stažení ve formátu pdf, angicky
sledujících další posilování systému, který se vztahuje na všechna generální ředitelství, služby a jejich činnosti.
Spojené národy
zásady, standardy a osvědčená praxe
Spojené národy: Hodnotící skupina OSN (UNEG) byla založena v r. 2003 jako následník Meziagenturní pracovní skupiny, založené v r. 1984. Obě byly zaměřeny na prosazování osvědčené praxe v široké škále specializovaných agentur OSN, jejích fondů, programů a přidružených organizací. V r. 2005 UNEG přijala pro celý systém OSN svůj první soubor Norem a standardů pro hodnocení (Evaluation Norms and Standards) jako základ pro vytvoření hodnotícího procesu založeného na spolupráci a respektujícího dohodnuté hlavní zásady.
Soubor norem se zaměřuje na zvyšování kvality a významu hodnocení v celém systému OSN a prostřednictvím OSN je dostupný také ve francouzštině, španělštině, ruštině, čínštině a arabštině – viz Užitečné odkazy níže).
- Normy OSN pro hodnocení (.PDF, 36 kB)
Spojené národy: Hodnotící skupina OSN (UNEG) - Evaluation Norms, (publikováno v roce 2005), ke stažení ve formátu pdf, anglicky - Standardy pro hodnocení (.PDF, 83 kB)
Spojené národy: Hodnotící skupina OSN (UNEG) - Standards, (publikováno v roce 2005), ke stažení ve formátu pdf, anglicky
Skupina Světové banky
zásady, standardy a osvědčená praxe
skupina Světové banky dlouho usilovala o dosažení konsenzu o hlavních zásadách a standardech upravujících funkci hodnocení intervencí veřejného sektoru; v r. 1973 založila Oddělení pro hodnocení operací (Operations Evaluation Department), které se nyní nazývá Nezávislá hodnotící skupina (Independent Evaluation Group – IEG), na podporu osvědčené praxe a nezávislosti hodnocení. Tato skupina v r. 1976 zpracovala první soubor standardů a postupů pro hodnocení. Ty byly postupně upravovány a nedávné pokyny IEG k zásadám, normám, standardům a směrnicím hodnocení: Příručka pro hodnocení globálních a regionálních partnerských programů – Indikativní zásady a standardy (Sourcebook for Evaluating Global and Regional Partnership Programmes – Indicative Principles and Standards), vydané v r. 2007, čerpají do značné míry z práce, kterou předtím provedla UNEG a hodnotící síť Výboru pro rozvojovou pomoc Organizace pro hospodářskou spolupráci a rozvoj (DAC OECD).
- Příručka pro hodnocení globálních a regionálních partnerských programů – Indikativní zásady a standardy (.PDF, 833 kB)
Skupina Světové banky : Příručka pro hodnocení globálních a regionálních partnerských programů – Indikativní zásady a standardy - Sourcebook for Evaluating Global and Regional Partnership Programmes – Indicative Principles and Standards, (publikováno v roce 2007), ke stažení ve formátu pdf, anglicky
Organizace pro hospodářskou spolupráci a rozvoj (OECD)
zásady, standardy a osvědčená praxe
(Organisation for Economic Cooperation and Development): OECD existuje již déle než 40 let a jejím cílem je podporovat své členské státy v prohlubování znalostí v oblasti sociálních, ekonomických a jiných veřejných politik (životní prostředí, zemědělství, technologie atd.) pomocí monitorování, analýzy a prognózy vývojových trendů v těchto oblastech.
- Výbor pro řízení veřejného sektoru OECD (Public Management Committee) v r. 1999 vydal v oblasti hodnocení a měření výkonu Směrnice osvědčené praxe pro evaluaci a jejich analytický podkladový dokument Zlepšování hodnotících postupů (Best Practice Guidelines for Evaluation; Improving Evaluation Practices); směrnice jsou zaměřené spíše na zásady pro řízení hodnotících aktivit ve veřejném sektoru/veřejných službách a pro řízení jednotlivých hodnocení než na metodické otázky a nástroje. Dokumenty čerpají ze zkušeností zemí jako Austrálie, Kanada, Finsko, Francie, Nizozemsko, Švédsko, USA a také z praxe Evropské komise.
- Výbor pro rozvojovou pomoc OECD (Development Assistance Committee, DAC) v r. 1991 poprvé schválil své Zásady hodnocení rozvojové pomoci zaměřené na řízení a institucionální uspořádání systémů hodnocení v rámci rozvojových agentur. Tento dokument byl aktualizován v r. 1998. DAC v r. 2006 schválil návrh dokumentu Standardy kvality DAC pro hodnocení (DAC Evaluation Quality Standards), identifikující hlavní pilíře potřebné pro podporu kvality procesu hodnocení a kvalitních výstupů/ zpráv, a také dokument Systémy hodnocení a jejich využití: Pracovní nástroj pro odbornou oponenturu a hodnocení (Evaluation Systems and Use: a Working Tool for Peer Reviews and Assessments) jako nástroj pro posuzování systémů hodnocení.
- Systémy hodnocení a jejich využití - Pracovní nástroj pro odbornou oponenturu a hodnocení (.PDF, 140 kB)
Výbor pro rozvojovou pomoc OECD (Development Assistance Committee) : Systémy hodnocení a jejich využití: Pracovní nástroj pro odbornou oponenturu a hodnocení - Evaluation Systems and Use: a Working Tool for Peer Reviews and Assessments, (publikováno v roce 2006), ke stažení ve formátu pdf, anglicky - Standardy kvality DAC pro hodnocení (.PDF, 43 kB)
Výbor pro rozvojovou pomoc OECD (Development Assistance Committee) : Standardy kvality DAC pro hodnocení - DAC Evaluation Quality Standards, (publikováno v roce 2006), ke stažení ve formátu pdf, anglicky - Zlepšování hodnotících postupů (.PDF, 174 kB)
Výbor pro řízení veřejného sektoru OECD (Public Management Committee): podkladový dokument Zlepšování hodnotících postupů - Best Practice Guidelines for Evaluation - Improving Evaluation Practices, ( publikováno v r 1999), ke stažení ve formátu pdf, anglicky
Další národní profesní společnosti v oblasti hodnocení
zásady, standardy a osvědčená praxe
Řadu stručných pokynů ke standardům a etice hodnocení vydaly také národní profesní společnosti v oblasti hodnocení, např.
- Německá evaluační společnost (German Evaluation Society),
- Švýcarská evaluační společnost (Swiss Evaluation Society)
- Evaluační společnost Spojeného království (United Kingdom Evaluation Society).
Tyto dokumenty byly určeny pro pracovníky dozoru nad hodnocením, hodnotitele i účastníky hodnocení a řešily otázky jako je užitečnost, proveditelnost, správnost a přesnost.
- Standardy a etika hodnocení - Evaluační společnost Spojeného království (.PDF, 664 kB)
Evaluační společnost Spojeného království (United Kingdom Evaluation Society): Pokyny ke standardům a etice hodnocení - Guidelines for self-evaluation standards, (publikováno v roce 2003), ke stažení ve formátu pdf, anglicky - Standardy a etika hodnocení - Německá evaluační společnost (.PDF, 372 kB)
Německá evaluační společnost (German Evaluation Society): Pokyny ke standardům a etice hodnocení - Summary of utility evaluation standards, (publikováno v roce 2002), ke stažení ve formátu pdf, anglicky - Standardy a etika hodnocení - Švýcarská evaluační společnost (.PDF, 92 kB)
Švýcarská evaluační společnost (Swiss Evaluation Society) : Pokyny ke standardům a etice hodnocení - Evaluation standards, (publikováno v roce 2000), ke stažení ve formátu pdf, anglicky
II. Hodnocení – definice, indikátory plnění
Organizace pro hospodářskou spolupráci a rozvoj (OECD)
definice, indikátory plnění
- OECD v číslech (.PDF, 610 kB)
OECD: OECD v číslech - OECD in Figures, Edition 2007, (publikováno 2007), ke stažení ve formátu pdf, anglicky
OECD: Jednoduchý přehled klíčových dat zemí OECD - od ekonomického růstu a zaměstnanosti k inflaci a životnímu prostředí.(ve francouzském jazyce ke stažení Odkaz na externí web) - Vzdělávání – Indikátory OECD (.PDF, 3530 kB)
OECD: Vzdělávání – Indikátory OECD, Indicators Education 2007, (publikováno 2007), ke stažení ve formátu pdf, anglicky - Hlavní ekonomické indikátory – vysvětlivky (.PDF, 340 kB)
OECD: Hlavní ekonomické indikátory/ vysvětlivky - Main Economic Indicators – Explanatory notes, (publikováno v roce 2006), ke stažení ve formátu pdf, anglicky - Sociální indikátory (.PDF, 4812 kB)
OECD : Sociální indikátory - Social Indicators, (publikováno v roce 2003), ke stažení ve formátu pdf, anglicky - Glosář klíčových termínů v hodnocení a řízení podle výsledků – RBM (.PDF, 157 kB)
OECD: Glosář klíčových termínů v hodnocení a řízení podle výsledků – RBM - Glossary of Key Terms in Evaluation and Results Based Management, (publikováno v roce 2002), ke stažení ve formátu pdf, anglicky - Pracovní definice v hodnocení (.PDF, 14 kB)
OECD : Pracovní definice v hodnocení - Evaluation Working Definitions, (publikováno v roce 2002), ke stažení ve formátu pdf, anglicky
Evropská komise
definice, indikátory plnění
- Pokyny pro zaměstnanost – Indikátory pro monitorování a analýzu (.PDF, 219 kB)
Evropská komise: Pokyny pro zaměstnanost (2005-08) / Indikátory pro monitorování a analýzu - Employment Guidelines (2005-08) / Indicators for Monitoring and Analysis, (aktualizováno 27/06/07), ke stažení ve formátu pdf, anglicky - Portfolio víceoborových indikátorů a nosných programů sociální integrace, důchodového zabezpečení a zdravotnictví (.PDF, 216 kB)
Evropská komise: Portfolio víceoborových indikátorů a nosných programů sociální integrace, důchodového zabezpečení a zdravotnictví - Portfolio of Overarching Indicators and Streamlined Social Inclusion, Pensions and Health Portfolio, (publikováno v roce 2006), ke stažení ve formátu pdf, anglicky - Indikátory udržitelného rozvoje pro monitorování implementace evropské strategie udržitelného rozvoje (.PDF, 81 kB)
Evropská komise: Indikátory udržitelného rozvoje pro monitorování implementace evropské strategie udržitelného rozvoje - Sustainable Development Indicators to monitor the implementation of the EU Sustainable Development Strategy, (publikováno v roce 2005), ke stažení ve formátu pdf, anglicky - Pokrok v plnění společných cílů ve vzdělávání a školení: Indikátory a srovnávací hodnoty (.PDF, 1031 kB)
Evropská komise: Pokrok v plnění společných cílů ve vzdělávání a školení: Indikátory a srovnávací hodnoty - Progress Towards the Common Objectives in Education and Training: Indicators and Benchmarks, (publikováno v roce 2004), ke stažení ve formátu pdf, anglicky - Metodický pracovní dokument č. 3 pro programové období SF 2000-2006: Indikátory pro monitorování a hodnocení (.PDF, 415 kB)
Evropská komise: Metodický pracovní dokument č. 3 pro programové období SF 2000-2006: Indikátory pro monitorování a hodnocení - Methodological Working Paper No. 3 for the 2000-2006 [Structural Funds] Programming Period: Indicators for Monitoring and Evaluation, (publikováno v roce 2000), ke stažení ve formátu pdf, anglicky
OSN
definice, indikátory plnění
- Indikátory pro monitorování rozvojových cílů tisíciletí: definice, principy, pojmy a zdroje (.PDF, 784 kB)
OSN: Indikátory pro monitorování rozvojových cílů tisíciletí: definice, principy, pojmy a zdroje - UN: Indicators for Monitoring the Millennium Development Goals – Definitions, Rationale, Concepts and Sources, (publikováno v roce 2003), ke stažení ve formátu pdf, anglicky
Ministerstvo financí Kanady
definice, indikátory plnění
- Slovník řízení podle výsledků (.PDF, 92 kB)
Ministerstvo financí Kanady: Slovník řízení podle výsledků -Treasury Board, Canada: Results - Based Management Lexicon, ke stažení ve formátu pdf, anglicky
Švýcarská agentura pro rozvoj a spolupráci (SDC)
definice, indikátory plnění
- 27 nejdůležitějších termínů v oblasti hodnocení a kontrolingu v SDC (.PDF, 85 kB)
Švýcarská agentura pro rozvoj a spolupráci (SDC): 27 nejdůležitějších termínů v oblasti hodnocení a kontrolingu v SDC - Swiss Agency for Development and Cooperation: 27 Most Relevant Terms Related to Evaluation and Controlling in SDC, (publikováno v roce 2002), ke stažení ve formátu pdf, anglicky
III. Hodnocení - rozvoj kapacity
OECD
rozvoj kapacity
OECD: Kromě zajištění kvality vlastního hodnocení je největší výzvou informovat o výsledcích hodnocení různé skupiny uvnitř i vně veřejného sektoru. Zpětná vazba a sdělování výsledků hodnocení jsou tak nedílnou součástí cyklu hodnocení a přispívají ke zlepšování politik, programů a rozhodovacích procesů, včetně jejich průkaznosti. DAC OECD v r. 2001 vydal analýzu Zpětná vazba z hodnocení pro účinné poučení a průkaznost (Evaluation Feedback for Effective Learning and Accountability), uvádějící hlavní problémy a výzvy, jež musí zpětná vazba z hodnocení překonávat, a prostředky k jejich řešení.
- Zpětná vazba z hodnocení pro účinné poučení a průkaznost (.PDF, 1647 kB)
OECD : Zpětná vazba z hodnocení pro účinné poučení a průkaznost - Evaluation Feedback for Effective Learning and Accountability, (publikováno v roce 2001), ke stažení ve formátu pdf, anglicky
Skupina Světové banky
rozvoj kapacity
Skupina Světové banky: Ve veřejném sektoru/veřejných službách jsou informace sdíleny a předávány; řada institucí však klade stále větší důraz na rozvoj systémů pro řízení znalostí zajišťujících dokonalejší a rozsáhlejší sdílení znalostí s klienty a partnery. OED/IEG v r. 2003 vydala hodnocení pokroku skupiny Světové banky v rozvoji procesů řízení informací od r. 1996: Sdílení znalostí – inovace a přetrvávající výzvy a případová studie (Sharing Knowledge – Innovations and Remaining Challenges and Case Study).
Skupina Světové banky: OED/IEG od r. 1998 také vydává přehledy procesu institucionalizace monitorovacích a hodnotících systémů orientovaných na výsledky v rámci veřejného sektoru/veřejných služeb v různých částech světa (v rámci série Pracovních dokumentů “Rozvoj hodnotící kapacity” (‘Evaluation Capacity Development’ Working Papers)) s cílem shrnout rozsáhlý a stále rostoucí objem zkušeností v této oblasti a identifikovat poučení a faktory úspěšnosti, ale i chyby, jimž je nutno se vyhnout. Tato série celkem 15 dokumentů (zahrnujících zkušenosti rozvinutých, rozvíjejících se i nedostatečně rozvinutých zemí) se stala základem pro syntetickou zprávu IEG vydanou v r. 2007: Jak budovat monitorovací a hodnotící systémy na podporu lepší veřejné správy (How to Build M&E Systems to Support Better Government).
- Jak budovat monitorovací a hodnotící systémy na podporu lepší veřejné správy (.PDF, 4190 kB)
Skupina Světové banky- IEG : Jak budovat monitorovací a hodnotící systémy na podporu lepší veřejné správy - How to Build M&E Systems to Support Better Government, (publikováno v roce 2007), ke stažení ve formátu pdf, anglicky - Případová studie (.PDF, 743 kB)
Skupina Světové banky: OED - Případová studie - Knowledge Sharing in Development Agencies: Lessons from Four Cases, (publikováno v roce 2003), ke stažení ve formátu pdf, anglicky - Sdílení znalostí – inovace a přetrvávající výzvy a případová studie (.PDF, 2193 kB)
Skupina Světové banky: Sdílení znalostí – inovace a přetrvávající výzvy a případová studie - Sharing Knowledge – Innovations and Remaining Challenges and Case Study, (publikováno v roce 2003), ke stažení ve formátu pdf, anglicky
Užitečné odkazy
k tématu zásady a standardy hodnocení
http://www.un.org/Depts/oios/mecd/mecd_glossary/index.htm
http://www.oecd.org/dac/evaluationnetwork
http://www.worldbank.org/ieg
http://www.worldbank.org/ieg/ecd/
http://www.worldbank.org/impactevaluation
http://epp.eurostat.ec.europa.eu/portal/page?_pageid=1133,47800773,1133_47803568&_dad=portal&_schema=PORTAL