Модул 3. Методи за оценка на политики, програми и проекти Модул 3. Методи за оценка на политики, програми и проекти   Андрей Нончев София, 21 октомври 2008 г. ОПЕРАТИВНА ПРОГРАМА “АДМИНИСТРАТИВЕН КАПАЦИТЕТ” ЕВРОПЕЙСКИ СЪЮЗ ИНВЕСТИЦИИ В ХОРАТА

Основни методи за оценка на политики и проекти Бърза оценка (rapid evidence assessment, rapid appraisal); Оценка на показатели (benchmarking); Одит на изпълнението

1. Бързи оценки (rapid evidence assessment, rapid appraisal) Бързата оценка е итеративен изследователски процес за осъществяване на оценка на политика, програма или проект в кратки (обикновено до 3 месеца) срокове. Основна цел: да обхване вътрешната перспектива на системата и да я разбере в нейната цялост, а не да опише статистически съставните й части.

Възможности и предимства на бързите оценки Отличен инструмент за изучаване на потребностите и интересите на целевите групи на публичните проекти и политики и заинтересованите страни. Създава условия нови дейности да бъдат планирани, извършени и оценени при по-пълно разбиране на перспективата на заинтересованите страни. Механизъм за участие - дава и възможност за овластяване на бенефициентите и постигане на устойчиви резултати. По-евтина и по-бърза от формалните и количествените методи.

Основни принципи на бързите оценки (1) Използване на перспективата на системата: изслушване на заинтересованите страни и бенефициентите, за да се определят елементите на системата и създаване на адекватна представа за тях и взаимодействието им; идентифицират се тези елементи на системата, които имат особена значимост в съответния контекст; определяне на основните фактори и ключовите актьори, които могат да опишат системата по-цялостно и извън границите на личните им възприятия.

Основни принципи на бързите оценки (2) 2. Триангулиране: систематично съчетаване на наблюденията на членове на екипа с различен опит и използващи различни изследователски методи; вземат се предвид гледните точки на различни групи и ничии лични впечатления не се приемат за общовалидни; съпоставят се данни, получени от различни източници и посредством различни методи.

Основни принципи на бързите оценки (3) 3. Итеративен перманентен процес: събраната информация модифицира самия изследователски процес; участниците променят посоката и акцентите на изследването и оценката успоредно с развитието на разбирането им за системата; започва се с предварително събраната информация, прогресивно се задълбочава информираността и разбирането, новата информация и нейната интерпретация се споделят и обсъждат, включително с бенефициенти и заинтересовани страни.

Ситуации, в които се използват бързите оценки описание на ситуацията, в която ще се реализира съответния проект/програма/политика; разбиране на отношенията или мотивациите на различни субекти; оценяване на политика или проект при недостиг на ресурси (финансови, човешки или времеви); изработване на въпроси за последващо формално изследване или интерпретиране на количествени данни; генериране на предложения или препоръки за промяна на реализираната политика/проект.

Ограничения на бързите оценки Личната преценка на членовете на екипа може да окаже съществено въздействие върху проучването. Може да се възпроизведат съществуващи предразсъдъци или субективно изкривяване на представите за системата. Съществува риск изследователите да възприемат избирателно информацията и да чуят само това, което искат. Като правило не се извършва количествена обработка и анализ на качествената информация и не се гарантира представителност. Управляващите трудно се доверяват на техните резултати.

2. Оценка на показатели (benchmarking)

Цели и функции на оценката на показатели (1) Подпомагане на стратегическото планиране, разработването и усъвършенстването на публичните политики и програми; Измерване степента на реализация на публични политики, програми и проекти и достигането на ключови обществени цели; Оценка на ефективността и ефикасността на дейността на публичните институции при реализацията на публичните политики, програми и проекти;

Цели и функции на оценката на показатели (2) Осигуряване на прозрачност за работата на публичните институции и реализиране принципите и практиките на доброто управление; Проследяване на напредъка в развитието на важни обществени сфери въз основа на обективни, достоверни и надеждни емпирични данни; Извършване на международни сравнения за позицията на страната по определени критерии.

Международни системи от индикатори Millennium Development Goals: определени са 18 ключови цели, които трябва да бъдат достигнати през 2015 г. (ограничаване на крайната бедност, всеобщо начално образование, ограничаване на детската смъртност и т.н.). European Structural Indicators System, чрез която Европейският съюз измерва напредъка в постигането на целите, формулирани в Лисабонската стратегия от 2000г. Те са организирани в 6 тематични области и са фокусирани върху 14 водещи индикатора, наблюдавани на национално равнище и позволяващи междудържавни сравнения. Factbook, която се публикува от OECD след 2005г. и включва над 100 индикатора в широк кръг от области: икономика, селско стопанство, енергетика, качество на живота, образование, здравеопазване и др.

Национални системи от ключови индикатори Measures of Australia’s Progress – система от индикатори, организирани в 4 основни сфери: 1) образование и обучение, здравеопазване, работа; 2) икономика и икономически ресурси; 3) околна среда; 4) съвместен живот – семейство, социални общности, управление, демокрация, престъпност. Canada’s Treasury Board’ indicator system - ежегодно предоставя информация за състоянието и тенденциите на развитие на канадското общество по отношение на икономика, околна среда, социокултурна сфера. UK’s Sustainable Development Indicators System – оценява се изпълнението на правителствената стратегия за устойчиво развитие (устойчиво производство и потребление, енергия и климатични промени, защита на природните ресурси и околната среда, устойчиви общности и по-справедлив свят).

3. Одит на изпълнението Одитът на изпълнението е независима оценка, извършвана от националните върховни одитни институции (в страната - Сметната палата на Република България) на публични политики, програми или институции (организации) по отношение на тяхната икономичност, ефикасност, с което се цели тяхното усъвършенстване.

Принципи и роля на одита на изпълнение (1) Основава се на взетите решения или поставените цели от законодателната власт и може да бъде осъществяван в целия публичен сектор. Публична отчетност – отговорност, прозрачност и публичен поглед върху дейностите по политиките/програмите и на държавните институции, които ги реализират. Начин законодателната и изпълнителната власт, данъкоплатците, експертите, бизнеса, медиите и обикновените граждани да упражнят контрол и да получат представа за изпълнението на публичните дейности и техните резултати. Оценка дали се получават максимални резултати от вложените средства или е възможно те да бъдат разходвани по-добре и по-разумно.

Принципи и роля на одита на изпълнение (2) Независим от държавните ведомства (министерства, агенции, местни органи на властта и др.) чиито дейности се одитират, за да се получи независимо и обективно мнение за изпълнението на одитираната политика, програма или дейност. Не представя и не защитава определени ведомствени, групови или частни интереси и не е свързан финансово или по друг начин с одитираните обекти. Основа на решения за бъдещи проекти, инвестиции или дейности; Предоставя възможности за промяна на политики и програми чрез независими анализи и оценки на изпълнението в публичния сектор.

Ключови елементи при осъществяването на одита на изпълнение Важно е да се оценят икономичността, ефективността и ефикасността на правителствените политики и дейности чрез извършване на одит, който може да допринесе за по-добро разходване на държавни средства, по-добри публични услуги и по-добра публична отчетност и управление. Важно е да се разполага с надеждна и независима информация, набирана от проверяващи, които представляват публичните интереси и могат да мислят и действат независимо. Важни са наблюдението и вникването в правителствените дейности и тяхната способност за повлияване и подобряване изпълнението на тези дейности.

Основни въпроси при одита на изпълнението Действа ли се по правилния начин? - дали свързаните с политиката решения са изпълнени правилно, съобразени ли са с нормативната рамка, спазени ли са процедурите или изискванията. Извършват ли се правилните действия? - дали възприетата политика е приложена както трябва, дали са използвани подходящите средства, дали дадена мярка е ефективна и съвместима с поставените цели. Постигат ли се набелязаните цели? – какви са ефективността и/или въздействието на политиката/програмата върху обществото.

Обхват на одита на изпълнение политики, програми и институции одит на икономичността на извършваните дейности по оценяваната политика или програма от съответните публични институции в съответствие с добрите административни принципи и управленски практики; одит на ефикасността на използването на финансовите, човешките, техническите и други ресурси, включително проверка на информационните системи, мерките за изпълнение на организацията на мониторинга и процедурите, прилагани от одитираните обекти за преодоляване на констатираните недостатъци; одит на ефективността на изпълнението по отношение на постигането на целите на одитирания обект, а също и одит на действителните резултати в сравнение с очакваните резултати от дейността.

Икономичност – поддържане на ниски разходи Икономичност - свеждане до минимум на разходите на използваните за дадена дейност ресурси, като се съблюдава и постигане на съответно качество. Дали избраните средства, вложените ресурси или придобитото оборудване представляват най-икономичното използване на публични средства? Използвани ли са икономично човешките, финансовите или материалните ресурси? Извършени ли са дейностите по управлението в съответствие с добрите административни принципи и добрите управленски политики?

Ефикасност – получаване на максимални резултати от наличните ресурси Ефикасност – оптимално използване на ресурсите за постигане на максимални резултати от гледна точка на количеството и качеството или постигане на същите резултати с по-малко ресурси. дали човешките, финансовите и другите ресурси са използвани ефикасно? дали правителствените програми, организации и дейности са управлявани, регулирани, организирани, изпълнявани, наблюдавани и оценявани ефикасно? дали дейностите на правителствените структури са в съответствие с определените цели и изисквания? дали държавните услуги са извършвани качествено, своевременно и в полза на клиента? дали целите на правителствените програми са постигнати с ефективно разходване на средства при максимална възвръщаемост?

Ефективност – постигане на поставените цели Ефективност - степента, до която дадена програма или организация постига поставените си цели. Първо, дали целите на политиката са постигнати? Второ, дали това се дължи на провежданата политика?

Оценка на ефективността – основни аспекти (1) Дали правителствените програми са подготвени и разработени ефективно и дали те са ясни и последователни; Дали целите и осигурените средства (правни, финансови и т.н.) за нова или действаща правителствена програма са правилни, последователни, подходящи или уместни; Дали са ефективни организационната структура, процесът на вземане на решения и управленската система за изпълнение на програмата; Дали програмата допълва, дублира, припокрива други свързани програми или им противодейства; Дали качеството на публичните услуги отговаря на очакванията на хората или на поставените цели;

Оценка на ефективността – основни аспекти (2) Адекватност на системата за измерване, проследяване и отчитане на ефективността на програмата; Ефективност на правителствените инвестиции и програми и/или отделни техни елементи, т.е. да се оцени дали са изпълнени целите; Фактори, възпрепятстващи задоволителното изпълнение или постигане на целите; Причини за констатациите и наблюдаваните проблеми по отношение на начините, които да направят правителствените дейности и програми ефективни; Използване на алтернативни подходи за постигане на по-добро изпълнение или отстраняване на фактори, които пречат на ефективността на програмата.