Equipo de alto rendimiento en evaluación de políticas públicas de la Junta de Andalucía

Descripción corta:

Se trata de la experiencia colaborativa de un grupo de unas cincuenta personas que, pertenecientes a diversas provincias andaluzas, con perfiles profesionales y académicos diferentes y procedentes de todas las Consejerías, han colaborado voluntariamente con el IAAP en el impulso de la Evaluación de Políticas Públicas desde abril de 2016.

Fecha de elaboración del texto:

Enero de 2018.

Autor: Maria del Mar Herrera Menchén

Administración / Proveedor que lo propone: Junta de Andalucía.

Área responsable del proyecto: Instituto Andaluz de Administración Pública.

Estado del Proyecto / Caso en la fecha del alta: En ejecución.

Carácter innovador:

Problemática:

Solución planteada:

El grupo de personas colaboradoras de la EPP se inició, en abril de 2016, con cuarenta personas. En estos momentos (enero 2018), el IAAP cuenta con un grupo de treinta y siete profesionales participando activamente. A lo largo de estos dos años han colaborado un total de sesenta personas, aunque ha habido bajas por una u otra razón. Las razones esgrimidas, han sido falta de tiempo o dificultades para combinarlo con su trabajo, pero también intuimos que en algunos casos no se habían cubierto sus expectativas. La continua renovación del grupo es debida a que se mantiene una política de captación constante, por lo que el grupo siempre se ha mantenido en torno a las treinta y cinco o cuarenta personas.

Al inicio, cuando se realizó la convocatoria abierta y masiva a todo el personal con titulación superior, nos dirigimos a personas que ya tenían conocimiento y/o experiencia en cualquier tema relacionada con la EPP. Por eso, llegaron compañeros y compañeras de la inspección, auditoria, calidad, etc., un número amplio con una gran trayectoria, así como con formación postgraduada, incluso con colaboraciones en la universidad. Posteriormente, se han ido incorporando personal más joven, quizás con menos conocimiento del tema, pero con mayor creatividad, ímpetu y ganas de aprender.

Las personas del grupo proceden de casi todas las provincias. Siendo la mayoría procedentes de centros directivos ubicados en Sevilla, donde se encuentran más de la mitad del personal funcionario de la Junta de Andalucía. Además, proceden de casi todas las Consejerías. Incluso una funcionaria de la Junta que actualmente trabaja en la Diputación de Granada, también forma parte del grupo. Ello es importante, pues se buscaban personas de todas las áreas de trabajo.

En los siguientes gráficos, se describe el perfil del grupo de personas colaboradoras:

 

Como se puede observar en el siguiente gráfico, hay un mayor número de profesionales del grupo procedentes de la Consejería de Salud. Ello es debido a que es este sector el que en Andalucía tiene una mayor práctica y formación de sus profesionales en temas de evaluación.

 

El personal que conforma el grupo es muy diverso en sus titulaciones universitarias, lo que sin duda es muy importante para el enfoque interdisciplinar que se necesita. En cuanto a los puestos desempeñados por quienes participan actualmente, podemos ver en la siguiente tabla que corresponden a todos los niveles de responsabilidad del perfil técnico superior, destacando la participación activa de personas con alto grado de responsabilidad, algunas de las cuales llevan en el grupo desde el inicio.

Detalles de la solución:

La colaboración se plantea como un trabajo puntual, temporal y que suponga una colaboración a tiempo parcial que tiene que compaginarse con su trabajo principal y que requiere de la autorización del superior jerárquico.

Hasta el momento las personas del grupo han desempeñado múltiples tareas:

• Colaborar en el diseño de evaluaciones: aportando perspectivas teóricas y metodológicas, elaborando preguntas de evaluación y proponiendo técnicas y estrategias de recogidas de información.
• Diseñar técnicas e instrumentos de recogida de información para un proceso de evaluación determinado.
• Realizar análisis de datos recogidos por una determinada técnica de evaluación Acudir a sesiones de trabajo para el seguimiento de un proceso de evaluación.
• Realizar informes de evaluación en los que se analizan datos, se llegan a conclusiones y se establecen recomendaciones.
• Acudir a reuniones para formarse y compartir experiencias con otras personas de la administración en materia de EPP.
• Evaluar un plan o programa: analizar si es evaluable documentándose, estableciendo la lógica del programa, analizando los datos, etc.
• Analizar la evaluabilidad de un plan o programa para saber si se puede ser evaluar.
• Colaborar en la formación del personal de la Junta como dinamizador o docente.
• Elaborar manuales, guías, protocolos de evaluación.
• Asesorar como personas expertas en determinados procesos de evaluación.
• Colaborar en investigaciones evaluativas que ponga en marcha el IAAP.
• Ayudar en la difusión de la EPP y específicamente colaborando en el impulso de la red profesional, el portal de noticias de la EPP y siendo activos en redes sociales con los temas y noticias de la EPP.
• Asesorar como personas expertas en la construcción de soportes de difusión como vídeos y folletos.

Además de ello, se adscriben como personas evaluadoras a los proyectos de evaluación que se ponen en marcha en función de su perfil así como actuarán como evaluadores/as de buenas prácticas.

ETAPAS DE DESARROLLO DEL GRUPO

El sistema de trabajo se ha basado en establecer dos elementos esenciales en la colaboración: la participación en la reunión trimestral del grupo (una jornada de trabajo colaborativo de un día completo cada tres meses) y la adscripción a un subgrupo de trabajo en el que se colabora en la elaboración concreta de algo y con un objetivo concreto. El subgrupo, debe trabajar sobre todo telemáticamente, pero ha requerido, en algunos casos, reuniones presenciales.

En un esfuerzo por determinar la metodología de trabajo que hemos implementado, se detallan algunos pasos esenciales (si bien no se hayan dado tan linealmente como se explican):

• Etapa de captación

Aunque como hemos dicho antes, la captación en este grupo es continua, y ello es esencial para su supervivencia, algunos elementos claves de la captación inicial fueron:

• Difusión con infografía en un correo masivo a las 10.200 personas que ocupan puestos técnicos de tipo superior y de grado medio de la Junta de Andalucía, fueran cual fuera su puesto de trabajo y ubicación. Queríamos huir de trabajar únicamente con los contactos previos.
• Respuesta personalizada a las 400 personas que solicitaron más información y al mismo tiempo, solicitud datos de su perfil.
• Recepción datos y análisis de los 178 que enviaron datos para la selección.

 

• Información previa y selección

Antes de la selección se realizó una reunión informativa en Sevilla (6/04/2016) a la que acudieron unas 100 personas. Se ofreció por streaming y en nuestro canal youtube para que se pudiera acceder desde cualquier sitio y sin problemas con el horario. En ella se explicó con más detalle lo que se estaba buscando con el personal colaborador de la EPP por parte del director del IAAP y la responsable del Área y se atendió preguntas y dudas. El objetivo era que las personas interesadas tuvieran claro la demanda que se les estaba haciendo, ya que iba a suponer un esfuerzo.

El ofrecimiento que se les hizo a cambio de su colaboración fue:

• La inclusión en un grupo de personas con alta motivación para la mejora de la Organización.
• Formación específica en materia de evaluación de políticas públicas.
• Aprender-haciendo, para quienes colaboren en proyectos específicos de evaluación.
• Certificación de su colaboración.
• Visitas técnicas.
• Dietas de desplazamiento.

Se seleccionaron cuarenta personas, donde primó aquellas con más competencias y experiencia así como con formación específica en EPP. Así mismo se tuvo en cuenta que el grupo fuera diverso en titulaciones y procedencias. El grupo debía contemplar la diversidad de las áreas de la organización.

• Primera reunión

A partir de ahí, se convocó a las primeras personas colaboradoras a una reunión el 28 de abril de 2016. En ella se les dio información estratégica de a dónde se quería llegar y se les propuso trabajo en subgrupos relacionados con la estrategia. La adscripción al subgrupo fue voluntaria, aunque hubo que reorganizarlo entre sus primeras prioridades. Asimismo, se trabajaron las expectativas y se organizó un sistema de comunicación: correos, teléfono y grupo cerrado en Red profesional.

• Inicio del trabajo grupal

Tras la reunión inicial comenzó el trabajo de los subgrupos. Algunos de ellos empezaron a ser autónomos muy pronto, pero la mayoría, en esta primera etapa, necesitó recordatorios y contactos directos por parte de la coordinación del proyecto para aclaración de tareas, compromisos, sistemas de trabajo, etc.

Muy importante a nuestro juicio fue contar con una persona coordinadora en cada subgrupo, ya que la comunicación desde la coordinación del proyecto se vehiculó a través de ellas.

Cada subgrupo establece sus propios tiempos de trabajo y ritmo. Pero a todos se les pide que realicen un plan de trabajo básico en el que se contemplará una serie de entregas o productos trimestrales coincidiendo con las reuniones presenciales donde deben exponer al gran grupo sus avances.

• Seguimiento y coordinación de los trabajos de los subgrupos

Durante todo este tiempo ha sido crucial el seguimiento, apoyo y asesoramiento de cada grupo, pero sobre todo en la primera etapa, ya que el proyecto estaba todavía muy en el aire. Por eso, se realizan reuniones presenciales, cuando era necesario, con los subgrupos en la que algunos componentes participan a través de conferencias virtuales.

La captación continua está teniendo como fuentes principales el propio personal colaborador, pero también se realiza captación a través de la red profesional interna. Ha habido también nuevas incorporaciones tras la Jornada realizada en octubre de 2017.

En las reuniones con los subgrupos se aclaran los compromisos, se ponen límites a las tareas en función de los tiempos y recursos, se acotan las expectativas y se recuerda la estrategia global.

El enfoque de los subgrupos se basa en que puedan producir algo que sea de provecho para el resto del grupo, para las personas interesadas en la EPP o para la organización. Pensamos que estos productos y resultados tangibles (ej.: un documento de trabajo, un guion de un video, un manual, una guía, una base de datos, etc.) permiten a las personas sentirse motivadas pues pueden ver su participación en los logros generales. Por eso, se cuida el reconocimiento del grupo no sólo con las autorías de los manuales si no en cualquier evento.

• La Red profesional: comunicación y transparencia
  

Se ha primado todo este tiempo tanto la comunicación con cada persona vía correo o teléfono como la grupal a través de nuestra Red profesional de comunicación virtual que permite la configuración de grupos abiertos a todo el personal de la Junta de Andalucía (donde realizamos nuestra difusión) como grupos de trabajo cerrados para temas concretos.

El intercambio de ideas entre los subgrupos y entre todo el grupo, se promovió a través de Red profesional, pero al inicio hubo muchas resistencias a utilizar esta nueva herramienta. Tras una sesión formativa de una hora y media en la segunda reunión y un compromiso común de esfuerzo, esta herramienta empezó a ser utilizada con mayor frecuencia.

En la Red contamos con dos grupos:

• El grupo abierto de EPP al que puede acceder cualquier empleado público. En él informamos de la evolución del grupo, sus productos, la formación, etc. Pero sobre todo se utiliza para detectar personas interesadas, abrir debates, intercambiar información, captar futuros miembros del grupo y estar abiertos a los intereses y necesidades de la Organización. Se pueden hacer encuestas, publicar eventos o abrir blogs.
• El grupo de evaluadores y evaluadoras es cerrado y está conformado por quienes han pasado por el Grupo de colaboradores y colaboradoras. Aquí la información es más intensa, se producen debates internos, se realizan subgrupos de trabajo para cada tema.

• Reuniones trimestrales

Como hemos comentado un elemento esencial de nuestra metodología, que ha dado solidez al grupo, han sido las reuniones presenciales en Sevilla, cada tres meses. Dada las dificultades para el trabajo virtual (algunos subgrupos estaban conformados por personas de distintas provincias) y a que aún el grupo de colaboradores no estaba cohesionado, estas reuniones han servido para la discusión teórica y práctica, la organización, el establecimiento de normas de organización acordadas, establecimiento de prioridades, recogida de intereses, restablecimiento de compromisos en función de la realidad, detectar necesidades del grupo, etc. etc.

Algunas claves para que estas reuniones sean efectivas son: envío del orden del día al menos 20 días antes; dirección de la reunión para poder cumplir con los objetivos; cada grupo presenta lo que ha hecho en el último trimestre y espacios para el debate y aclaración de dudas.

En algunas de ellas se han traído formadores/as, personas expertas de la Comisión Europea e incluso la propia Consejera de Hacienda y Administración Pública.

• Formación

Otro de los elementos claves para que el grupo se haya consolidado en la formación que ha ido adquiriendo y el desarrollo de un lenguaje común. Para ello, se ha apoyado a doce personas a la realización de un curso de Experto de la Universidad de Sevilla, y todas las personas del grupo han recibido formación especializada.

Algunas de las personas colaboradoras han sido formadoras de cursos de nivel inicial y otras están preparando el contenido del MOOC que iniciaremos después del verano o serán dinamizadores del mismo.

Las reuniones presenciales también han sido fuente de intercambio de experiencia y conocimientos entre los miembros del grupo.

Ventajas:

RESULTADOS DEL GRUPO DE TRABAJO DE PERSONAS COLABORADORAS

Los principales resultados del grupo de trabajo han sido los siguientes:

• Evaluación Ex ante de la Estrategia de Impulso de Sector TIC 2020

¿Qué hemos conseguido?

Diseño y desarrollo de evaluación ex ante de la Estrategia de Impulso de Sector TIC 2020, estrategia de la Consejería de Empleo, Empresa y Comercio, evaluada por el Instituto Andaluz de Administración Pública.

Esta evaluación se planteó como un proceso en paralelo a la elaboración de la Estrategia de acompañamiento y ayuda a la concreción de la misma, de forma que la mejora aportada permitiera su evaluabilidad, cumpliéndose siempre los criterios y valores del documento marco de Evaluación de Políticas Públicas de la Junta de Andalucía: participación, transparencia, eficiencia, innovación, aprendizaje y rendición de cuentas.

¿Cuál ha sido el papel de las personas colaboradoras en el resultado obtenido?

La evaluación ex ante realizada contó con la participación de seis personas del grupo de personas evaluadoras: dos con rol evaluadoras y cuatro colaboraciones puntuales a lo largo del proceso de diseño de evaluación y en la redacción de informes.

• Elaboración colaborativa de manuales y guías de evaluación

¿Qué hemos conseguido?

Se han elaborado los siguientes manuales, publicados en octubre de 2017:

• Manual para la Elaboración de Planes Estratégicos de Políticas Públicas en la Junta de Andalucía. Disponible para descarga en: http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/manualplanesextrategicos.pdf
• Guía para el análisis de evaluabilidad previa de los planes de carácter estratégico. Disponible para descarga en: http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluabilidad.pdf
• Guía de Evaluación Ex Ante de Políticas Públicas. Disponible para descarga en: http://www.juntadeandalucia.es/institutodeadministracionpublica/institutodeadministracionpublica/publico/anexos/evaluacion/guiaevaluacionexante.pdf

¿Cuál ha sido el papel de las personas colaboradoras en el resultado obtenido?

La autoría de cada documento es triple: autoría principal, personas colaboradoras y la responsable del Área de Evaluación de políticas públicas que actuaba como coordinadora. Los grupos de autores/as y colaboradores/as han creado una dinámica de aportaciones y discusión que han enriquecido sin duda, el resultado final, demostrando a lo largo de su elaboración que, este ejercicio de reflexión conjunta y compromiso compartido, es muy eficiente. En total, 18 personas del grupo han colaborado activamente en ellos. Además, los manuales fueron revisados por el resto del grupo de colaboración de la EPP.

Es importante señalar que la apuesta por realizar los manuales y guías de forma interna, en vez de acudir a especialista, ha sido una decisión consciente que pretendía: poner en valor el conocimiento y experiencia existente en la organización, ser un medio para trabajar en común en la producción de materiales que pudieran ser útiles a todos los organismos, fuera cual fuera su materia de trabajo y, por último, elaborar unos materiales con un lenguaje adaptados al público a los que se dirigen a la vez que adaptado al contexto de nuestra administración.

La elaboración colaborativa de los manuales ha supuesto, además de una gran oportunidad (para los que hemos colaborado más intensamente) para aprender de los demás, estudiar los que otras personas expertas de fuera opinaban y realizar un esfuerzo de flexibilidad a los otros campos y disciplinas así como a la experiencia de trabajo de cada uno/a.

• Celebración de las I Jornadas de Evaluación de políticas públicas de la Junta de Andalucía

¿Qué hemos conseguido?

Estas Jornadas se celebraron el pasado 19 de octubre y asistieron un total de 170 asistentes. De ellos el 66% era personal directivo (nivel superior a 26).

La valoración de las Jornadas se sitúa en 8,4 sobre 10. Se destacó que se cumplió el objetivo de visualizar la Estrategia de Impulso de la Evaluación en la Junta de Andalucía. Aunque se sugirió incluir nuevos formatos más prácticos.

¿Cuál ha sido el papel de las personas colaboradoras en el resultado obtenido?

El grupo de personas evaluadoras jugó un papel crucial en la organización y desarrollo de las Jornadas.

Las Jornadas fueron organizadas por un subgrupo de trabajo del grupo de personas evaluadoras, teniendo un papel fundamental en la organización. Las mesas de las Jornadas fueron “Metodologías de evaluación” y “Experiencias de evaluación” fueron moderadas por personas colaboradoras del grupo de evaluación.

• Portal de noticias Scoop.it y presencia en redes sociales

¿Qué hemos conseguido?

Difundir de forma diaria noticias mundiales relacionadas con la evaluación de políticas públicas. Para ello se ha utilizado el portal web Scoop.it, que es una herramienta que permite seleccionar y curación de contenidos así como la clasificación de acuerdo a categorías previamente definidas por los usuarios, a la que se puede acceder a través de la siguiente URL: https://www.scoop.it/t/evaluacion-de-politicas-publicas. Asimismo se ha creado una cuenta en twitter: @EPP_JdA

¿Cuál ha sido el papel de las personas colaboradoras en el resultado obtenido?

Tanto el portal de noticias de evaluación de políticas públicas alojados en scoop.it, asi como el perfil de twitter, son gestionados directamente por integrantes del grupo de personas evaluadoras, estableciendo turnos para su GESTIÓN Y DIFUSIÓN.

• Banco de Buenas Prácticas de Evaluación de Políticas Públicas

¿Qué hemos conseguido?

Se ha diseñado un banco de buenas prácticas de evaluación en políticas públicas para recoger y poner en valor las prácticas de evaluación que ya se realizan en nuestra comunidad.

¿Cuál ha sido el papel de las personas colaboradoras en el resultado obtenido?

El banco de buenas prácticas ha sido diseñado por un subgrupo que diseñó el sistema, elaboró las fichas de recogida de datos, el sistema de valoración y son los que se ocuparán ahora tanto de la captación de buenas prácticas como de la evaluación de las mismas.

Financiación:

Pública

Logros, aprendizajes, dificultades y retos de futuro:

El proyecto del Grupo de Personas Colaboradoras, que hemos descrito en estas páginas nace del compromiso político de la Junta de Andalucía de desarrollar y consolidar un sistema de evaluación de políticas públicas, entendiendo la evaluación, no como control de la legalidad, sino como un instrumento para saber si las políticas son eficaces y mejoran la realidad social para la que fueron creadas (ex post) o si son las más adecuadas para resolverlo (ex ante).

Esta apuesta política de impulso de la evaluación de políticas públicas, que bien podría haber sido implementada exclusivamente a través de contratos con consultoras o convenios con la Universidad, estratégicamente y de forma innovadora, se decidió llevarla a cabo contando con los saberes, experiencia, habilidades y saber hacer de los empleados y empleadas públicas de la Junta de Andalucía a través de un proceso colaborativo, un trabajo en red, una postura decidida por la capacitación y desarrollo de talento y un liderazgo colectivo y participativo.

El principal logro conseguido, a pesar de las dificultades a las que también haremos referencia, es que esta innovadora forma de trabajo colaborativo e interdisciplinar, no sólo es posible, sino que ha arrojado unos excelentes resultados. La experiencia está siendo inigualable, hemos contado con personas a las que hace dos años no conocíamos y con las que ahora nos une un proyecto común e ilusionante. Sin duda, el trabajo colaborativo ha sido esencial para poder extraer lo mejor de cada persona y ponerlo al servicio del proyecto común, así como haber creado un lenguaje y discurso común en torno a la evaluación de políticas públicas.

Los principales aprendizajes en estos casi dos años de andadura del proyecto han sido los siguientes. Por una parte, lo que está demostrando esta experiencia es que, si a los profesionales de la administración se les da la oportunidad de aprender a trabajar juntos para la mejora de la organización, siempre se encuentran personas motivadas y dispuestas. Asimismo, un segundo aprendizaje ha sido la necesidad de ser flexible, pues no es fácil trabajar colaborativamente, siendo necesario estar abiertos a otras ideas de los demás, así como querer aprender de otras personas.

Como se ha comentado anteriormente, y como no podría ser de otra manera, el proyecto también ha tenido diversas dificultades: resistencia por parte de algunas personas empleadas públicas a una nueva forma de trabajo no jerarquizada y en red, sobre todo en la primera fase de creación del grupo; salidas de personas del grupo por varios motivos, que ha sido compensada por nuevas entradas y por la continua labor de captación así como la dificultad de conciliación del trabajo de evaluación propiamente dicho con las responsabilidades que cada persona empleada pública realiza en su puesto de trabajo.

Los retos de futuro del grupo de personas colaboradoras en la evaluación de políticas públicas son numerosos. Los retos que a continuación se detallan, se han extraído de la última reunión trimestral de 2017, espacio donde se realizó una evaluación del funcionamiento del grupo y del proyecto en cuestión:

• Definir un mapa competencial de las personas evaluadoras.
• Realizar una campaña de comunicación de la evaluación de políticas públicas
• Realizar las segundas jornadas de evaluación de políticas públicas.
• Aumentar el grupo de personas evaluadoras.
• Incentivar a las personas colaboradoras.
• Diseño y desarrollo de un MOOC en materia de evaluación de políticas públicas.
• Obtener más planes susceptibles de ser evaluados de forma ex ante o de realizar análisis de evaluabilidad.
• Reconocer y premiar buenas prácticas de evaluación de políticas públicas.
• Desarrollar la transversalidad de género como un elemento clave en la evaluación de las políticas públicas.

Personas de contacto en el proyecto:

• Maria del Mar Herrera Menchén

Cargo: 

Responsable del Área de Evaluación de Políticas Públicas.

Teléfono:

955 04 23 26

Correo electrónico: 

mar.herrera@juntadeandalucia.es

Dirección:

C/Torneo, 26. Sevilla. 41002.