Presentación con audio, modulo II, Evaluación de diseño

En esta ocasión comparto la evaluación de diseño que realizo al programa PRONABES. En la siguiente liga pueden consultar el Prezzi: 

http://prezi.com/iltasd81agmc/?utm_campaign=share&utm_medium=copy

Becas Nacionales para la Educación Superior (propuesta de evaluación)

Necesidad que atiende el programa

El Programa Nacional de Becas fue una iniciativa de la Secretaría de Educación Pública para coadyuvar al cumplimiento a los derechos que establece el artículo 3º constitucional para los niños, jóvenes y profesores de México.

Su objetivo es contribuir a asegurar la obertura, inclusión y equidad educativa entre todos los grupos de población para la construcción de una sociedad más justa, mediante el otorgamiento de becas a estudiantes y profesores de instituciones públicas de cualquier tipo educativo o rama de profesionalización que permitan consolidar un México con educación de calidad[1].

Componentes del programa

Cobertura: Nivel Nacional

Población Objetivo: El programa se dirige a estudiantes y docentes de instituciones educativas públicas de todos los tipos educativos, especificándose en cada beca las características sociales, económicas y académicas de la población a la cual van dirigidos los apoyos, sin distinción de género, condición física, social, cultural o étnica, incluyendo en todo momento una perspectiva de género evitando las desigualdades económicas, culturales y sociales entre mujeres y hombres.

Las becas que administra la Subsecretaria de Educación Superior de la SEP se dividen de la siguiente forma:

1. Manutención
2. Transporte
3. Salario
4. Capacitación
5. Excelencia 
6. Manutención para hijas e hijos de militares
7. Movilidad
8. Servicio social
9. Superación profesional
10. Titulación
11. Vinculación

Cada beca es mutuamente excluyente, excepto excelencia, y tiene distintas temporalidades y características.  

Diagnostico Situacional

Diversos análisis tendientes a probar progresividad en el gasto público proponen preguntas como si los pobres son los más favorecidos del gasto y si esos beneficios dependen del acceso a los servicios que ofrece el estado.

Servicios como el acceso a la salud pública y la educación son el tema sobre el cual algunas discusiones se enfocan por considerarles fundamentales para el desarrollo del individuo incluyendo su participación en lo social.

La evidencia al respecto indica que en el caso mexicano son las zonas urbanas, o las localidades más grandes, aquellas donde los servicios públicos se encuentran más concentrados.

Por otro lado, resulta alarmante a su vez, que el costo de oportunidad relacionado con el trabajo sea el estudio, lo que significa que la mayoría de las veces, estas dos acciones son mutuamente excluyentes.

La universidad, es para muchas familias la inversión más grande en desarrollo humano que realizan, ésta incluso llega a sustituir a las herencias u otras transferencias que pudiesen recibir los hijos de sus padres.

Algunos textos que analizan la educación, consideran que las variables que pueden explicar el progreso educativo de un individuo son: la edad de la persona,  el número de hermanos, la jefatura del hogar, el ingreso del jefe del hogar, la localización, el sexo y, por supuesto, el desempeño académico.

Sin embargo analizar la problemática a nivel de hogar requiere que las variables anteriores sufran una transformación. De tal forma se considera que la probabilidad de que existan educandos en nivel superior en un hogar determinado puede estar explicado por:

1.       La educación del jefe del hogar: Se cree que quien aprueba o desaprueba que un integrante de un determinado hogar se eduque, es quien aporta la principal fuente de ingresos, en este caso, el jefe del hogar. El jefe del hogar, es quien “evalúa”, según su propia formación, las ventajas o desventajas de una vida educada para los que comparten el gasto en alimentos dentro del hogar.

2.       Tamaño de la localidad: debido a que a mayor tamaño de la localidad mayores opciones de oferta educativa.

3.       Total de integrantes en el hogar y menores en el hogar: se especula que mientras mayor sea el número de personas que viven en un hogar, la probabilidad de que haya un universitario entre ellos es menor. Esto debido a que los gastos de varias personas pueden requerir que los jóvenes trabajen en vez de estudiar.

4.       Perceptores de ingreso en el hogar: Mientras mayor sea el número de perceptores de ingreso en el hogar, se cree que mayor será la probabilidad de que existan universitarios en él.

Los programas de becas, especialmente los que tienen como población objetivo a estudiantes de nivel medio superior o superior hoy en día tratan de reducir la brecha (el costo de oportunidad) entre el trabajo y el estudio, es por eso que las becas ahora cubren no solo la manutención sino otros costos relacionados con el estudio, como son: la movilidad, los materiales y la comunicación.

Preguntas de evaluación

a.       ¿El problema que atienden las becas de nivel superior se encuentra bien definido?

b.       ¿El otorgamiento de becas ha tenido éxito en reducir la brecha entre el trabajo y el estudio de los jóvenes?

c.        ¿Los beneficios de programas de becas de educación superior siempre benefician a los hogares con menores ingresos?

---

[1]Objetivo General. (ACUERDO por el que se emiten las Reglas de Operación del Programa Nacional de Becas, 2013)

ENTRADA 5: La importancia del Marco Normativo para la Evaluación en México

La importancia del Marco Normativo para la evaluación radica en asignar responsabilidades a los ejecutores de programas o políticas públicas, su mayor aportación es asegurar que los ejecutores brinden evidencia que posibilite, en primera instancia, una mejor gestión, y posteriormente evaluar los resultados.

Los mayores aportes de la normatividad los resumo debajo:

La Ley General de Desarrollo Social (LGDS) en su título quinto, capitulo primero expone las características que debe poseer una evaluación:

·         Instancias obligadas a proporcionar información y facilidades: Dependencias de los tres niveles de gobierno y demás ejecutores de programas,

·         Indicadores de: resultados, gestión y servicios para medir su cobertura, calidad e impacto.

·         Alineación con la Política Nacional de Desarrollo Social

·         Periodicidad: anual principalmente

·         Publicación de resultados de las mismas: en el Diario Oficial de la Federación, y su entrega a la cámara de diputados, senadores y a la SEDESOL,

En su capítulo segundo, la Ley establece la creación y las facultades del CONEVAL. Estas son: medir la pobreza y normar la evaluación de los programas que ejecuten las dependencias públicas.

El Reglamento de la LGDS establece:

En su artículo 12: El contenido del Programa Nacional de Desarrollo Social, entre sus características destaca que el PNDS debe dar cuenta de la participación de la sociedad civil en evaluaciones.

En su artículo 16: Características de un Padrón de Beneficiarios, que entre otras cosas tiene la función de evitar duplicidades en los apoyos. Este elemento es particularmente útil para la medición de impacto.

En su capítulo XI: Define la rectoría  y los alcances de la evaluación de los programas y políticas por parte del CONEVAL.

ENTRADA 4: Evaluación integral de los programas y políticas públicas

Como se ha revisado con anterioridad, la evaluación es un proceso constante que se lleva a cabo sobre las políticas o programas (que atienden problemáticas) y los efectos que estas tienen con los recursos que se le asignan.

Para el evaluador con visión integral es importante considerar que no solo se trata de mitigar en lo inmediato la situación de la población objetivo, sino también, tener una visión de mediano y largo plazo que permita que la brecha entre la población potencial y la objetivo se reduzca.

Pero ¿Cómo entonces se realiza una evaluación integral?

Desde mi humilde interpretación, los expertos en el tema coinciden en que la evidencia es la materia prima de cualquier esfuerzo de evaluación. La evidencia del problema, del contexto de la población objetivo, de la cobertura, de la planeación y diseño del programa, de la implementación, de los procesos, de la toma de decisiones, de los resultados, de los impactos mismos, entre otros; permite que, teniendo en cuenta nuestros criterios, establezcamos márgenes de movilidad para los alcances de una política o programa, es decir, nos permiten saber cuándo (y por cuanto) estamos por debajo o por encima de alguna situación deseada en cualquier momento del programa.

La evaluación integral, por lo tanto, brinda evidencias que permiten que la toma de decisiones mantenga constantes o incremente las situaciones deseadas sobre la población objetivo, logrando así que el programa alcance los fines que se propone.

ENTRADA 3: Los sistemas de evaluación del desempeño como Barómetro de las Políticas Públicas

Los Sistemas de Evaluación del Desempeño (SED) se basan en la lógica vertical de la matriz de marco lógico, misma que evita que se pierda de vista el objetivo de una política.

La matriz deviene de los árboles del problema y de su antónimo, el árbol de objetivos, los cuales son una herramienta de identificación tanto de causas como de efectos de ciertos fenómenos.

Esta metodología ha sido adaptada por la SHCP en México y convertida en lineamientos para la planeación de programas sociales. Hoy en día, las dependencias y demás obligados deben registrar los elementos de sus respectivos programas presupuestarios en el Portal Aplicativo de la Secretaria de Hacienda (PASH), posteriormente la SHCP publica esta información en el portal de Transparencia Presupuestal, permitiendo así, que la sociedad en general pueda aprovechar esta información y nutrir el proceso de evaluación con opiniones.

ENTRADA 2: Planeación y PBR

La definición de un problema para el diseño de una política que lo atienda es fundamental. De acuerdo al profesor Merino, cuando cita a Giandomenico Majone (quien hace una analogía entre los programas de investigación científica con el diseño de una política) esta planificación requiere de: Un Núcleo Duro, que contiene la explicación causal del problema; y un Cinturón de Protección, que es la parte flexible y adaptable. 

Sin embargo, también reconoce, que en los problemas sociales al ser tan complejos y no poder ser reproducidos en laboratorios (como es en el caso de las ciencias naturales), dependen en gran medida de la comparación para poder ser investigados y explicar sus causas. Mientras mejor definidas se encuentren las causas del problema social, mejor se entenderán los efectos y, por lo tanto, mas efectivos serán los objetivos de la política. 

El Presupuesto Basado en Resultados, es un incentivo para que a través de mejores diseños de política evaluados por SHCP sea posible que los ejecutores mejoren su presupuesto. La idea fundamental es favorecer a las políticas con mejores diseños en decremento de aquellas que no lo tengan o que hayan perdido de vista el NÚCLEO de su problema.

ENTRADA 1. La Evaluación como tema del Interés Público

La Política es definida por la RAE como “una orientación o directriz que rige la actuación de una persona o entidad en un asunto o campo determinado”; Política Pública podría definirse entonces como una intervención deliberada del estado para atender una problemática que se reconoce del interés publico.

Dado que los recursos con los que funciona el Estado en un contexto democrático provienen de la recaudación y deben servir al pueblo, es menester que los recursos se gasten de tal forma que se optimicen sus resultados, es decir, que a través del diseño adecuado de política se intente resolver lo mas posible utilizando lo menos posible. Así, el costo de oportunidad de llevar a cabo un esfuerzo no se traduciría en abandonar o limitar algún otro.

Sin embargo, la pregunta que considero más importante en este tema es: ¿Cómo sabemos si las políticas tienen los efectos esperados?. Y la respuesta que el mainstream en el tema provee es: Evaluándolas.
La evaluación obtiene sus insumos principales de la evidencia de llevar a cabo el programa, en cada una de sus etapas, y la técnica; las cuales, interactuando, brindan los elementos de análisis para determinar si una política cumple con los objetivos establecidos en la planeación de la misma o no.

Temas como la evaluación y la transparencia cobran importancia a partir de un mayor involucramiento de la ciudadanía organizada en la toma de decisiones, lo anterior derivado de la opacidad que envolvía a las decisiones de estado años antes y a la falta de datos que permitiera conocer si las políticas emprendidas entonces habían tenido los resultados que de estas se esperaban.

No obstante el avance y la importancia de la evaluación en el contexto actual de planificación de políticas, esta sigue teniendo grandes retos, entre los cuales se encuentran:

• Incrementar el aprovechamiento que la población le da a esta información, ya que mientras mas se generalice, mas importante se volverá, y
• Hacer llegar la metodología de evaluación a temas que todavía se resisten como lo seria la Seguridad Publica y la Impartición de Justicia, en las cuales, se centran las peticiones mas importantes de la sociedad Mexicana en la actualidad.