La Evaluación de Impacto Aplicada a los OPE 

C. 

1.Criterios para diferenciar metodologías 

Al igual que cualquier metodología de evaluación, los distintos procedimientos utilizados para evaluar los OPE y sus programas pueden ser agrupados y analizados según diferentes criterios generales.

Entre ellos están: el nivel de análisis (macro, meso o micro), el tipo de análisis (descriptivo, analítico, explicativo o causal), el horizonte temporal (corto, mediano y largo plazo) y el corte temporal (longitudinal, transversal o ambos).

También se puede diferenciar entre el tipo de información analizada (cuantitativa, cualitativa). El momento en que se realiza la evaluación (ex ante o ex post), el agente que realiza la evaluación (interna, externa) y la disciplina científica que origina la metodología (economía, sociología, sicología).

La evaluación se puede definir también a partir del quehacer propio de un organismo o programa de fomento, diferenciando los temas a evaluar (diseño del organismo, cumplimiento de metas, el impacto de un programa) y el foco de la evaluación (los insumos, los servicios, la eficacia y el impacto). Diferenciar si la metodología de evaluación se concentra en los insumos, los servicios.

La eficacia o el impacto del OPE permite efectuar una primera agrupación de las metodologías de evaluación OPE:

• Cuando la evaluación se centra en los recursos o insumos del OPE. Se busca responder a la pregunta si el organismo dispone de los medios para desarrollar sus tareas y cómo éstos han ido evolucionando116. Por tanto se analizan los recursos disponibles (materiales y humanos) y los niveles de prestaciones que posibilitarían.
  
  
• Cuando la evaluación se centra en los productos o los servicios entregados por el OPE. Se busca evaluar la cantidad, la cobertura y la calidad de los servicios prestados. En una primera etapa se requiere precisar los servicios y su cobertura. Mientras que, en una segunda, su calidad y pertinencia, lo que es posible básicamente mediante el análisis de documentos y el uso de encuestas de satisfacción de usuarios.
  
  
• Cuando se analiza la relación entre los insumos y los servicios se puede evaluar la eficacia. Para ello generalmente se construyen indicadores relacionados con la efectividad de los programas implementados. Por ejemplo, se pueden considerar costo por microempresario capacitado en comercio exterior y su evolución en el tiempo o número de pymes atendidas por cada agente.
  
  
• Cuando la evaluación se centra en el impacto se busca medir el efecto real del OPE y sus programas. En este caso se requiere definir un programa de evaluación y generar o contar con información de series de tiempo. Para las variables dependientes e independientes, ya que se busca establecer relaciones de causalidad. Se pueden aplicar metodologías macroeconómicas. Cuando se intenta medir el impacto en los flujos comerciales y el ingreso nacional, o de tipo microeconómica, cuando se busca evaluar el impacto de los programas en las empresas.

Al revisar las metodologías utilizadas para evaluar los OPE, se advierte que las herramientas usadas son similares a las empleadas para valorar otros tipos de organizaciones y programas. La bibliografía revisada permite diferenciar cuatro tipos principales:

1. Primero, Análisis económico comparativo de un conjunto de países.
2. Segundo, Análisis de marco lógico, de cumplimiento de objetivos y de metas institucionales117.
3. Tercero, Análisis de entrevistas y encuestas a los usuarios.
4. Cuarto, Análisis de impacto con instrumental econométrico (técnicas experimentales y cuasi experimentales).

En el cuadro 29 se presenta el resumen de las diferentes metodologías, identificando en cada una de ellas sus ventajas y desventajas. Se agrega un ejemplo que identifica el autor y, en algunos casos, el universo en que fue aplicado.

Estas herramientas son complementarias y pueden ser aplicadas de manera combinada. Por ejemplo, puede realizarse un estudio comparativo agregado. Mediante la aplicación de una encuesta a los representantes de los países sobre la evolución del país y sobre los programas de promoción, ordenar las respuestas como estudio de panel y analizar el impacto mediante técnicas econométricas, que combinen los métodos de diferencias en diferencias y matching.

De hecho, en muchos estudios se recurre a una combinación de metodologías. Como se observa al analizar en profundidad los estudios concretos. A continuación, se profundizará en las evaluaciones de impacto de los OPE, ya que es el tipo de evaluación más utilizada. Tal como se explicó en el cuadro 29, cuenta con una variedad de combinaciones posibles en el uso de instrumentos técnicos, las que se han divido en seis grupos para facilitar su mejor entendimiento.

2. Fundamentos y esquemas para la evaluación de impacto

 Dado que los recursos del Estado son limitados, se requiere evidencia sobre si los OPE logran sus objetivos. Una evaluación de impacto rigurosa puede demostrar si un programa funciona, por qué funciona y mensurar con precisión el impacto cuantitativo en la variable que se quiere modificar.

De esta forma, permite generar información sobre las mejoras que se requieren en los programas y en su implementación. Destinada a los hacedores y aprobadores de políticas; información sobre el diseño del programa. Para mejorar las operaciones y la eficiencia, e información que puede ser útil para la sostenibilidad del programa y un valioso activo en la negociación de los presupuestos.

La evaluación de impacto también puede ser la fuente de información confiable para suministrar a la opinión pública. La falta de información fiable sobre los efectos de muchos programas de apoyo es una zona con importantes lagunas y merece la máxima prioridad para la investigación futura. (Khandker, Koolwal y Samad, 2010).

Las evaluaciones de impacto miden los resultados de un determinado proyecto, programa o política. Para establecer una relación causal, las evaluaciones de impacto utilizan un conjunto de métodos. Generalmente cuasiexperimentales, ante la imposibilidad de utilizar métodos experimentales118.

La evaluación de impacto busca ir más allá del monitoreo de un programa. Busca conocer los efectos reales del programa. Para lo cual se aíslan los otros factores que pueden haber intervenido en los resultados obtenidos en las variaciones de los flujos. La lógica de la evaluación de impacto es representada en el diagrama 13.

El impacto, que se representa en el gráfico con la doble flecha en verde:

Corresponde a la diferencia entre las exportaciones actuales menos las exportaciones que se hubieran producido sin el programa (grupo de control contrafactual). En otras palabras, la evolución en los flujos comerciales fue influida por un programa de intervención (aplicado en 2009, año que es la línea de base), destinado a recuperar y aumentar las exportaciones.

Por lo tanto, la evolución posterior incluye el efecto que tuvo este programa. Para medir el impacto se debe establecer cuál habría sido la evolución en las exportaciones de las empresas sin el programa (corresponde a la línea anaranjada, que representa la estimación contrafactual) y restarla a la evolución de las exportaciones.

En esta metodología —cuyo fundamento es el diseño experimental aplicado en las ciencias naturales. En particular la biología—, se busca analizar las diferencias que se producen en el grupo (empresas) con tratamiento (que participaron en el programa) en relación a las sin tratamiento (las que no participaron del programa), controlando las posibles variables intervinientes.

La evaluación de impacto se puede utilizar también cuando el programa de intervención busca obtener la disminución de una situación considerada negativa. Por ejemplo, cuando el programa de apoyo a las exportaciones busca disminuir la concentración exportadora.

En este caso, el impacto sería la diferencia entre la tendencia hacia la concentración sin el programa (contrafactual) y el resultado real obtenido en el indicador de concentración que se busca disminuir.

3. Objetivos, preguntas y desafíos de la evaluación de impacto

Mediante el uso de instrumental econométrico, las evaluaciones de impacto buscan medir los efectos que un programa tuvo sobre la población beneficiaria. Por ejemplo, en empresas exportadoras, y conocer si dichos efectos son en realidad atribuibles a esa intervención. Por tanto, la evaluación de impacto tiene por objetivo determinar si el programa produjo los efectos deseados y si esos efectos son atribuibles a la intervención del programa.

En la evaluación de impacto se busca identificar los efectos causales, de manera de determinar si los resultados en la unidad de análisis (en este caso, generalmente, empresas) pueden atribuirse o no a la intervención pública, lo que involucra algunos desafíos metodológicos.

A diferencia del análisis estadístico, en el cual las variables se pueden correlacionar y se puede establecer dependencia entre variables o estimar la probabilidad de eventos, en la evaluación de impacto se busca establecer relaciones causa-efecto.

Por ejemplo, en el contexto de un programa de promoción de exportaciones. El hecho de que las ventas externas de una empresa se incrementen después de completar el programa no es suficiente para establecer causalidad, ya que el aumento puede responder a otros factores.

Por tanto es necesario aislar esos otros factores, mediante técnicas econométricas.

La evaluación de impacto es un tipo particular de evaluación que pretende responder a una pregunta básica: ¿Cuál es el impacto (o qué efectos provoca) un programa de promoción exportadora?

Esta pregunta incorpora una importante dimensión causal.

El foco está, por tanto, en los cambios atribuibles directamente a un programa de intervención. Esta pregunta de evaluación puede aplicarse en diferentes niveles y ámbitos, por ejemplo:

• ¿Cuál es el impacto de los OPE en términos de aporte a las exportaciones de los países?
• ¿Cuál es el organismo, programa o acción cuyo impacto se quiere evaluar? ¿Se quiere evaluar el impacto global del OPE o un programa específico?
• ¿Qué efectos tiene sobre las empresas la participación en ferias internacionales?
• ¿Cuáles son los impactos generados en la empresas? (variables dependientes)
• ¿Cuáles son las dimensiones y variables independientes que pueden influir en el impacto?
• ¿Cuál es la interrelación entre las variables dependientes e independientes?
• ¿Cuál habría sido la trayectoria de las empresas de no existir el programa?

Tras la elaboración de hipótesis que relacionan las variables dependientes y las independientes. Se construyen ecuaciones que intentan expresar de una manera formal y matemática esta interrelación. Estas ecuaciones son testeadas con diferentes parámetros. Lo que permite estimar cuantitativamente el impacto del OPE o un programa. Este aspecto constituye uno de los principales atractivos de esta metodología.

Es importante que el indicador de impacto corresponda efectivamente a una variación derivada del funcionamiento del programa. Muchas veces se opta por considerar la variación de las exportaciones como efecto o impacto del programa, ya que es más fácil conseguir los datos.

También suele utilizarse el número de empresas exportadoras (o de pymes exportadoras), número de mercados, número de productos o una combinación de ellos. Es claro que cuando la acción del programa consiste en facilitar el acceso a información para algunas pymes. No puede considerarse la modificación de las exportaciones totales del país como indicador de impacto.

El impacto tiene que ser proporcional a la acción realizada, por ello es muy importante depurar el indicador de impacto, de manera que la medición de impacto tenga sentido y sea mucho más precisa.

Lo que se afecta con las acciones de los OPE, probablemente, no son las exportaciones totales del país, ni siquiera las exportaciones de un sector, sino que dimensiones como la propensión a exportar de las empresas favorecidas o las exportaciones de un producto específico a ciertos mercados.

Es muy importante invertir en despejar, de manera consistente, lo que se considera como impacto del programa y construir los indicadores correspondientes. En Urmeneta (2017) se presenta una discusión de algunas alternativas para ir depurando los indicadores de desempeño y de impacto para algunos programas específicos.

También es clave determinar qué habría pasado con los beneficiarios si el programa no hubiera existido. Muchas veces se supone que el cambio en una dimensión es producto del programa. Pero la única manera de conocer si ello es así es comparar con la situación ficticia de lo que hubiese ocurrido sin la existencia del programa. Además, el impacto no se produce inmediatamente, pues requiere un tiempo para desarrollarse, lapso durante el cual el número de factores que intervienen aumenta. Lo que hace más difícil la atribución de un cambio a un único factor.

(Lea También: Algunos Resultados de Estudios de Evaluación en Organismos de Exportaciones)

4. Desafíos metodológicos y prácticos en las evaluaciones de impacto de los OPE

 La evaluación de impacto requiere que el equipo de evaluación encuentre un grupo de comparación. Para estimar lo que hubiera sucedido sin el programa y, luego, hacer comparaciones con el grupo de tratamiento que recibió el programa.

Como en la realidad el contrafactual no existe, ya que es lo que hubiera pasado en un escenario distinto, en cada evaluación de impacto se debe construir, de manera explícita, una estimación para compararlo con lo que ocurrió. La estimación del contrafactual se representa. Generalmente, con un grupo que se denomina el grupo de control o de comparación.

El grupo de control consiste en personas o empresas que no participaron en el programa. Mientras que el grupo de tratamiento es el grupo que participó en el programa. Para estimar el impacto de la intervención se compara el grupo de tratamiento con el grupo de control.

Las variables de control dependerán del programa que se pretende analizar. La mayoría de las veces se buscan variables que hayan demostrado incidencia en el resultado o impacto observado en otras investigaciones. De las cuales se cuenta con información cuantitativa.

Por ejemplo, si se está evaluando un programa que buscó aumentar las exportaciones graficadas en el diagrama 13, las variables de control que deberán ser tomadas en cuenta son todas aquellas dimensiones que pueden haber influido en estas variaciones, como las modificaciones del tipo de cambio, la aplicación de un tratado de libre comercio, el aumento de la demanda en los países de destino de los productos exportados y mejoras en los sistemas de distribución, entre otras.

a) Desafíos de tipo metodológico 

Los estudios de impacto pueden presentar conclusiones relevantes sobre la política para la internacionalización de empresas. Ya que permiten determinar si un programa de promoción de exportaciones tuvo un efecto significativo y produjo cambios en los resultados de las empresas.

No siempre está clara la causalidad de los cambios, ya que puede haber otros factores como la variación de las condiciones externas o del tipo de cambio que pueden haber afectado positiva o negativamente a las empresas. El concepto clave de la evaluación de impacto es la inferencia causal, por lo que el problema metodológico principal consiste en observar. Simultáneamente, a una empresa exportadora que participa en el programa y a una similar que no participa en el programa.

Por ello, es necesario estimar cuál hubiera sido el resultado para las empresas si no hubieran sido parte del programa. Si la asignación de los beneficiarios a un programa es aleatoria (diseño experimental), el grupo de “control” tiene características similares al de “tratamiento”, con la excepción de que no participa del programa.

Por tanto, cualquier diferencia entre ambos grupos puede atribuirse al programa. En cambio, si los programas no se asignan aleatoriamente —como generalmente ocurre—, hay que recurrir a métodos cuasiexperimentales, para estimar el “contrafáctico”. Es decir crear un grupo de control que se parezca al de tratamiento en las características observables.

La dirección de la causalidad es difícil de establecer.

A continuación, se ilustra el problema de la causalidad reversa a través de dos ejemplos. De acuerdo con Volpe (2010a), la apertura de una oficina comercial en el exterior puede incrementar los flujos comerciales bilaterales. Pero también puede ocurrir que los países exportadores incrementen la cantidad de oficinas comerciales en los países importadores como respuesta a los mayores flujos comerciales bilaterales.

Según Mesquita Moreira y otros (2013), los menores costos de transporte impactan sobre un mayor nivel de exportaciones. Pero también puede ocurrir que un volumen elevado de exportaciones de lugar a economías de escala, que reduzcan los costos de transporte, o puede suceder que las mayores ventas externas impulsen inversiones para disminuir los costos de transporte en dichas regiones.

Esta causalidad reversa hace necesario mayores esfuerzos destinados a evitar sesgos en las estimaciones de los efectos de los programas. Existen distintas metodologías para tratar de aislar los factores. Por ejemplo, el método de diferencias en diferencias (DID) mide el cambio en el tiempo del grupo de tratamiento respecto del grupo de control (Volpe, Carballo y Cusolito, 2013).

El método de pareamiento (matching) establece que para cada unidad que recibe el tratamiento debe haber, al menos, una unidad sin tratamiento, con características similares, para este modo construir un grupo de control (Baier y Bergstrand, 2009).

Los investigadores más destacados han reconocido este tipo de problemas en los análisis y, por tanto, la perfectibilidad de las investigaciones119.

Por ejemplo, Volpe (2010a) planteó que el resultado de las actividades de promoción de exportaciones no era solo comercial y que el aumento del comercio depende de tres tipos de variables:

• Los tipos de actividades de promoción y los instrumentos específicos utilizados.
• Las características institucionales (por ejemplo red de oficinas, sistemas de información, normas que rigen la selección y promoción de personal, relaciones con otras organizaciones públicas y privadas dentro del país) y la estructura de incentivos asociada.
• Las políticas macroeconómicas y aquellas sectoriales de nivel nacional que puedan afectar al sector exportador.

A esta trilogía habría que agregar otros aspectos, como la estructura del comercio internacional, la etapa en que se encuentra la coyuntura o el ciclo económico y dimensiones que el propio Volpe ha destacado en sus últimos estudios, como la infraestructura, el acceso logístico y la concentración de la demanda120.

El hecho de que sea una tarea difícil no debería ser impedimento para evitar algunos errores de fondo y de estadísticas, cometidos con frecuencia. Entre los errores de fondo, el más habitual es no haber resuelto adecuadamente el principal desafío de considerar un proceso o un indicador como derivado de la acción de los organismos de promoción, cuando su causa principal es otra.

Ejemplo de lo anterior es atribuir el aumento de las exportaciones de las empresas a la acción de los organismos de promoción, en circunstancias que este resultado fue producto de otra dimensión o variable general, como el alza del tipo de cambio. Un error muy usual es utilizar como indicador de éxito una condición que se ve afectada por múltiples variables, que no son aisladas.

Las condiciones que permitan desarrollar evaluaciones experimentales son, en la práctica, imposibles de aislar, pero es muy importante no asignar un indicador a la acción del OPE cuando esta última depende de condiciones generales de la economía y del comercio mundial121.

Entre los errores de tipo estadístico, la representatividad de la muestra es el más frecuente.

Un ejemplo es que a partir del análisis de las respuestas de una encuesta aplicada a una muestra no aleatoria o intencionada, generada a partir de un listado parcial, se llegue a conclusiones para el total de empresas o para el total de empresas exportadoras Otros errores se producen cuando no se usa el instrumento adecuado para los indicadores obtenidos.

Un caso de este tipo es calcular proporciones sobre la base de las respuestas a una pregunta hecha a las empresas que recibieron apoyo y a otra que no lo recibió, obteniendo conclusiones generales, sin usar pruebas para calcular si las diferencias de proporciones obtenidas son estadísticamente significativas.

Hay estudios que presentan ambos tipos de errores. Por ejemplo, aquellos que se estructuran sobre modelos econométricos con pocas variables, excluyendo a las que podrán ser las más determinantes, con datos referidos a un período muy corto y sin representación del universo sobre el cual se busca concluir.

b) Desafíos para la implementación práctica de las evaluaciones de impacto

 La evaluación de impacto en los programas de apoyo a la inserción en el comercio internacional es una tarea compleja, pues involucra varios desafíos para su implementación concreta. Estos desafíos pueden agruparse en cuatro categorías:

1.  Una restricción frecuente es la falta o limitada disponibilidad y calidad de la información, en particular la inexistencia de los datos de la línea de base, por lo que conviene recolectarlos antes de la implementación de los programas. La información es clave para realizar las evaluaciones de impacto.
   
   La información y los datos pueden obtenerse desde fuentes secundarias, pero es necesario evaluar su confiabilidad y validez. Las evaluaciones también pueden ser de elaboración primaria sobre la base de encuestas, por ejemplo las efectuadas a los representantes de los países, cuando se busca hacer evaluaciones y comparaciones internacionales, y las aplicadas a las empresas, cuando se busca determinar el efecto de un programa sobre sus beneficiarios.
   
   Si se incluyen estimaciones de incrementos de ventas, proporcionadas por los representantes de los países o por los gerentes de las empresas participantes, pueden existir sesgos: una sobreestimación de los beneficios del programa, ya que ello haría más probable su continuidad; problemas de representatividad (en general, la tasa de respuesta es baja, especialmente en encuestas a empresas), y los valores pueden distar de ser precisos y consistentes.
   
   Para enfrentar estos sesgos es necesario realizar ejercicios de consistencia y validación externa de las respuestas obtenidas. Es importante utilizar los datos de las aduanas y otros organismos tributarios o de regulación, de manera de corroborar las variaciones en dimensiones como ventas totales y exportaciones.

2. La evaluación de impacto suele ser costosa: implica una inversión de recursos económicos y de tiempo que puede representar una parte significativa de los proyectos (Cadot y otros 2011). En el presupuesto normal del OPE es importante considerar una pequeña fracción para fines de evaluación.

3. Existen problemas de incentivos entre los responsables de los programas y los evaluadores. Puede ocurrir que los primeros prefieran no divulgar los resultados, especialmente si son negativos o si de ello depende la asignación futura de recursos. Si bien se requiere la colaboración entre ambos agentes para el éxito del ejercicio, debe existir cierta independencia para que la evaluación pueda realizarse con objetividad (Gertler y otros, 2016). En este sentido, Cadot y otros (2011) argumentan que la decisión de implementar y financiar estudios de evaluación de impacto no debería estar a cargo de los responsables de los proyectos.
   
   
4. Los encargados al interior de los OPE de participar o ser la contraparte del equipo evaluador enfrentan. De manera frecuente, un sinnúmero de demandas de información, junto con requerimientos para elaborar informes con formatos y lógicas diferentes. Generalmente solicitados a fines de año, como los de cumplimiento de metas institucionales, informes de avance en gestión (ISO 9000 por ej.), informes para los organismos de cooperación e informes al poder legislativo, entre otros.
   
   Es conveniente programar las distintas actividades relacionadas con las evaluaciones y los informes de gestión. De manera de aprovechar las sinergias entre ellos, considerando que la evaluación de impacto implicará la realización de varias etapas con frecuentes consultas a los gestores de los OPE y como una forma de evitar la realización de rutinas burocráticas, que llevan a perder el sentido de la evaluación.

---

• 116 En alguna medida la información recopilada en el cuadro 28 constituye una base para iniciar una evaluación de este tipo en los OPE de la región. Ejemplo de este tipo de evaluación es Ayala (2006).

• 117 Véase metodologías de evaluaciones de marco lógico en BID (2004), Fomin (2008), Aldunate y Córdova (2011), Dipres (2009b) y Ortegón, Pacheco y Prieto (2015), entre otros. Para metodología de evaluación de metas o gestión por resultados ver Armijo (2011), Aguilar y otros (2013), Coneval (2010) y Kaufmann y otros (2015).

• 118 Véase análisis de las técnicas cuasiexperimentales en econometría en Cameron y Trivedi (2005), Baier y Bergstrand (2009) y García (2011), entre otros. Véase evaluación de impacto en Aedo (2005), Bello (2009), BID (2015), Dipres (2009a), IAIA (2015), Ivalua (2009), Lasarga, Rosich y Rueda (2015) y Nuñez (2016), entre otros.

• 119 Esta característica suele estar muy presente en los investigadores. pero en ocasiones no tanto en las autoridades que usan estas investigaciones para justificar sus propias decisiones.

• 120 Véase Volpe y Blyde (2013); Volpe, Carballo y Ottaviano (2016); Volpe, Carballo y Schaur (2016) y Volpe y otros (2016).

• 121 Por ejemplo, en una evaluación de 2012 de ProMexico se dice: “la evaluación del logro no está controlado por los responsables del Programa. ya que su alcance depende de que se mantenga la política de apertura comercial global, que se mantenga la confianza de los inversionistas en el país y que mejore la actividad económica de los Estados Unidos de América y de las principales economías mundiales”. Véase Aguilar y Ortiz (2012), pág.40.