CAPÍTULO 4
4.1 El Campo de la Evaluación de Políticas y Programas Sociales en América Latina
La invención del campo de la evaluación de políticas y programas sociales en América Latina data de la década de los cuarenta del siglo pasado, cuando algunos países de la región vivieron procesos de planificación económica y social básicamente promovidos por organismos como la Comisión Económica Para América Latina (CEPAL), creada en 1948, y por el Instituto Latinoamericano de Planificación Económica y Social (ILPES), creado bajo la égida de la comisión, en 1961.
A partir de 1961 suceden nuevas experiencias de planificación en América Latina, en esa ocasión el impulso provino de la Alianza Para el Progreso, política emanada del gobierno de John F. Kennedy para nuestro continente que condiciona préstamos a la existencia de programas nacionales amplios y debidamente estudiados (Pichardo, 1997b), sin embargo, bajo el gobierno de Nixon esa política pasa a ser un programa de inversiones rentables con la convicción de que se trata de un fracaso y que la ayuda no había producido ningún cambio significativo en las economías latinoamericanas. (Ander-Egg, 1972)
Por esos años, la definición de evaluación utilizada por el ILPES era la siguiente: “La evaluación constituye un balance de las ventajas y desventajas de asignar al proyecto analizado los recursos necesarios para su realización (…) En términos más amplios, la tarea de evaluar consiste en comparar los costos y los beneficios del proyecto, con miras a determinar si el cociente que expresa la relación entre unos y otros presenta o no ventajas mayores que las que se obtendrían con proyectos distintos” (ILPES, 1973, p.163)
No obstante, la invención del campo de la evaluación de políticas y programas sociales en América Latina es muy reciente, inclusive, autores como Fernández y Zavala (1999) todavía la asumen como una tendencia motivada principalmente por los requerimientos de las agencias internacionales de cooperación económica. “La presencia de un Estado evaluador en la región latinoamericana se asume como una tendencia porque todavía no está generalizada a todo lo largo y ancho de la actividad estatal y porque no todos los estados latinoamericanos le están poniendo igual énfasis. Por otro lado, también se asume que es una tendencia modernizante, o porque busca imitar lo alcanzado por países capitalistas desarrollados en el campo de la evaluación o porque conlleva una racionalidad que busca la eficiencia basada en “la observación científica de la realidad social” y no meramente en los gustos clientelísticos de los gobiernos expandiendo por así decirlo, el rol del Estado como representante de lo universal o de lo público”
Una de las características del naciente campo en nuestro continente es que algunas de las principales propuestas para realizar evaluaciones de políticas y programas sociales se vieron influenciada por la visión estadunidense, por ejemplo, Espinoza (1986, p.16) sostiene: “Volviendo a los términos simples para la comprensión del concepto, es útil citar los conceptos con que la Real Academia Española define la palabra evaluación. Dice:“es señalar el valor de una cosa. Esta definición sirve para llamar la atención sobre nuevas facetas del término. Para señalar el valor de una cosa es necesario medir y sólo es posible medir cuando se tienen puntos de referencia para comparar una cantidad con su respectiva unidad”
Y en la definición clásica de Aguilar y de Ander Egg (1992, p.18) se afirma que: “La evaluación es una forma de investigación social aplicada, sistemática, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera válida y fiable, datos e información suficiente y relevante en que apoyar un juicio acerca del mérito o valor de los diferentes componentes de un programa (tanto en su fase de diagnóstico, programación o ejecución, (...) comprobando la extensión y el grado en que dichos logros se han dado, de forma tal, que sirva de base para una toma de decisiones racional e inteligente entre cursos de acción”.
Otros autores latinoamericanos que proponen realizar la evaluación de programas sociales como valoración de los efectos, resultados o impacto de éstos son Cohen y Franco y Arlette Pichardo. Los primeros afirman que evaluar es fijar el valor de una cosa; para hacerlo se requiere un procedimiento mediante el cual se compara aquello a evaluar respecto de un criterio o patrón determinado, (Cohen y Franco 2000) mientras que Pichardo (1997, p.374) ubica a la evaluación como: “El proceso mediante el cual se espera determinar el grado en que las situaciones logradas o por lograr implican un avance de la situación inicial diagnosticada hacia la situación deseada postulada como imagen-objetivo. (…) En síntesis, la evaluación es una actitud de conocimiento del medio que nos rodea, para aprehender y aprender de él los elementos básicos que deben orientar los procesos de toma de decisiones y valorar los resultados obtenidos, así como ir introduciendo los ajustes necesarios dictados por la realidad”.
En conclusión, a pesar de que las citas anteriores muestran la adopción por parte de académicos latinoamericanos de regularidades discursivas estadunidenses en el campo de la evaluación de programas sociales, resultaría erróneo equiparar el contexto latinoamericano de pobreza galopante con los programas sociales puestos en marcha por ese país durante la década de los 60 en el marco de la guerra contra la pobreza.
En el contexto estadunidense los programas necesitaban ser evaluados para su generalización o expansión, se buscaban las estrategias más adecuadas para expandir su cobertura, mientras que en la América Latina de hoy, el Estado aparece disminuido y sin capacidad de liderazgo, sin recursos y poco se espera de su actividad y desempeño para solucionar las necesidades sociales. (Fernández y Zavala, op, cit, p.77)
De esta manera, la evaluación adquiere un carácter simbólico y únicamente pretende legitimar la focalización como método para elegir a la población beneficiaria, pero sobre todo, para legitimar el alcance limitado de los programas sociales.
4.2 La Evaluación de Programas Federales en México
Así como ocurre en América Latina, la formación del campo de la evaluación de programas sociales en nuestro país es muy reciente, comienza con el análisis de programas creados por el Estado mexicano para el combate a la pobreza que datan de las décadas 70 y 80 del siglo pasado, como el Programa Integral para el Desarrollo Rural (PIDER, 1973-1982), la Coordinación General del Plan Nacional de Zonas Deprimidas y Grupos Marginados (COPLAMAR, 1977-1982) y el Programa Nacional de Solidaridad (PRONASOL, 1988-1994).
En sentido estricto tales trabajos no constituyen evaluaciones de programas aún y cuando autores como Duahu y Ordóñez Barba (1997), y Valencia y Aguirre (1998), hayan realizado juicios críticos tanto del diseño como de los resultados obtenidos por éstos. Inclusive, con respecto a ello uno de los autores que participaron en los análisis mencionados señalaba: “La única información conocida que permite establecer puntos de comparación se encuentra en los documentos oficiales que presentan avances en cada programa. La literatura secundaria aún es muy escasa y sólo en el caso del PRONASOL existen trabajos que lo evalúan con información primaria desde distintos acercamientos y con metodologías distintas” (Ordóñez, 1997, p.25)
También, a ese respecto otro analista de los programas de combate a la pobreza en México, refiriéndose al Programa de Educación, Salud y Alimentación (PROGRESA) sostiene que: “El Progresa puede ser criticado en muchos aspectos (…) pero uno de sus méritos indudables, particularmente contrastantes con Solidaridad y Coplamar, y muchos otros programas sociales, es la gran cantidad de información para la evaluación que ha generado y las calificaciones que ha encargado y hecho públicas (Boltvinik, Julio, Evaluando el Progresa, México, columna Economía Moral, periódico La Jornada , 26 de mayo del 2000, p.28)
Así pues, desde hace poco más de una década existen en nuestro país análisis de programas sociales en el marco del debate para caracterizar la política social federal; bajo estos análisis los programas sociales son la evidencia, la base empírica de la orientación de la política de desarrollo social emprendida por el gobierno mexicano.
En esa dirección destacan los análisis realizados al PRONASOL tanto por Denisse Dresser (1992 y 1994) titulados Pronasol: Los Dilemas de la Gobernabilidad y Aturdida y confusa: la política social en México desde el levantamiento de Chiapas, como el que llevó acabo Asa Cristina Laurell (1994) llamado Pronasol o la pobreza de los programas contra la pobreza.
Esos análisis y otros sentaron las bases e impulsaron la formación del campo de la evaluación de programas sociales en nuestro país, en la medida en que muchas de sus conclusiones criticaban cuestiones de los programas tales como las formas de operación, su cobertura y los criterios de inclusión, siempre en el marco de las transformaciones sufridas en los sistemas de bienestar tanto en el Estado benefactor como en el neoliberal.
En ese orden, también destacan en 1996 publicaciones como Las políticas sociales de México en los años noventa, obra en la que participan analistas mexicanos y latinoamericanos tales como Rolando Cordera, Alicia Ziccardi y Carlos Vilas, entre otros; y su continuación en el 2000 con la obra Las políticas sociales de México al fin del milenio: descentralización, diseño y gestión, que bajo la coordinación de Rolando Cordera y Alicia Ziccardi reúne ensayos de autores tales como Verónica Montes de Oca, Sara Gordon, Carlos Tello Macías y Enrique Contreras, entre otros.
Las obras mencionadas resultaron verdaderos esfuerzos de una parte de la intelectualidad latinoamericana por caracterizar los cambios introducidos en los regímenes de bienestar en nuestros países a raíz de la crisis del modelo de bienestar experimentada por el Estado benefactor.
Mención aparte merece una de las obras que también contribuyó a fundar el campo de la evaluación de programas sociales en nuestro país, se trata de Los rostros de la pobreza, obra publicada en 1998 en tres tomos que reúnen una serie de ensayos que incluyen valoraciones sobre la política de combate a la pobreza por parte de connotados académicos de la Universidad Iberoamericana y el Instituto Tecnológico y Estudios Superiores de Occidente, tales como Enrique Valencia Lomelí, Mónica Gendreau, Jorge Alonso y otros.
Otros antecedentes del campo en cuestión son las tres evaluaciones que se realizaron en la década de los 90 al Programa de Becas de Capacitación para Trabajadores (PROBECAT). La primera por el Banco Mundial en 1994; la segunda por el gobierno mexicano en 1995 y la tercera una actualización en 1999 de la realizada por el Banco Mundial en 1994. (SEDESOL, 2006)
Por cuanto a la participación de instituciones de educación superior en evaluaciones de programas destaca la realizada por el Centro de Investigación en Antropología Social, (CIESAS), a través del seminario Análisis del Programa de Educación, Salud y Alimentación, PROGRESA, celebrado en noviembre de 1998 y cuyos resultados fueron publicados en un libro del mismo título editado conjuntamente por el CIESAS y el PROGRESA. En es obra participaron autores como Fernando Cortés, John Scott y Alicia Ziccardi, entre otros.
A estos trabajos deben sumarse los análisis realizados al PROGRESA por el Seminario de Evaluación de Política Social titulado Teorías vigentes para el combate a la pobreza en México, celebrado por la Universidad Iberoamericana , planteles Santa Fe y Golfo Centro y la Universidad de Guadalajara, entre otras instituciones, y cuyos resultados iniciales son recogidos en el texto Los dilemas de la política social ¿cómo combatir la pobreza?, coordinado por Enrique Valencia, Mónica Gendreau y Ana María Tepichín.
A su vez, la Secretaría de Desarrollo Social coordinó evaluaciones de corto plazo en el marco general del Decreto de Presupuesto de Egresos de la Federación , siendo una de las primeras la que se aplicó al Programa de Desarrollo Productivo de la Mujer 1998-1999 por El Colegio de la Frontera Norte A.C. en 1999.
Como se ve, existen antecedentes de la evaluación externa de programas sociales en el marco de la transparencia y la rendición de cuentas, sin embargo, en forma sistemática, como campo que busca legitimarse, estos procesos iniciaron en 1997 con la evaluación del PROGRESA y fueron generalizados a todos los programas gubernamentales desde el 2001[1]. Desde luego, los informes de evaluación respectivos también han sido publicados en sitios de la red internet del gobierno federal como el de la Secretaría de Desarrollo Social (SEDESOL). Es importante señalar que en las evaluaciones publicadas los juicios establecidos con respecto a los programas siempre resultan favorables a éstos, es decir, rara vez ofrecen juicios críticos que permitan, por ejemplo, responder a la pregunta ¿actualmente como sociedad en qué momento nos encontramos en la lucha contra la pobreza?
Más recientemente, en 2004 destaca la publicación de los principales resultados de la evaluación cualitativa realizada en 2001-2002 al Programa de Desarrollo Humano Oportunidades por investigadores como Agustín Escobar Latapí y Mercedes González de la Rocha , quienes anteriormente habían dirigido en tres ocasiones los equipos que realizaron la evaluación del mismo programa. (Escobar 2004)
Las evaluaciones anteriores y la publicación de sus resultados han sido posibles porque nuestro país cuenta con un conjunto de ordenamientos legales en esta materia, que comenzaron a ser promulgadas tanto por la administración de Ernesto Zedillo como por la de Vicente Fox en el caso federal, y en el caso de la administración del Distrito Federal por la de Rosario Robles, Andrés Manuel López Obrador y Marcelo Ebrard.
Sin embargo, como apuntábamos en el apartado anterior, el campo de la evaluación de políticas y programas sociales en nuestro país dista mucho de haber sido impulsado por las instituciones encargadas de poner en práctica dichos programas, antes bien, como sostiene Cardozo (op.cit p.29), fueron las exigencias de rendición de cuentas en relación a los recursos asignados por organismos como el Banco Mundial y el Fondo Monetario Internacional al combate a la pobreza, las que introdujeron la necesidad de realizar evalauaciones períodicas y reglamentadas de la política social.
Pero también es necesario reconocer que a la formación del campo contribuyó el constante cuestionamiento académico y las denuncias de organismos no gubernamentales, comunidades, partidos de oposición y algunos medios de comunicación (sobre todo prensa escrita) por el uso electoral de los recursos dstinados a programas sociales.
En fin, el campo de la evaluación de programas sociales en nuestro país cuenta hoy con el CONEVAL, organismo público descentralizado de la Administración Pública Federal que dispone de autonomía y capacidad técnica para generar información sobre la situación de la política social. Este organismo tiene la responsabilidad de coordinar la evaluación de cerca de 85 programas sociales conforme a los lineamientos de un Programa Anual de Evaluación.
Para terminar este apartado, es importante mencionar que este organismo define a la evaluación como: “El análisis sistemático y objetivo de los programas federales y que tiene como finalidad determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados, impacto y sostenibilidad” (Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los Programas Federales de la Administración Pública Federal en http://www.coneval.gob.mx/contenido/eval_mon/1081.pdf-Microsoft)
En conclusión, a pesar de que el CONEVAL coordina la realización y publicación de resultados de la evaluación de cerca de 31 programas sociales, como sociedad todavía no podemos saber con un grado de certidumbre aceptable qué avances hemos tenido en la lucha contra la pobrez, pues según el mismo CONEVAL: “Falta contestar la pregunta más importante que se hacen los ciudadanos: ¿El programa está efectivamente logrando mejorar el ingreso de los campesinos o el empleo en áreas urbanas o el aprendizaje de las niñas y los niños o la nutrición de las madres embarazadas; los impuestos destinados a tales acciones están reduciendo la pobreza y la desigualdad? (CONEVAL, Evaluar la política social impulsa el logro de resultados y la rendición de cuentas, en www.coneval.mx)
4.3 La Evaluación de Programas Sociales en el Distrito Federal
Aún y cuando el campo de la evaluación de programas sociales en nuestro país está constituido también por lo que realizan en esta materia gobiernos locales como el del Distrito Federal (GDF), desafortunadamente el dispositivo federal para la realización y publicación de evaluaciones apenas comienza a encontrar una réplica en la política social del GDF, ya que todavía no se ha publicado alguna evaluación que dé cuenta de los logros de los programas sociales impulsados por los gobiernos capitalinos desde 1997 a la fecha.
Por ejemplo, en vez de evaluaciones del programa Adultos Mayores el GDF puso en marzo del 2007 un listado de 5,883 páginas que corresponden al padrón de beneficiarios del programa en la página web de la Secretaría de Desarrollo Social, sin embargo, la información es limitada toda vez que sólo contiene el nombre, la edad y la delegación política de adscripción del beneficiario.
Todavía más, en enero del 2002 la Secretaría de Salud del GDF anunciaba que: “Levantó una encuesta de evaluación a 2,200 beneficiarios del programa. El 90 por ciento reportó que su alimentación ha mejorado; el 79 por ciento manifiesta que puede comprar productos que antes no alcanzaba (sic); el 71 por ciento que se siente más seguro; el 61 por ciento que es más independiente; el 38 por ciento ha mejorado la relación con su familia, y el 23 por ciento que sale más frecuentemente. Además se han recibido cientos de cartas en las cuales los beneficiarios expresan su satisfacción con el programa; la dignificación que le ha significado; y el agrado con su mecanismo que no les obliga a pasar por un proceso burocrático y una denigrante comprobación de su pobreza” (Laurell, Asa, Cristina: Mensaje a la Comisión de atención a la tercera edad, jubilados y pensionados, en http://www.salud.df.gob.mx/index.html)
En otras palabras, lo más cercano a una evaluación del programa ha sido la aplicación de estas encuestas por las educadoras en salud responsables del programa, toda vez que: “Este Programa se evalúa anualmente mediante la aplicación de una encuesta a una muestra aleatoria y representativa de los beneficiarios en torno a su percepción sobre los beneficios de la pensión” (Secretaría de Salud, Gobierno del Distrito Federal 2003, p.26)
En resumen, el GDF todavía no publica alguna evaluación de la política de desarrollo social, lo más cercano a ello son dos trabajos analíticos que abordan su propia visión de la política social llevada a cabo en el período de Andrés Manuel López Obrador: el primero publicado en 2006 se titula La política social del gobierno del Distrito Federal 2000-2006: una valoración general, el cual fue elaborado para contar una valoración preliminar de los alcances de dicha política. El otro trabajo fue publicado en octubre del 2004 y se tituló Pobreza, Desigualdad y Marginación en la Ciudad de México.
4.4 Evaluación Cualitativa de Programas Sociales
Como ya se mencionó, el naciente campo de la evaluación de programas sociales en México adoptó la evaluación cuantitativa como tendencia hegemónica en la evaluación de programas sociales; dicha tendencia se ha recrudecido debido a que organismos financieros internacionales como el BM y el FMI han exigido a los gobiernos latinoamericanos mayor eficiencia en los recursos destinados al combate a la pobreza. En este campo, la evaluación de eficiencia se entiende como el ejercicio de:
“Una evaluación de rentabilidad económica (existe también la rentabilidad política y social) que en algunos casos conviene considerar dentro de la evaluación. Cuando hablamos de evaluación económica, aludimos a un tipo de análisis que tiene en cuenta el coste del programa en relación a los resultados que se han obtenido. Para la evaluación de eficiencia, hay tres tipos de análisis:
· coste-efectividad, o coste eficacia,
· coste-utilidad,
· coste-beneficio” (Aguilar y Ander-Egg, 1992, p.94)
Este tipo de evaluaciones han tomado relevancia porque son las más coherentes con la ideología especulativa-financiera que atraviesan los objetivos de la política social, trátese de programas a los que se les puede adjudicar objetivos de desarrollo humano como al OPORTUNIDADES o de frenar procesos de empobrecimiento, tal y como pregona el GDF en el programa Pensión Alimentaria; no obstante, si bien resulta importante saber cuánto y cómo se invierte en desarrollo social y cuáles son los resultados de los programas, o sea, si fueron eficientes y eficaces, coherentes y hasta rentables, también lo es saber qué tan significativas para la población son sus acciones, qué tan relevantes, en otras palabras, es momento de pensar el diseño y la aplicación de metodologías cualitativas de evaluación.
Es evidente entonces que existe la necesidad de estudiar la evaluación cualitativa como faltante del campo de la evaluación de programas sociales en nuestro país, ya que con excepción de la evaluación cualitativa realizada al programa Oportunidades por Escobar y González de la Rocha en 2001, es notable la carencia de este tipo de evaluación.
Una probable explicación de ello la ofrece Cisneros (2005), autor para quien apenas en la última década se ha incrementado el interés por las metodologías interpretatativas entre los investigadores sociales mexicanos, inclusive, éstos ni siquiera cuentan con asociaciones profesionales ni revistas especializadas dedicadas a la publicación de trabajos desarrollados desde esta perspectiva. Refiere también que el interés por los estudios cualitativos se presenta mayormente en disciplinas tales como la sociología cualitativa, la antropología, la lingüística y la psicología social.
Si bien la evaluación cualitativa apenas comienza en nuestro país, en Estados Unidos el predominio del paradigma cuantitativo como modelo para la investigación evaluativa ha sido seriamente cuestionado por la comunidad de investigadores evaluativos desde la década de los sesenta del siglo pasado, entre otras razones, por la sensación de desencanto que provocó la evaluación de los programas sociales implementados bajo los gobiernos de Kennedy y Johnson, como señala Filstead: “Cuando muchas de las intervenciones sociales comenzaron a señalar repercusiones confusas o negativas, los burócratas empezaron a desconfiar de estos enfoques de la evaluación porque no presentaban un beneficio potencial para sus organizaciones. Además, a estas preocupaciones subyacía la cada vez más fuerte opinión de que estos tipos de evaluaciones cuantitativas no captaban la experiencia o la esencia del programa de intervención sometido a estudio; es decir, los administradores de programas consideraban con frecuencia que el esfuerzo de evaluación solo lograba una comprensión incompleta de la intervención social” (Filstead 1994, p.43)
Ahora bien, en razón de lo señalado anteriormente compartimos con el mismo autor el juicio de que en la etapa actual de la evaluación de programas la perspectiva cualitativa ha ido ganando terreno, no obstante, la cuantitativa sigue siendo dominante y hegemónica, mientras que la cualitativa se presenta como subalterna y emergente.
Si éste parece ser el momento que vive el campo de la evaluación de programas, ¿en qué consiste la evaluación cualitativa de programas sociales?, básicamente consiste en incorporar métodos cualitativos de investigación al repertorio de instrumentos utilizados por el evaluador para elaborar juicios con respecto a los programas sociales, Martínez (2007, p.12). Busca rescatar significados e intencionalidades desde el imaginario de los sujetos participantes en los programas, tanto la organización que los diseña y ejecuta como los beneficiarios; busca incorporar percepciones de éstos en el juicio que realiza el evaluador.
Generalmente en la evaluación de programas se suele establecer una clara diferencia entre los métodos cuantitativos y los métodos cualitativos. El primer enfoque, asociado a la tradición positivista, concibe la realidad social como una estructura objetiva y externa al sujeto y su contexto. El segundo en cambio, se asocia a la tradición interpretativa y afirma que la realidad social por excelencia son los sentidos subjetivos que orientan la acción de los sujetos.
En el primer caso se busca medir y establecer, con la mayor precisión posible, las relaciones causales que puedan existir entre distintas dimensiones o variables para explicar los fenómenos de la realidad. En el segundo, por el contrario, se busca comprender una realidad social que se construye intersubjetivamente y en la cual las relaciones son complejas y multivariadas (Glaser, B.G. y Strauss, A.L.1967).
En los estudios evaluativos el enfoque cuantitativo tiene como ejemplo clásico las evaluaciones experimentales. Este diseño conduce no solo a conclusiones causales mas claras sino que el mismo proceso de diseño contribuye a aclarar la naturaleza social del problema que se está estudiando. Para la perspectiva cualitativa, en cambio, las mediciones experimentales han conducido a estudios con resultados limitados. Este tipo de evaluación, a juicio de Parlett, M. y Hamilton, D. (1976) es inadecuada para ilustrar áreas de problemas complejos y no aportan mucho para la elaboración y toma de decisiones. Los enfoques cualitativos se inspiran en la tradición subjetivista clásicamente representada por Weber. Entre los enfoques o modelos de evaluación perteneciente a esta tradición destacan la evaluación sensitiva (Stakes, 1975); el modelo iluminativo y la evaluación focalizada (Patton, M. 1980).
4.5 Evaluación Cualitativa de Impacto de Programas Sociales desde la Perspectiva de los Beneficiarios.
Si en general la evaluación cualitativa de programas sociales ha sido poco utilizada en México por instituciones como el CONEVAL, la evaluación cualitativa de impacto desde la perspectiva de los beneficiarios ha sido menos trabajada teórica y metodológicamente; una de las razones de ello es que su puesta en marcha exige al evaluador incorporar las percepciones de los beneficiarios, tanto para la elaboración del juicio acerca del impacto del programa como de las recomendaciones que derivan de éste; este tipo de evaluación, parafraseando a Vasilachis (2003), requiere la función participativa del evaluador que no da significado a lo observado, sino que hace explícita la significación dada por los participantes.
En otras palabras, dicha evaluación incorpora la percepción que poseen los beneficiarios con respecto al impacto del programa, con todo lo difícil que resulta el hecho de que los destinatarios participen tanto en el discurso de evaluación a través de entrevistas como en la escritura que recupera la textura de sus experiencias y reconstruye los significados que poseen en torno a ellas.
Ejemplo de este tipo de evaluación es la que practicaron Jhoan M. Valero y Sorayda Rincón González al programa Misión Barrio Adentro, (evaluación desde la perspectiva del beneficiario) en el sector Los Altos II del Municipio Maracaibo, Estado Zulia1, en Venezuela. Otro ejemplo es la evaluación que realizó Liliana Raggio acerca de las percepciones que tienen los beneficiarios de programas asistenciales en cuatro municipios del Gran Buenos Aires: San Miguel, José C. Paz, Malvinas Argentinas y Moreno. (ver referencias bibliográficas en este trabajo)
Se trata entonces de considerar que los pobres que reciben los beneficios de los programas sociales poseen capacidad para aportar al conocimiento, la cultura y particularmente a la evaluación de impacto del programa del cual son beneficiarios; parafraseando a Gramsci (1975, p.11) todas las personas son productoras de conocimiento, todas atesoran cultura y ésta se manifiesta a través de un universo simbólico mediante diversas formas de expresión. Pero, ¿cómo entendemos el impacto?
Con relación a ello, asumimos que el impacto puede definirse como: “Los cambios o variaciones deseadas en los destinatarios de las políticas (sociales o no) programas y/o proyectos en cuanto a: a) Satisfacer necesidades básicas o no básicas; b) Promover o procurar condiciones para el mejoramiento de las condiciones de vida y de trabajo y c) Generar, fortalecer o consolidar niveles e instancias organizativas, formas de expresión, asociación y participación organizada” (Pichardo, 1997, p.74).
También, asumimos con la misma autora que el impacto de un programa puede observarse en tres niveles básicos: a) los destinatarios de las acciones evaluadas. b) el medio institucional en el cual se gestan, promueven, desarrollan, ejecutan y evalúan las acciones consideradas en la evaluación. c) el contexto en el cual se inscriben las acciones evaluadas y los actores sociales que las respaldan” (Ibid)
Finalmente, la evaluación de impacto trata de examinar, a partir de la situación inicial diagnosticada, los cambios o variaciones generadas y hasta qué punto las situaciones logradas se acercan a la situación deseada, tanto en términos de calidad en los cambios logrados como de la magnitud de los mismos, o sea, examina la capacidad de los programas para generar cambios como mejoras cualitativas en la situación, condición y calidad de vida de éstos, vía la satisfacción de necesidades básicas o no básicas, por medio de la disminución del déficit nutricional, la elevación de las tasas de alfabetismo y escolaridad, la dotación de viviendas, entre otros indicadores. (Op. cit.p.347)
Como se deduce de la definición de impacto, la evaluación cualitativa de impacto tendería a construir juicios con relación a los cambios provocados por el programa en tres niveles, uno de los cuales corresponde a los beneficiarios de las acciones evaluadas; en otras palabras, de acuerdo con esta definición corresponde al evaluador observar dicho impacto en los beneficiarios, cuestión que tradicionalmente realiza con apego a métodos cuantitativos y utilizando a los destinatarios como reservorio de información.
En contraposición, la evaluación cualitativa de impacto desde el punto de vista de los beneficiarios incluye diseñar indicadores para recoger y tratar la información que sustente un juicio de evaluación, éste es el momento en el cual se acude a los beneficiarios para indagar su visión del impacto del programa y para ello es necesario, de acuerdo con Saltalamacchia (1992, p. 82) “Si bien importantes, /para la evaluación/ los datos fácticos (recogidos tanto de fuentes secundarias como de boca del entrevistado) no son suficientes para comprender (…) las experiencias que llevaron a la gestación de creencias y aversiones comunes. Para ello se requiere una reconstrucción del sentido. Defino en este momento como sentido el lugar que ocupan los hechos en la estructura de relevancias que organizan la percepción activa del sujeto. Esa estructura de relevancias está fundada, por supuesto, en los valores, saberes y certezas que, según se supone, el interpelado comparte, en algunos casos, con casi todos sus contemporáneos y en otros con sólo algunos de ellos. Esas estructuras le permiten distinguir lo importante de lo que no lo es, lo repudiable de lo admirable, etc”.
Por estructuras de relevancia el mismo autor equipara la noción bourdiana de habitus, que significa: (…)un sistema de disposiciones durables y transferibles a nuevas situaciones; estructura estructurada predispuesta a actuar como estructura estructurante” (Citado por Saltalamacchia 1992, p.52)
Pensamos con Saltalamacchia que esas estructuras de relevancia permiten a los beneficiarios recibir, valorar e interpretar las acciones del programa, y desde luego, asignarle el lugar que ocupan los hechos en dichas estructuras. Y no obstante, ello obliga al evaluador a construir un sistema de indicadores cualitativos que permitan, además de encuadrar e interpretar las diferentes percepciones que poseen los beneficiarios con respecto al programa, reconstruir el sentido que para ellos adoptan los bienes y servicios de éste.
Indicadores tales como relevancia y significatividad denotan el modo de atribución por parte de los beneficiarios del significante programa, o sea, un programa es relevante cuando resulta significativo para las personas a quienes va dirigido, quienes lo manifiestan haciendo explícitas sus diferentes percepciones racionales y afectivas con respecto al alcance del programa. Y al mismo tiempo, la significatividad permite establecer el modo concreto de atribución de significados que otorgan los beneficiarios a las acciones de los programas.
4.6 La Entrevista a Profundidad en la Evaluación de Impacto de Programas desde el Punto de Vista de los Beneficiarios y la Muestra Cualitativa.
A todo lo anterior, subsiste la pregunta ¿y cómo se realiza dicha evaluación?, y a ese respecto puede argumentarse aquí que para indagar, recoger y formular juicios sobre el impacto del programa desde el punto de vista de los beneficiarios, se deben utilizar técnicas cualitativas como la entrevista a profundidad; esta técnica, según Díaz Barriga: “Opera bajo la suposición de que cada persona resignifica sus experiencias a partir de la manera como ha conformado su esquema referencial. Esto es, la forma como ha integrado su conocimiento, percepción y valoraciones en relación a lo que la rodea (…) Los significados que el sujeto asigna a una experiencia son personales, son íntimos, sólo pueden ser reconstruidos mediante su propia palabra. Y esta palabra condensa elementos de lo acontecido, con la reconstrucción personal de las vivencias que se generaron en tal situación. La experiencia de esta manera es algo íntimo, singular, que va más allá del conjunto de acciones de lo que habitualmente se reconoce como real” (Díaz Barriga, 1991, p.161)
Con esto queremos señalar que a través de este tipo de entrevistas se busca acceder a datos que normalmente no se toman en cuenta cuando se realizan evaluaciones cuantitativas ya que en la práctica, dicha evaluación está gobernada por la búsqueda de resultados en torno a la eficiencia de los programas en la lucha contra la pobreza, por ejemplo: “Programas sociales como Oportunidades, Abasto de Leche de Liconsa y Apoyo Alimentario de Diconsa permitieron reducciones en la prevalencia de anemia y en desnutrición, así como mejoras en el nivel de ingesta diaria de nutrientes, señaló el Coneval” (El Universal, Señala Coneval qué programas sociales reducen desnutrición, 16 de octubre de 2008, p.17)
Se busca entonces ir un poco más allá de lo que habitualmente se reconoce como objetivo, dado, parte del mundo real y comprobable; en otras palabras, acceder al imaginario y las significaciones que porta todo sujeto social y que en general se torna difícil que emerjan en una situación de investigación porque la clase política las considera fuera de los datos importantes para la evaluación de impacto y la práctica institucional.
En tal virtud, la entrevista a profundidad como técnica de investigación social (Alonso, 1999, p.229) “es una conversación entre dos personas, un entrevistador y un informante, dirigida y registrada por el entrevistador para favorecer la producción de un discurso conversacional, continuo y con una cierta línea argumental. Dicha entrevista encuentra su mayor productividad en ese lugar comunicativo de la realidad donde la palabra es vector vehiculante de una experiencia personal, biográfica e instransferible”. Por esa razón, el mismo autor señala que la entrevista a profundidad por su constitución es refractaria a cualquier criterio cientificista de definición de la herramienta metodológica, ya que:
1. “No existe regla fija ninguna sobre la forma de realizar la entrevista ni la conducta del entrevistador.
2. Toda entrevista es producto de un proceso interlocutorio que no se puede reducir a una contrastación de hipótesis y al criterio de falsación.
3. Los resultados de la entrevista por sí mismos no tienen posibilidad de generalización indiscriminada ni mucho menos de universalización” (Alonso 1999, p.229).
Pero tampoco podemos obviar la recomendación bourdiana en el sentido de que sólo una imagen mutilada del proceso experimental puede hacer de la subordinación a los hechos el imperativo único, en este caso, los datos obtenidos por la entrevista a profundidad producto de la interacción entre el evaluador y los beneficiarios, porque, como señalan tres autores: “Quizá la maldición de las ciencias del hombre sea la de ocuparse de un objeto que habla. En efecto, cuando el sociólogo quiere sacar de los hechos la problemática y los conceptos teóricos que le permiten construirlos y analizarlos, siempre corre el riesgo de sacarlos de la boca de sus informante. No basta con que el sociólogo escuche a los sujetos, registre fielmente sus palabras y razones, para explicar su conducta y aun las justificaciones que proponen: al hacer esto, corre el riesgo de sustituir lisa y llanamente a sus propias prenociones por las prenociones de quienes estudia o por una mezcla falsamente científica y objetiva de la sociología espontánea del “científico”y de la sociología espontánea de su objeto” (Bourdieu, Chamboredon y Passeron 2002, p.56)
En esa dirección, la sugerencia de Bourdieu es que se pueden y se deben recoger los discursos más irreales, pero, a condición de ver en ellos no la explicación del comportamiento sino un aspecto del mismo que debe explicarse en función de una postura teórica. Esto es, en el caso de la evaluación de impacto desde la perspectiva de los beneficiarios, la información obtenida en las entrevistas a profundidad debe ser interpretada[2] en el contexto de los indicadores construidos para dicha evaluación. La metodología de evaluación del Programa Adultos Mayores se aborda en el capítulo quinto, por ahora queremos finalizar este apartado señalando lo que tiene que ver con la entrevista a profundidad y la muestra cualitativa.
De acuerdo con Saltalamacchia (op.cit p.50) “La entrevista a profundidad es una forma específica de interacción social, cuestión que no siempre queda lo bastante presente en la cabeza de aquellos que usan la entrevista, porque la misma siempre implica la producción de una relación social. Reconocido esto, se comprenderá que ella no puede ser identificada como el libre y desprevenido flujo de conciencia del entrevistado. El entrevistador ha preguntado y se ha quedado a la espera de respuestas, permitiendo por su sola presencia, sin hacer nada para que ello ocurra y sin poder evitarlo, que sobre su rostro y su cuerpo se encarnen imágenes y fantasías que le dan una fisonomía precisa y compleja en la cabeza del entrevistado. Y el entrevistado le habla o le narra a ese entrevistador que en parte él reconstruye. Por lo que, para comprender su discurso es indispensable saber cuáles son los significados que el entrevistador encierra para el entrevistado. Como así también qué significa, para él, el acto mismo de la entrevista en relación a su vida actual o futura”.
Y efectivamente, la entrevista a profundidad presupone interacción entre el entrevistador y el entrevistado, de hecho, en el caso del trabajo que nos ocupa la muestra cualitativa comenzó a forjarse en la convivencia que mantuve con algunos de los adultos mayores que participaron en la implementación del Programa Integrado Territorial de Desarrollo Social entre el 2001 y el 2006, en la Unidad Territorial Cerro de la Estrella. Finalmente , como dice el propio Salalamacchia el número óptimo de entrevistados será aquel en el que se logra la saturación de la muestra, es decir, cuando agregar nuevos entrevistados sólo agrega información de interés secundario en relación al objeto de la investigación, lo cual solamente se percibe considerando la experiencia obtenida durante la misma.
[1]A ese respecto, autores como Irma Cardozo (2005, p.173) afirmaba contar en el 2005 con el conjunto de informes de evaluación de lo 31 programas operados por la Secretaría de Desarrollo Social, (Sedesol)
[2]Por interpretación vamos a entender aquí lo que Navarro y Díaz (1999, p.621) definen como tal, es decir acto por el que otorgamos determinado sentido a cierta realidad en la que se muestra alguna intencionalidad (propia o ajena). Las realidades que pueden ser objeto de interpretación son aquellas que se estiman involucradas con la acción de algún sujeto (real o ficticio). Estas realidades pueden ser objetos, productos o presupuestos de esta acción.
