La falacia de los rankings

  • William Henry Steinwascher Sacio
La falacia de los rankings como forma de evaluación de la calidad y del desempeño organizacional

En los últimos años han cobrado mucha importancia los rankings como forma de evaluación y comparación de cualquier tipo de entidad, institución y empresa, tanto del ramo público como privado. En todo tipo de medio (radio, televisión, Internet, espectaculares, revistas y periódicos) encontramos con mucha frecuencia los rankings de las más importantes empresas, las más internacionalizadas, los países, estados y municipios más competitivos, las mejores universidades y los mejores programas, los mejores equipos, políticos y directivos, etc. Esta información se ha utilizado para evaluar y comparar los avances (o retrocesos) de cualquier tipo de organización que creemos comparables, la calidad de productos y servicios, y el desempeño de su equipo directivo. Muchas organizaciones, políticos y directivos aprovechan estos rankings para atribuirse logros y continuar con su propia agenda, descuidando aquellos aspectos que son su razón de ser.

Los rankings son herramientas muy útiles para comparar y darnos una idea de la situación en la que están las organizaciones y entidades comparables en ciertos atributos. Ordenan a los sujetos observados según la presencia de ciertas características; y en algunos casos, cuando nos brindan esa información, nos permite determinar qué tan alejados están entre si los sujetos de análisis cuando nos brindan sus puntuaciones o la cantidad de atributos que tiene cada uno. Recientemente analicé a profundidad algunos  atributos de las multilatinas del ranking de América Economía que no se apreciaban a simple vista. Los rankings pueden cambiar el orden de las empresas por sus diferentes metodologías, esto nos enriquece el análisis para conocer mejor a nuestras organizaciones. Pero existen medios informativos que aprovechan resultados para llamar la atención del público e instituciones han utilizado los rankings de manera sesgada para maquillar su verdadero desempeño organizacional y atributos de calidad.

El presente artículo no critica los rankings ni a las entidades evaluadas, pero si cuestiona la interpretación incompleta y equivocada que se hace de los resultados que reportan. Para ejemplificar la presente columna voy a hacer uso del ranking FIFA porque no tiene que ver con negocios u organizaciones mexicanas, todos los equipos persiguen el mismo fin y son fácilmente comparables, y usa indicadores cuantitativos. Titulares recientes han reportado que México cayó 3 posiciones en el ranking FIFA de Junio a Julio 2013, pasando del lugar 17 al lugar 20. ¿Qué significa esto para usted? Que hemos hecho las cosas peor, y podrán decirme que los resultados lo afirman. Permítame compartirle resultados pasados de México en este ranking:

  1. En Enero de 2011 México se ubicó en el lugar 27 con 795 puntos; para Mayo del mismo año México mejoró su puntuación a 802 puntos pero bajó al lugar 28.
  2. En Octubre de 2012 México alcanzó el lugar 19 con 995 puntos; en Noviembre del mismo año bajó su puntuación a 984 puntos pero subió 5 escalones hasta el lugar 14. Y un mes después, México recuperó su puntuación y alcanzó los 994 puntos pero su ubicación retrocedió un lugar.
  3. En Marzo de 2013 México obtuvo 995 puntos y se ubicó en el lugar 15. Para el mes siguiente la puntuación bajó a 971 puntos pero la selección subió al lugar 14.
  4. En los últimos 30 meses México se ha ubicado entre los lugares 17 y 22 con una puntuación promedio de 891 puntos.
  5. En el último mes, México tiene 880 puntos y se ubica en la posición 20.
  6. México está aproximadamente 600 puntos abajo de la primera posición y 100 puntos arriba de la posición 40.

El ranking de la FIFA tiene la ventaja que compara selecciones equivalentes y se basa en información muy objetiva. Sin embargo podemos observar en algunas fechas que a pesar que México mejoró en su desempeño el resultado en el ranking fue negativo; así como momentos en los que a pesar que México obtuvo malos resultados escaló posiciones. Esto se debe a dos razones:

  1. Los competidores de México también juegan y obtienen logros y derrotas que pueden beneficiar o perjudicar la posición de México. Perder posiciones no significa necesariamente que las cosas se hicieron mal, se pudo haber mejorado pero los competidores pudieron haber avanzado más en menos tiempo.
  2. Existe diferente estacionalidad entre las selecciones por las diferentes fechas de los torneos y partidos que enfrentan en cada confederación de futbol. Mientras más partidos tenga una selección en un período, mayor oportunidad tendrá de escalar en el ranking en ese período.

A diferencia del ranking de la FIFA, los rankings que evalúan el desempeño de empresas, gobiernos, organizaciones sin fines de lucro, productos, directivos y políticos tienen el inconveniente de que las empresas son diferentes entre ellas. Es difícil comparar a las empresas porque tenemos manufactureras, extractivas y de servicios, que tienen diferente uso de mano de obra, capital y tecnología. Comparar universidades privadas con públicas es como comparar peras con manzanas porque mientras las públicas tienen la misión de atender la mayor demanda de la población en todo tipo de programas, las privadas tienen la misión de atender la demanda insatisfecha que dejan las públicas de una manera sostenible. Entonces, vamos a encontrar empresas y organizaciones que tendrán un desempeño diferente, adquirirán competencias y recursos específicos y trabajarán por maximizar su uso; mientras que para otras las limitaciones y objetivos de eficiencia son de menor importancia.

Otro inconveniente que tienen los rankings es que la metodología puede incorporar tanto información cuantitativa como subjetiva que no siempre es comparable. Entonces tenemos que estamos evaluando información donde existen encuestas de opinión, cuestionarios y solicitamos información esperando la buena fe de los participantes.

Los resultados de los rankings son útiles cuando:

  1. Se evalúa el desempeño de cada sujeto con respecto a los objetivos de desempeño establecidos.
  2. Se considera la posición y la puntuación individual que obtuvo cada sujeto, se evalúa dentro de su comportamiento histórico y se ve el resultado dentro de una tendencia.
  3. Analizar la escala de evaluación, las agrupaciones notorias, las distancias relevantes y nuestra ubicación en el ranking.
  4. Se compara con otros rankings para obtener una evaluación más completa y objetiva.
  5. Se analiza la metodología, se distinguen los factores claves de éxito de cada ranking y se evalúa la subjetividad de los participantes.
  6. Permiten identificar fuentes, recursos y competencias que brindan ventaja competitiva y nos comparan con nuestros verdaderos competidores.
  7. Se han identificado los picos que generan un resultado extraordinario no sostenible, como en casos de estacionalidad.

Las grandes empresas que desarrollan cadenas de proveedores y distribuidores también han establecido una serie de rankings para evaluar el desempeño de las pequeñas y medianas empresas con las que trabajan. Los empresarios que dirigen estas empresas no deben basar su desempeño para cumplir estos ranking en el corto plazo, sino establecer objetivos estratégicos y planes de gestión de largo plazo que permitan desarrollar las competencias distintivas y recursos estratégicos necesarios para ir escalando posiciones en estas evaluaciones de manera sostenible. Por otro lado, las grandes empresas deben evaluar periódicamente tanto la metodología de sus rankings, las características particulares de los participantes, como el desempeño individual de sus aliados y sus esfuerzos por mejorar. De no hacerlo pueden generar que la dirección de las empresas se oriente sólo al cumplimiento de indicadores y promuevan comportamientos competitivos predatorios entre sus aliados y pondrán en riesgo toda su cadena de valor.

Entonces, los rankings son importantes pero es más importante desmenuzar la información y evaluarla apropiadamente, ponerla en contexto y contrastarla con sus propios objetivos. Recuerde que así como un vaso puede estar medio lleno o medio vacío, la interpretación equivocada, sesgada o irresponsable de un ranking puede poner a su organización, productos o servicios en una posición medio buena o media mala. Puede usted engañarse a si mismo, a sus socios, aliados, clientes y comunidad en general.

William Steinwascher

william.henry@itesm.mx

@billsteinwa

Opinion para Interiores: 

Anteriores

William Henry Steinwascher Sacio

 

Consultor en empresas familiares, y profesor de asignaturas en diferentes universidades de México a nivel posgrado y pregrado. Doctor y Maestro en Ciencias Administrativas en el Tecnológico de Monterrey, Campus Ciudad de México, Maestro en Banca y Finanzas en la Universidad de Lima (Perú) y Licenciado en Administración en la Universidad Inca Garcilaso de la Vega (Perú). Sus áreas de consultoría e investigación se enfocan al desarrollo de estrategias empresariales y financieras, gobernabilidad corporativa y sucesión empresarial. Ha publicado artículos sobre sus áreas de interés académico en revistas arbitradas, y presentado artículos en congresos nacionales e internacionales. En su experiencia profesional ha desempeñado funciones de Desarrollo de Negocios, Planeación Estratégica, Inteligencia Comercial y Administración de Ventas en instituciones de educación superior  y en empresas de servicios medioambientales, construcción, telecomunicaciones  y autotransporte. En su experiencia académica ha impartido clases de estrategia, finanzas, emprendimiento y gestión a nivel licenciatura, maestría y doctorado desde el año 2009.