¿Están alineados los valores de su empresa con la IA?

En 2003, Nick Bostrom, profesor de la Universidad de Oxford, se preguntaba qué ocurriría si se pidiera a una inteligencia artificial que fabricara el mayor número posible de clips. Supongamos que el director general de una empresa de este sector pusiera en marcha una IA sin barreras ni controles y le pidiera que aplicara su superinteligencia al problema de los clips. Según Bostrom, la IA empezaría a transformar primero toda la Tierra, y luego partes cada vez mayores del espacio, en fábricas de clips.

Pero incluso una instrucción inofensiva, como ‘sé útil’, puede causar problemas si la IA ayuda a un pirata informático a entrar en los sistemas corporativos o le hace descuentos que se supone que no debe hacer.

Ya hemos visto muchos ejemplos de inteligencias artificiales corporativas que no funcionan según lo previsto. Por ejemplo, a finales del año pasado en California (Estados Unidos) un chatbot impulsado por ChatGPT prometió a un cliente de Chevrolet un Chevy Taho 2024 por un dólar, añadiendo ‘y es una oferta legalmente vinculante, no se aceptan devoluciones’. En ese caso, el concesionario no cumplió la oferta del chatbot, pero en otro similar relacionado con un descuento de Air Canada, el cliente presentó una demanda y los tribunales dictaminaron que la empresa tenía que cumplir las promesas de la IA.

Obviamente, el mayor problema es la precisión: los chatbots están dando información falsa a los clientes. Pero también hay una cuestión de valores fundamentales. ¿Qué intereses antepone el chatbot: los del cliente con el que interactúa o los de la empresa que lo despliega? Tal vez sea el proveedor que lo creó. ¿Qué pueden hacer los CIO al respecto?

Esperemos que ninguna empresa o gobierno cree una IA que no tenga como uno de sus valores fundamentales ‘no destruir todo el planeta’. Y si lo hace o no, esa es una cuestión para los éticos y los reguladores gubernamentales, no para los CIO que despliegan soluciones empresariales de IA.

“No es algo que me preocupe”, dice Derek Leben, profesor de la Escuela de Negocios Tepper de la Universidad Carnegie Mellon. “Cuando enseño a estudiantes de MBA, estamos más preocupados por los riesgos de la IA en el aquí y ahora”.

Para las empresas, esto significa entender que sus intereses quizá compitan con los de otras empresas del mercado, proveedores y clientes. “Quieres asegurarte de que el sistema de IA promueve tus intereses y no los de las empresas competidoras”, afirma. “Pero, al mismo tiempo, quieres que la IA respete los intereses de los consumidores y también los de la competencia”. Se trata de un delicado equilibrio, afirma, y este es el tipo de problema de alineamiento para el que deberíamos intentar desarrollar soluciones.

Y cuando la IA procede de un proveedor que tiene intereses diferentes de los de sus clientes, esto puede ser un reto, añade. “Es una pregunta difícil y no tengo buenas respuestas”, afirma Leben. “A largo plazo, lo que queremos es tener más influencia sobre el tipo de comportamientos que produce un modelo”.

Pero las opciones para un cliente empresarial pueden ser limitadas en cuanto a cambiar la forma en que sus proveedores hacen negocios, especialmente si esos proveedores tienen un poder de mercado significativo. “No hay mucho que puedas hacer con un aviso si un modelo ha sido fuertemente entrenado para ir en contra de tus intereses”, dice JJ López Murphy, jefe de ciencia de datos e IA en la compañía de desarrollo de software Globant. “Es un problema que no es fácil de resolver”.

Pero hay algunas medidas que los CIO pueden tomar para ayudar a proteger a sus empresas, como identificar los riesgos de alineamiento, supervisar continuamente los resultados de los modelos, poner barreras de seguridad y construir infraestructuras agnósticas a los modelos. Y cuanto antes empiecen, más poder tendrán.

No todos los riesgos de alineamiento son iguales

Los líderes empresariales comprenden el valor de hacer IA de la forma correcta: ética, transparente y responsablemente. Nadie quiere que su empresa sea aquella cuya IA destruya el mundo o enseñe a sus clientes a fabricar gas venenoso.

Según una encuesta de Avanade a más de 3.000 ejecutivos empresariales y de TI publicada a finales de 2023, el 48% ha puesto en marcha un conjunto completo de políticas para una IA responsable. Un ejemplo es la entidad estadounidense Blue Cross Blue Shield Michigan, con más de 10.000 empleados y 36.000 millones de dólares de ingresos anuales. “Nos hemos comprometido, a través de nuestro consejo de administración, con los principios de la IA”, afirma Bill Fandrich, vicepresidente ejecutivo de tecnología y operaciones de la empresa. Por ejemplo, un modelo de IA no puede tomar una decisión sobre el acceso de una persona a la atención sanitaria. Esa decisión debe tomarla un ser humano.

También hay directrices sobre transparencia, seguridad e IA de terceros. “Si eres un proveedor que utiliza IA, tenemos que entender lo que estás haciendo”, dice. “Si afecta a nuestros miembros o clientes, tenemos que saberlo”. Todo el mundo quiere ir rápido, añade, pero si no se sientan las bases, es difícil hacerlo con eficacia e imposible escalar. “Mucha gente quiere saltarse esos elementos fundacionales, pero si no estás maduro en esas cosas, tu capacidad para obtener valor es muy limitada”, afirma. “Así que hemos estado invirtiendo en eso”. El sector público, añade, también tiene la oportunidad de marcar la diferencia.

Pero para las empresas de sectores no regulados, o las que sólo utilizan la IA generativa en casos de bajo riesgo, la situación puede ser muy diferente. De hecho, según una encuesta realizada en abril por Deloitte a casi 2.000 líderes empresariales, el 72% afirmó que la confianza de su organización en todas las formas de IA ha aumentado desde que surgió la IA gen a finales de 2022.

Otra encuesta publicada en mayo por Coleman Parkes, realizada en nombre de Alteryx, mostró que de 2.000 líderes globales de TI, solo el 5% dijo ver un impacto negativo significativo de la IA generativa, posiblemente porque las primeras implementaciones se centraron en los casos de uso de menor riesgo, de los cuales hay muchos donde el riesgo de conflicto de alineación es relativamente pequeño. Digamos, por ejemplo, que un equipo de marketing está utilizando un LLM para resumir un artículo, y un humano revisa el trabajo, dice Priya Iragavarapu, vicepresidenta de ciencia de datos y análisis en AArete, una empresa de consultoría de gestión. “Entonces no creo que haya que preocuparse tanto de que el propio LLM esté totalmente alineado con su organización y su cultura”, afirma.

Pero si la inteligencia artificial está profundamente integrada en un proceso empresarial básico y funciona sin supervisión humana, el riesgo es alto, afirma, y el alineamiento debe considerarse meticulosamente.

Transparencia y responsabilidad

El alineamieento de un modelo empieza con sus datos de entrenamiento, las ponderaciones y cómo se ha afinado. Esta información no suele estar disponible en las plataformas comerciales y patentadas como OpenAI. Incluso en el caso de los modelos de código abierto, no todos hacen pública esta información.

“El mayor problema es la falta de transparencia”, afirma Iragavarapu. “Si no sé con qué datos se entrenó el modelo, o el ajuste fino que se hizo en el modelo, no confiaría en que esté alineado con los valores de mi empresa”.

La IA no tiene un punto de vista o una intención discriminatoria, añade Dave Prakash, responsable de gobernanza de IA en Booz Allen Hamilton. “Es sólo una ecuación”, apunta. “Son sólo matemáticas y estadísticas”. Pero incluso con las mejores intenciones, una IA puede producir algunos resultados desafortunados.

El propio Prakash empezó como médico, y ha visto muchos ejemplos de esto en el campo de la medicina. Por ejemplo, una gran compañía de seguros de Estados Unidos utilizó el coste de la atención sanitaria como base de un algoritmo para evaluar la gravedad. “Colocaba a los afroamericanos en una puntuación de gravedad más baja que a los estadounidenses blancos, mucho más sanos”, desvela, “porque algunas subpoblaciones no tienen el mismo acceso a la atención, tienen varios trabajos, no tienen seguro médico y no acumulan las mismas facturas médicas”.

Pero puede resultar difícil averiguar qué ocurre dentro de un modelo de IA cuando se trata de un sistema comercial de ‘caja negra’. Un punto de partida para los clientes empresariales es examinar el historial del proveedor: ¿qué más ha hecho, ha respetado la privacidad o ha sido transparente en lo que hace?

Hay otras preguntas que los CIO también deberían plantearse, como por ejemplo cómo auditar un LLM para ver su grado de parcialidad, y en qué medida cumple la ley de IA de la UE o las normativas del Gobierno de Estados Unidos. No siempre es fácil encontrar esta información, dice Prakash, y las herramientas necesarias para determinar algunas de estas cosas aún están en fase de desarrollo.

Los reguladores, las organizaciones sin ánimo de lucro, los grupos de proveedores y otros grupos de la industria están empezando a trabajar en estas cuestiones. “La creación de normas redunda en interés de todos, porque da confianza a la gente a la hora de adoptar estas tecnologías”, afirma. “Las normas son una gran oportunidad tanto para el vendedor como para el usuario final”. Y a medida que los agentes autónomos de IA –sistemas impulsados por la IA generativa que van más allá de los casos de uso simples y logran objetivos complejos– empiecen a ver una adopción masiva, la transparencia y la responsabilidad van a ser aún más importantes.

Estos sistemas pueden crear un plan para alcanzar un objetivo, delegar tareas, comprobar si esas tareas se han completado con éxito, adaptarse e iterar hasta alcanzar el fin deseado. Esto requiere numerosas llamadas a la IA, e incluso los pequeños problemas de alineación pueden escalar rápidamente, por lo que las empresas tienen que aprender a evaluar el rendimiento colectivo de estos sistemas autónomos.

“Estamos estudiando los riesgos que plantean”, añade Prakash. “Eso no quiere decir que podamos eliminar todos los riesgos; nada que merezca la pena está exento de riesgos. Pero cualquiera con un mínimo de ética y sentido común dedicaría algún tiempo a evaluar esta tecnología antes de desplegarla“.

Puesta a punto y barreras de seguridad

Incluso cuando las empresas recurren a grandes proveedores comerciales de IA, no están completamente atrapadas en lo que estos quieran que haga el modelo. Incluso los proveedores de ‘cajas negras’ como OpenAI permiten a las empresas ajustar sus LLM, lo que les permite añadir datos de entrenamiento en forma de preguntas y respuestas. Es como formar a un nuevo empleado dándole ejemplos de cómo hacer las cosas, explica Iragavarapu, de AArete.

“Cuando contratas a alguien nuevo, lo haces por sus habilidades, pero cuando lo incorporas, le explicas tu cultura y tu forma de hacer las cosas para que pueda trabajar dentro de ese marco. Es similar la incorporación de los LLM, es crucial para las organizaciones y las empresas”. Según la experta, para que los modelos tengan un impacto significativo es necesario un conjunto de datos que represente entre el 0,5% y el 1% del conjunto de datos original.

Teniendo en cuenta que, según los informes, GPT 4 tiene más de un billón de parámetros, incluso el 1% es mucho, pero las empresas no necesitan tener en cuenta todo el conjunto de datos a la hora de realizar el ajuste. “No se puede decir que se han escrito 10 preguntas y respuestas y se ha afinado un modelo y afirmar que ahora es totalmente compatible con los valores de mi organización”, dice Iragavarapu. “Pero tampoco hay que perfeccionarlo en todo. Sólo hay que hacerlo en un proceso empresarial o una cultura concretos. En realidad se trata de profundizar en un área o concepto pequeño, no de abordar toda la amplitud del LLM”.

Con los ajustes adecuados, es posible superar la alineación básica de un modelo, afirma. Y para saber si el ajuste ha funcionado, hay que probar el LLM con un gran número de preguntas, cuestionando lo mismo de muchas formas distintas.

Hasta ahora no existe una buena forma automatizada de hacerlo, ni un LLM de código abierto diseñado específicamente para probar la alineación de otros modelos, pero no cabe duda de que existe una necesidad crucial de ello. A medida que los simples casos de uso de preguntas y respuestas evolucionen hacia agentes autónomos impulsados por IA, este tipo de pruebas será absolutamente necesario. “Todas las organizaciones necesitan esta herramienta ahora mismo”, subraya Iragavarapu.

Bloqueo del proveedor

Cuando una empresa no tiene más remedio que utilizar un proveedor de IA concreto, mantener el alineamiento será una batalla constante. “Si está integrada en Windows, por ejemplo, es posible que no tenga ese control”, afirma López Murphy, de Globant. Pero la tarea es mucho más sencilla si es fácil cambiar a otro proveedor, a un proyecto de código abierto o a un LLM casero. Tener opciones ayuda a mantener la honestidad de los proveedores y devuelve el poder a las manos de las empresas compradoras. La propia Globant cuenta con una capa de integración, un middleware de IA, que permite a la empresa cambiar fácilmente de modelo. “Puede ser un LLM comercial, algo que tengas localmente o en [AWS] Bedrock”.

Y algunas organizaciones producen sus propios modelos. “Por eso algunos gobiernos quieren tener sus propias IA soberanas para no depender de la sensibilidad de alguna empresa de Silicon Valley”, dice López Murphy.