La adopción de la IA se ha acelerado con tanta rapidez que la mayoría de las organizaciones están creando e implementando modelos a un ritmo que sus estructuras de gobernanza no pueden seguir. Para los directores de datos, este cambio representa tanto un desafío como una nueva obligación. La IA ya no encaja a la perfección en los programas tradicionales de gobernanza de datos, ni se comporta de una forma lo suficientemente predecible como para que los marcos de riesgo heredados la puedan contener por completo.
Esto se debe a que la IA introduce una nueva clase de riesgo; un riesgo dinámico, probabilístico y profundamente entrelazado con los propios datos. Los modelos cambian con los datos. Los resultados varían. La probabilidad de las amenazas aumenta. Los resultados de un equipo se convierten en los datos de otro. Y la rendición de cuentas se difumina entre los equipos de datos, seguridad, cumplimiento normativo e ingeniería. Toda esta convergencia está poniendo a los directores de datos en el centro de la gobernanza de la IA, independientemente de si la organización está preparada para ello o no.
Los modelos de riesgo heredados asumen la previsibilidad
Los marcos de gobernanza tradicionales se crearon para sistemas predecibles y la IA es cualquier cosa menos eso. De hecho, el mismo mensaje puede generar diferentes resultados en apenas unos segundos de diferencia. Un conjunto de datos aparentemente benigno puede producir respuestas sesgadas o poco fiables en cuanto se combina con un modelo concreto. Y, por otra parte, un modelo que se consideraba seguro el mes pasado podría comportarse de modo muy diferente hoy debido a la deriva o los cambios en los sistemas anteriores en la cadena.
Estas realidades generan lagunas que los marcos heredados tienen dificultades para abordar:
- El riesgo no se puede validar una vez y asumir que es estable: la IA requiere pruebas estadísticas repetidas para detectar modos de fallo de baja frecuencia pero de alto impacto.
- Las revisiones periódicas son demasiado lentas: los ciclos de gobernanza no pueden seguir el ritmo de la rápida evolución de los modelos y las amenazas emergentes.
- La rendición de cuentas no está clara: la IA está relacionada con el ámbito de los datos, la seguridad, el cumplimiento normativo, la ingeniería y el ámbito jurídico al mismo tiempo, lo que hace imposible que un solo equipo se pueda encargar de su gobernanza.
- Los controles tradicionales pasan por alto los riesgos específicos de la IA: los sesgos, las alucinaciones, las filtraciones, la manipulación de prompts y los desafíos del origen de los datos no se pueden capturar únicamente con los controles de seguridad convencionales.
Como el riesgo de la IA se origina a partir de los datos, evoluciona de manera continua y surge a través de las interacciones de los usuarios, los directores de datos se encuentran en una posición única en la actualidad para liderar un modelo de gobernanza modernizado.
El riesgo de la IA también es el riesgo de los datos
Las organizaciones que tienen éxito con la IA son aquellas que se replantean la gobernanza desde cero. Para los directores de datos, esto significa ir más allá de las prácticas que priorizan el cumplimiento normativo y que requieren mucha documentación con el fin de avanzar hacia un programa continuo, automatizado e integrado directamente en los flujos de trabajo de desarrollo.
Estos son los tres cambios principales:
- La gobernanza debe fundamentarse en la telemetría y no en listas de comprobación.
La supervisión de las derivas, los sesgos, las filtraciones y los patrones de prompts anormales debe realizarse de forma continua. Por su parte, la calificación de riesgos automatizada sustituye a las evaluaciones estáticas. - Los equipos de ingeniería y ciencia de datos deben operar con un enfoque consciente de los riesgos.
La gobernanza no puede improvisarse, sino que debe integrarse en la forma en que los equipos desarrollan, prueban e implementan sus modelos desde el principio. - El linaje y el origen deben convertirse en controles de seguridad básicos.
Comprender de dónde proceden los datos, cómo fluyen y cómo influyen en el comportamiento de los modelos es esencial para la seguridad de la IA. Los directores de datos ya cuentan con estas aptitudes. Pero ahora deben amoldarlas a la IA.
Los directores de datos deben diseñar una IA confiable
Mediante la creación de comités de gobernanza interfuncionales, la definición de taxonomías compartidas, la mejora de las prácticas de linaje y la implementación de herramientas que automatizan las evaluaciones de impacto y los flujos de trabajo de riesgo, los directores de datos pueden crear programas de gobernanza que aceleren la innovación en lugar de ralentizarla.
La IA avanza con rapidez, pero la gobernanza puede avanzar a la misma velocidad cuando la automatización y la colaboración se integran adecuadamente en su diseño.
La gobernanza moderna de la IA no consiste en restringir los negocios, sino de permitir la adopción responsable a escala. Y los líderes que desarrollen esa capacidad definirán el modo en que compiten sus organizaciones en la era de la IA.
Para profundizar en las lagunas de los marcos tradicionales y obtener una hoja de ruta práctica de 90 días para crear un programa de gobernanza bien preparado para la IA, descarga el libro electrónico completo aquí.
