Lo que un error bancario de 900 millones de dólares nos enseña sobre los agentes de IA - John Feminella, Two Sigma

하이라이트

• En agosto de 2020, un software de procesamiento interno llamado Flexcube transfirió por error 900 millones de dólares en lugar de 8 millones a más de 300 prestamistas de Revlon.

• Los operadores humanos anularon una notificación de advertencia del sistema porque asumieron erróneamente que la transacción de pago de intereses era correcta.

• Los agentes autónomos de IA operan con sistemas no deterministas de manera similar a los humanos y requieren barandillas y controles estructurados en lugar de un aislamiento total.

• Un registro de agentes centralizado permite rastrear la propiedad, las herramientas autorizadas y los puntos de conexión de cada aplicación de IA desplegada en la empresa.

• Las directrices de seguridad basadas en declaraciones previas otorgan a los agentes acceso únicamente a las herramientas y recursos específicos necesarios para su propósito asignado.

• Los clasificadores conservadores independientes automatizan las decisiones rutinarias para evitar la fatiga de revisión humana provocada por aprobaciones manuales masivas.

타임라인

1. 00:00 - 05:00

   El error de Citibank de 900 millones de dólares

   Las instituciones altamente reguladas operan bajo estrictos controles cuya importancia se comprende con claridad cuando ocurren fallos operativos graves. En agosto de 2020, durante una transacción de la compañía Revlon con más de 300 prestamistas, un error en el software de procesamiento provocó que el dinero del principal saliera del banco de forma imprevista. A pesar de las advertencias emitidas por el sistema, el personal humano aprobó la transferencia porque asumió que se trataba de la rutina correcta. Este incidente impulsó la inclusión de cláusulas específicas en los acuerdos de préstamos y sirve como analogía directa para entender los riesgos de otorgar autonomía a los sistemas automatizados.

   • Citibank transfirió accidentalmente 900 millones de dólares del principal de un préstamo de Revlon en lugar de pagar 8 millones en intereses.
   • El software interno Flexcube requería marcar casillas específicas de cuentas de compensación que se pasaron por alto durante el proceso.
   • Los operadores humanos anularon una advertencia del sistema creyendo que la operación correspondía al flujo habitual de pagos.
2. 05:00 - 07:33

   Autonomía, control y la falacia del aislamiento

   Los sistemas de inteligencia artificial operan de manera no determinista, lo cual genera inquietud sobre su comportamiento imprevisible en entornos de producción. Sin embargo, los humanos operan bajo la misma premisa y también cometen errores, por lo que la solución empresarial no consiste en restringir por completo su libertad. Aislar a los agentes en entornos cerrados o depender únicamente de documentos de políticas estáticas inutiliza su potencial operativo. La estrategia correcta combina límites definidos, visibilidad y sistemas de control que permiten avanzar con rapidez y seguridad de forma simultánea.

   • Los agentes de IA son sistemas no deterministas que cometen errores de forma similar a los operadores humanos.
   • El aislamiento total de los agentes genera seguridad pero elimina su utilidad práctica dentro de una empresa.
   • La seguridad y la innovación no son conceptos opuestos, sino elementos compatibles mediante barandillas y límites adecuados.
3. 07:33 - 18:45

   Implementación de controles componibles para agentes

   Para gobernar múltiples agentes sin obstaculizar la innovación, se implementan cinco controles componibles que resuelven problemas específicos de visibilidad y acceso. El registro de agentes automatiza la identificación de propietarios, herramientas y puntos de conexión desde el momento de su creación. Asimismo, la declaración previa de permisos limita el acceso de cada agente exclusivamente a los recursos requeridos para su función específica, evitando filas de espera prolongadas. Finalmente, el uso de clasificadores independientes absorbe las aprobaciones rutinarias repetitivas, protegiendo a los revisores humanos de la fatiga de decisiones y permitiéndoles intervenir únicamente en situaciones críticas.

   • Un registro de agentes centralizado garantiza la visibilidad, la propiedad y la trazabilidad de cada aplicación desplegada.
   • Los agentes declaran sus herramientas y permisos por adelantado para evitar revisiones manuales masivas e innecesarias.
   • Los clasificadores automatizados gestionan las solicitudes rutinarias mientras que las decisiones ambiguas o de alto riesgo se derivan a los humanos.