원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
El micro-sharding que impulsaron LangChain o AutoGPT ha fracasado. Fragmentar las etapas en docenas de pasos puede hacer que la cadena lógica parezca sofisticada, pero en la práctica, el contexto se diluye en cada llamada y solo aumenta la indeterminación. Al utilizar LLMs con capacidades de razonamiento que han dado un salto cuántico, como Claude 3.5 o el próximo modelo 4, es necesario cambiar de estrategia. No pierda el tiempo lidiando con nodos fragmentados. En su lugar, debe integrarlos en una estructura de gestión de estado centralizada controlada por un Planner.
Para una transición de arquitectura exitosa, primero encapsule las micro-tareas existentes como métodos dentro de una sola clase para crear un repositorio de herramientas (Tool Box). Luego, defina un objeto State único al que todos los agentes hagan referencia. Este debe incluir obligatoriamente los campos plan (plan paso a paso), history (registro de ejecución de herramientas) y artifacts (datos generados).
Utilice la función de reductor (reducer) de LangGraph para que cada agente actualice este estado compartido al finalizar su tarea. Al bloquear físicamente la desconexión del contexto, desaparece el envío de tokens duplicados. De hecho, los equipos que han migrado a esta estructura han reducido de inmediato los costes de API en más de un 30%.
Las valoraciones subjetivas del tipo "el resultado parece aceptable" son una bomba de relojería en un entorno de producción. Implemente el patrón LLM-as-a-Judge, pero asegúrese de forzarlo a nivel de código. El agente Evaluator debe desglosar el resultado del Generator en cuatro indicadores: precisión, coherencia, legibilidad y eficiencia, y convertirlos en números.
Utilice la librería Pydantic para obligar a que los resultados de la evaluación sigan un esquema JSON específico.
RubricScore y configure cada indicador como un campo de número entero entre 1 y 5.Merge Block para detener automáticamente el despliegue en el pipeline de CI/CD y enviar una señal de retrabajo.Al establecer este sistema de verificación automatizado, el trabajo de validación que antes tomaba 5 horas a un humano se reduce a menos de 10 minutos. El sistema de puntuación mecánica es frío, pero aumenta drásticamente la predictibilidad del sistema.
Una vez que el bucle de agentes comienza a girar, los tokens se acumulan a una velocidad aterradora. Enviar las instrucciones del sistema y las definiciones de herramientas cada vez es como tirar dinero a la calle. El Prompt Caching de Claude cobra solo un 10% de la tarifa habitual por los tokens almacenados en caché. Para aprovechar este beneficio, debe emplear una estrategia de coincidencia de prefijos, organizando la estructura del prompt del componente estático al dinámico (Tools → System → Messages).
cache_control.<system-reminder> para insertar información variable. Esto evita que se rompa el caché del prefijo superior.Si diseña correctamente la estrategia de caché, puede recortar los costes de llamadas a la API hasta en un 90%. La velocidad de respuesta también mejora de forma perceptible. Es la única manera de ganar tanto en dinero como en tiempo.
Si el Generator y el Evaluator se vuelven obstinados y no logran ponerse de acuerdo, el agente cae en un punto muerto (deadlock). Esto no es un simple error, sino un desastre que conduce a una explosión de costes. Para evitarlo, se necesita un interruptor de circuito (circuit breaker) multicapa que monitorice el número de tareas y la similitud de las respuestas. En particular, si la similitud de coseno entre la respuesta anterior y la actual es de 0.95 o superior, es una señal clara de que el agente está repitiendo lo mismo y girando estúpidamente en un bucle.
Dar pleno poder a un agente no es valiente, es irresponsable. Es preferible no operar un sistema de agentes que no cuente con dispositivos de seguridad.
El proceso de tres agentes trabajando juntos es una caja negra. Si no sabe dónde están los cuellos de botella, la mejora es imposible. Conecte un sistema de rastreo que siga el estándar OpenTelemetry para visualizar el flujo de mensajes entre agentes. Al implementar el checkpointing basado en Redis, incluso si el sistema falla, no es necesario empezar desde cero, sino que se puede continuar desde el último punto de éxito.
Extraiga el valor de cache_read_input_tokens de las cabeceras de respuesta de la API y represéntelo en el dashboard. Si la tasa de acierto de caché (cache hit rate) es baja, es evidencia de que la estructura del prompt es incorrecta. Además, si gestiona y mide la velocidad a la que converge el bucle, podrá demostrar con números los logros de la ingeniería de prompts. Almacenar los ID de sesión y las versiones de los artefactos en PostgreSQL permite realizar una retrospectiva precisa sobre en qué puntos se perdió el equipo de agentes en el pasado. Un agente que no registra sus pasos nunca llegará a ser inteligente.