La parte difícil de los agentes de IA no es actuar, es planificar
Construir un agente de IA que realice tareas es fácil. Construir uno que las planifique correctamente es difícil.
He desarrollado una CLI donde escribes una frase y un LLM ejecuta acciones en tus cuentas reales. Utilizo dos modos: modo Directo y modo Planificación.
El modo Directo es para la velocidad. El modo Planificación es para la seguridad. En el modo Planificación, el agente te muestra cada paso antes de tocar tus datos.
Así es como construí un planificador fiable:
• Divide el cerebro Un solo agente no puede encargarse tanto de la planificación como de la ejecución. Un agente de planificación quiere pensar. Un agente de ejecución quiere actuar. Los separé en dos agentes distintos con dos prompts de sistema diferentes. Esto evita que entren en conflicto entre sí.
• Dale ojos al agente Un planificador que adivina es peligroso. Mi primera versión inventaba planes basados en suposiciones. Ahora, el planificador utiliza herramientas de solo lectura para investigar tus datos primero. Examina tus campos reales de Salesforce antes de escribir un solo paso.
• Precompleta las respuestas Los agentes suelen hacer preguntas mediocres. Si hacen demasiadas, terminas haciendo el trabajo por ellos. Cambié esto. El planificador sigue haciendo preguntas, pero ofrece una respuesta recomendada. Tú solo tienes que confirmar o ajustarla. Esto mantiene la precisión del plan sin necesidad de introducir datos manualmente.
• Pasa el contexto, no solo la lista Si solo le das al ejecutor una lista de pasos, pierde el razonamiento. Hice que el planificador pasara las suposiciones y los riesgos junto con los pasos. Ahora el ejecutor conoce el "porqué" de cada acción.
• Etiqueta el peligro Un plan solo es seguro si puedes ver los riesgos. Mi sistema marca las acciones destructivas, como eliminar o renombrar. Cuando el agente llega a un paso destructivo, se detiene y te pregunta.
• Usa los datos como criterio de desempate Si un agente cree que un paso ha fallado y le pides que lo reintente, no obedece ciegamente. Comprueba los datos reales de la plataforma. Si los datos muestran que la tarea ya está hecha, el agente confía en los datos por encima de tu instrucción.
La verdad sobre la seguridad: El modo Planificación no detiene la inyección de prompts ni a un usuario que hace clic en "aprobar" sin mirar. Traslada la responsabilidad de "confiar en el modelo" a "confiar en que el humano revise".
La estructura proporciona las protecciones, pero tu revisión proporciona la seguridad final.
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi