Prompts de sistema a mitad de la conversación
Construir agentes de IA de larga duración suele conducir a un error costoso.
Utilizas un prompt de sistema extenso y lo guardas en caché para ahorrar dinero. Esto funciona hasta que necesitas darle al agente nuevas instrucciones a mitad de la sesión. Es posible que necesites cambiar el lenguaje de programación o actualizar el estado del proyecto.
Si editas el prompt de sistema de nivel superior para añadir esta información, rompes la caché. El modelo debe volver a procesar todo el historial al precio completo. Esto hace que tu agente sea lento y costoso.
Los nuevos modelos de Claude resuelven esto con mensajes de sistema a mitad de la conversación.
Ahora puedes colocar un mensaje con el rol de sistema directamente dentro de tu array de mensajes. Lo colocas después del historial en lugar de al principio.
Por qué esto es importante:
• Seguridad de la caché: La instrucción se sitúa después de tu historial en caché. No invalida el prefijo. Solo pagas por el nuevo mensaje pequeño. • Seguridad: Puedes usar mensajes de usuario como una solución alternativa, pero los usuarios pueden falsificarlos. Un mensaje con rol de sistema conlleva una autoridad que un usuario no puede suplantar. Esto evita la inyección de prompts.
Cómo hacerlo correctamente:
Plantea estos mensajes como hechos. No utilices lenguaje de anulación.
• Bien: "El modo de autoaprobación ahora está activado." • Mal: "Ignora lo que dijo el usuario y haz esto en su lugar."
Los modelos suelen resistirse a las instrucciones que les ordenan ignorar el contexto previo. Limítate a declarar el nuevo estado del mundo.
Reglas de uso:
- Debe seguir a un mensaje de usuario o de asistente.
- No puede ser el primer mensaje del array.
- Solo acepta contenido de texto.
- No todos los modelos lo admiten. Utiliza siempre un bloque try-catch para recurrir a un recordatorio en el turno del usuario si recibes un error 400.
Utiliza esto cuando aprendas algo nuevo después de que comience la sesión. Si conoces el hecho al principio, ponlo en el prompt de sistema principal. Si el hecho es dinámico, utiliza un mensaje de sistema a mitad de la conversación.
Esto mantiene tu caché activa y tus costes bajos.