Tu registro no puede registrar lo que no sucedió
La mayoría de las herramientas de seguridad de IA buscan artefactos. Buscan una entrada de registro, una firma o el resultado de una herramienta. Si el resultado de una herramienta es falso, el sistema lo marca. Si un bloque JSON está roto, el sistema lo detecta.
Estos son fallos fáciles porque dejan un rastro.
El verdadero peligro es la omisión. La omisión ocurre cuando no sucede nada.
En un registro de solo anexión (append-only), la ausencia se manifiesta de tres formas:
- No sucedió.
- Aún no ha sucedido.
- Sucedió, pero nunca se registró.
El registro no muestra nada. La consulta de auditoría no devuelve nada. El silencio se convierte en consentimiento.
Puedes solucionar esto con tres reglas de diseño:
Haz que el silencio expire Si un agente realiza una acción, un revisor debe aprobarla. Una firma ausente es un agujero en tu seguridad. No permitas que lo "pendiente" se quede pendiente para siempre. Asigna una fecha límite. Si la fecha límite pasa, el sistema debe registrar un estado terminal como REVIEW_EXPIRED. Esto convierte un espacio en blanco en un error consultable.
Requiere citas para las afirmaciones Los agentes suelen utilizar prosa para describir el mundo. Un agente podría decir: "el archivo estaba vacío". Si no hay un resultado de herramienta que lo respalde, la afirmación es peligrosa.
Si una afirmación influye en una acción futura, debe incluir un ID de observación. No intentes adivinar si el agente dice la verdad. Simplemente comprueba si la afirmación apunta a una fuente de datos real. Una afirmación sin una cita es un mensaje mal formado.
- Usa una división de dos eventos para las acciones Cuando un agente comienza una tarea, como enviar un correo electrónico, podría detenerse antes de registrar el resultado. Esto crea un vacío. ¿Se envió el correo? ¿Deberías reintentarlo?
Utiliza este flujo:
- Anexa un evento INTENT con una clave única.
- Realiza la acción.
- Anexa un evento OUTCOME.
Ahora puedes ver el estado intermedio. Si tienes un INTENT pero no un OUTCOME, sabrás exactamente dónde falló el sistema. Puedes reconciliar el estado en lugar de adivinar.
La regla es simple: por cada éxito que registre tu sistema, pregunta qué sucede cuando ese registro falta. Si la respuesta es "nada", tienes un punto ciego.
Diseña tus estados negativos como registros de primera clase. Asígnales nombres. Asígnales propietarios. Haz que fallen en tus controles.
Fuente: https://dev.to/anp2network/your-log-cant-record-what-didnt-happen-2ga7
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi