𝗟𝗮 𝗺𝗲𝗺𝗼𝗿𝗶𝗮 𝗱𝗲 𝗹𝗮 𝗜𝗔 𝗲𝘀 𝘂𝗻 𝗲𝘀𝘁𝗮𝗱𝗼 𝗱𝗲𝗹 𝗽𝗿𝗼𝗱𝘂𝗰𝘁𝗼, 𝗻𝗼 𝘂𝗻 𝘁𝗿𝘂𝗰𝗼 𝗱𝗲 𝗽𝗿𝗼𝗺𝗽𝘁

Construir productos de IA con memoria es difícil.

La forma fácil es guardar hechos y ponerlos en el siguiente prompt. Esto funciona para tareas sencillas, como recordar la preferencia de un usuario.

Pero falla cuando los usuarios comparten datos personales. Si tu producto gestiona sueños, estados de ánimo o reflexiones privadas, no puedes tratar la memoria como un único contenedor.

Un único interruptor de "encendido/apagado" para la memoria oculta demasiada complejidad. Debes separar lo que el usuario posee de lo que el modelo utiliza.

Aprendí esto mientras construía un producto de IA reflexivo. Me di cuenta de que la memoria no es una sola cosa. Son varias capas diferentes:

  • Conversación: El historial de chat sin procesar.
  • Notas de sesión: Resúmenes creados después de un chat.
  • Elementos de memoria: Hechos específicos que un usuario aprueba.
  • Contexto del usuario: Información de fondo que el propio usuario escribió.
  • Evidencia de recuperación: Datos que el sistema selecciona para un turno específico.
  • Contexto del prompt: Los datos finales que el modelo realmente ve.

Cada capa necesita sus propias reglas.

El mayor error es mezclar la memoria almacenada con la memoria en tiempo de prompt. Un usuario puede poseer un activo de memoria pero no querer que el modelo lo utilice en este momento.

Necesitas una capa de acceso para gestionar esto. En lugar de simplemente preguntar "¿está la memoria encendida?", pregunta "¿puede esta memoria entrar en el prompt?".

Esta distinción resuelve muchos problemas:

  • Un usuario gratuito puede guardar datos sin que estos estén activos en cada chat.
  • Un usuario puede pausar la memoria sin borrar su historial.
  • Un cambio de suscripción puede evitar que el modelo utilice los datos, manteniendo la información segura.

También necesitas explicar por qué la IA recuerda las cosas. Si una IA menciona un sueño de hace dos semanas, puede resultar inquietante si no puede explicar por qué.

Tu sistema debe incluir metadatos. Debe indicar si una memoria fue una nota directa del usuario o una inferencia del modelo.

Deja de tratar la memoria como un truco de prompt. Trátala como un estado del producto.

Si construyes para datos sensibles o personales, sigue estas reglas:

  • No utilices transcripciones sin procesar como memoria a largo plazo.
  • Requiere la aprobación del usuario para elementos de memoria importantes.
  • Separa los datos almacenados de lo que entra en el prompt.
  • Permite a los usuarios eliminar elementos individuales, no solo cuentas completas.
  • Haz que las reglas de retención y eliminación sean claras y aburridas.

La memoria debe ser inspeccionable antes de que se vuelva poderosa.

Fuente: https://dev.to/woshiliyana/ai-memory-should-be-a-product-state-not-a-prompt-trick-4m20