𝗟𝗼𝘀 𝗣𝗿𝗼𝗺𝗽𝘁𝘀 𝗡𝗼 𝗦𝗼𝗻 𝗦𝘂𝗳𝗶𝗰𝗶𝗲𝗻𝘁𝗲𝘀: 𝗜𝗺𝗽𝗼𝗻𝗶𝗲𝗻𝗱𝗼 𝗥𝗲𝘀𝘁𝗿𝗶𝗰𝗰𝗶𝗼𝗻𝗲𝘀 𝗘𝘀𝘁𝗿𝗶𝗰𝘁𝗮𝘀 𝗲𝗻 𝗹𝗮 𝗦𝗮𝗹𝗶𝗱𝗮 𝗱𝗲 𝗹𝗼𝘀 𝗟𝗟𝗠
Las demos de LLM se ven geniales hasta que se enfrentan a requisitos estrictos.
Los modelos funcionan por probabilidad. Los sistemas de producción necesitan garantías.
Aprendí esto mientras construía un pipeline de noticias con IA para Radio del Volga en Argentina. El sistema reescribe noticias y crea publicaciones para redes sociales. Funcionaba bien hasta que apareció un problema. Gemini seguía escribiendo en un español incorrecto.
En Argentina, la gente usa palabras específicas. Dicen "podés" en lugar de "puedes" y "sos" en lugar de "eres". Si el modelo utiliza un español neutro, el texto se siente extraño para los lectores locales.
Primero intenté mejorar el prompting. Le dije al modelo:
- Usa español rioplatense.
- Nunca uses español neutro.
- Usa una lista específica de palabras prohibidas.
- Lee tu respuesta de nuevo antes de enviarla.
Esto ayudó, pero no lo solucionó todo. Las fuentes de noticias formales empujaban al modelo de vuelta al español neutro. No importaba cuánto escribiera en el prompt, los errores persistían.
Dejé de tratar esto como un problema de prompting. Empecé a tratarlo como un problema de validación.
Algunas cosas son probabilísticas, como el tono o el estilo. Otras cosas son deterministas. Si un texto contiene "puedes", está mal. No necesitas una IA para darte cuenta de eso. Necesitas código simple.
Añadí un paso de post-procesamiento. Se ejecuta después de que la IA termina. Busca palabras específicas y las reemplaza:
- puedes pasa a ser podés
- tienes pasa a ser tenés
- eres pasa a ser sos
Esta lista es pequeña y segura. No intento arreglar todo el español. Solo corrijo las reglas que el código puede verificar con certeza.
La lección no es sobre el español. Es sobre los límites de la ingeniería de prompts.
El prompting mejora el rendimiento, pero no proporciona garantías. Si una regla es estable y testeable, usa código para imponerla.
Usa LLMs para generar texto fluido. Usa código determinista para imponer términos de marca, terminología regulatoria y reglas de formato.
Los sistemas confiables dividen las responsabilidades: • El modelo genera el contenido. • El código impone las reglas estrictas. • Los humanos toman la decisión editorial final.
Fuente: https://dev.to/zendev2112/prompts-arent-enough-enforcing-hard-constraints-on-llm-output-2hpo
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi