𝗠𝗶𝗻𝗵𝗮 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝗰̧𝗮̃𝗼 𝗱𝗲 𝗜𝗔 𝗘𝗿𝗮 𝗖𝗮𝗿𝗮 𝗗𝗲𝗺𝗮𝗶𝘀 𝗔𝘁𝗲́ 𝗤𝘂𝗲 𝗠𝘂𝗱𝗲𝗶 𝗠𝗶𝗻𝗵𝗮 𝗔𝗯𝗼𝗿𝗱𝗮𝗴𝗲𝗺
Eu adorava meu recurso de sumarização de IA até que a conta chegou.
No mês passado, construí uma ferramenta para resumir artigos longos. Usei o GPT-4 com um prompt simples. Funcionou perfeitamente. Os usuários adoraram a qualidade.
Então a conta chegou. Um mês de uso me custou mais de US$ 1.200. Eu precisava consertar isso ou descontinuar o recurso.
Tentei várias coisas para resolver:
- Mudei para o GPT-3.5-turbo. O custo diminuiu, mas a qualidade caiu. Os resumos ficaram vagos.
- Tentei engenharia de prompt. Adicionar "seja específico" não ajudou o suficiente.
- Tentei reduzir o tamanho da entrada usando bibliotecas extrativas. Isso ajudou, mas os custos continuaram altos.
Percebi que estava usando uma marreta para um prego pequeno.
A solução é um pipeline de duas etapas. Você combina dois métodos diferentes para obter os melhores resultados.
Etapa 1: A Fase Extrativa Use uma ferramenta barata e rápida como o TextRank para selecionar as 5 a 10 principais frases do artigo. Isso remove 90% do texto extra.
Etapa 2: A Fase Abstrativa Envie apenas essas poucas frases para um modelo pequeno e barato como o GPT-3.5-turbo. Peça para ele reescrever essas frases em um resumo limpo de 3 tópicos.
Essa abordagem reduziu meus custos em 80%. A qualidade permaneceu próxima à do GPT-4 porque o modelo processou apenas os dados mais importantes.
Outras dicas para seus projetos de IA:
- Use cache. Armazene os resultados pelo hash do artigo para não pagar pelo mesmo resumo duas vezes.
- Use camadas. Divida tarefas complexas em subtarefas menores e mais baratas.
- Defina um fallback. Se um artigo for muito complexo, use um modelo de alta qualidade como o GPT-4 apenas para esses casos específicos.
Pare de enviar blocos enormes de texto para modelos caros. Reduza os dados primeiro.
Como você equilibra a qualidade da IA e o custo em seus produtos? Você usa modelos diferentes para tarefas diferentes?