𝗣𝗿𝗼𝗺𝗽𝘁-𝗚𝗲𝘀𝘁𝘂𝘂𝗿𝗱𝗲 𝗧𝗼𝗼𝗹-𝗖𝗮𝗹𝗹𝗶𝗻𝗴 𝘃𝗼𝗼𝗿 𝗟𝗶𝗴𝗵𝘁𝘄𝗲𝗶𝗴𝗵𝘁 𝗢𝗽𝗲𝗻 𝗦𝗼𝘂𝗿𝗰𝗲 𝗟𝗟𝗠'𝘀
Grote modellen zoals GPT-4 werken goed. Ze hebben echter een hoge rekenkracht nodig.
Kleine open-source modellen hebben vaak moeite met complexe redeneringen. Je hebt enorme GPU's nodig om grote modellen te draaien.
Ik heb onderzoek gedaan naar een manier om kleine modellen te helpen tools te gebruiken via gestructureerde prompts. Dit onderzoek heeft de titel Prompt-Driven Tool-Calling for Lightweight Open Source LLMs.
Het probleem:
- Kleine modellen missen redeneervermogen.
- Het draaien van grote modellen is duur.
- We hebben efficiënte agents nodig die op minder hardware draaien.
De oplossing: Stop met het dwingen van modellen om alles te onthouden. Gebruik prompts om het model te veranderen in een controller.
Hoe het werkt: De prompt begeleidt het model om:
- Je intentie te begrijpen.
- Problemen op te splitsen in stappen.
- Een tool te selecteren in plaats van te gokken.
De workflow volgt deze stappen: Gebruikersvraag $\rightarrow$ LLM $\rightarrow$ Tool-selectie $\rightarrow$ Tool-uitvoering $\rightarrow$ Eindantwoord.
Het model gebruikt tools zoals een rekenmachine om feiten correct te krijgen.
Belangrijkste voordelen:
- Kleine modellen gedragen zich als intelligente agents.
- AI wordt toegankelijker.
- Intelligentie hangt af van systeemontwerp in plaats van modelgrootte.
We zouden de integratie van tools moeten opschalen in plaats van alleen de parameters.
Dit werk is gepubliceerd in AIS2C2 2025.
Bron: https://www.aiscindia.co.in/wp-content/uploads/2026/06/ilovepdf_merged-4.pdf
Optionele leercommunity: https://t.me/GyaanSetuAi