Viwango vya Jitihada Kiutendaji: Matokeo Yangu ya Jaribio

Miundo ya Claude inatoa viwango vitano vya jitihada: low, medium, high, xhigh, na max.

Watu wengi wanadhani kuwa jitihada kubwa kila mara hugharimu zaidi. Nilijaribu hili. Nilitekeleza kazi tatu halisi katika viwango vyote vitano. Nilipima tokeni, ucheleweshaji (latency), na ubora.

Matokeo yalibadilisha jinsi ninavyotumia miundo hii.

Kile ambacho jitihada hufanya hasa: Inadhibiti matumizi ya tokeni. Inabadilisha kiasi ambacho modeli inafikiri na kutenda. Jitihada ya low inamaanisha mialiko michache ya zana (tool calls) na majibu mafupi. Jitihada ya high inamaanisha uchunguzi zaidi kabla ya modeli kujibu.

Kazi nilizojaribu:

  • Classification: Kuweka lebo kwenye matokeo ya mkataba.
  • Code generation: Kuandika kazi za TypeScript.
  • Multi-step audit: Kuchambua mkataba kutafuta udhaifu.

Hapa ndipo nilipopata:

  1. Classification Ubora ulibaki vilevile katika kila kiwango. Jitihada ya max ilitumia tokeni nyingi mara 8 kuliko jitihada ya low kwa jibu lilelile. Kanuni yangu: Tumia low effort kwa kazi rahisi na zenye upeo maalum. High effort ni upotezaji hapa.

  2. Code generation Ubora uliborezeka kutoka low hadi high. Baada ya high, ubora ulitulia. Xhigh na max zilitoa kodi sawa na high lakini ziligharimu zaidi. Kanuni yangu: Tumia high effort kwa kodi au maudhui ya single-shot.

  3. Multi-step audits Matokeo haya yalinishangaza. Jitihada kubwa haimaanishi kila mara gharama kubwa. Kwa kazi hii, xhigh ilitumia tokeni chache kuliko medium.

Katika jitihada ya medium, modeli ilichunguza kidogo kwa kila hatua. Ilichukua mizunguko mingi zaidi na kukwama. Katika xhigh, modeli ilipanga vizuri zaidi. Ilimaliza kwa mizunguko michache zaidi. Upangaji bora ulisababisha gharama ya jumla kuwa ndogo na ubora kuwa mkubwa.

Mkakati wangu mpya:

  • Classification, routing, extraction: Tumia low effort.
  • Single-shot code au maudhui: Tumia high effort.
  • Agentic loops, multi-step audits: Tumia xhigh effort.
  • Unapohitaji usahihi wa juu kabisa: Tumia max effort.

Acha kukisia mipangilio yako. Chagua kazi tatu unazozifanya mara kwa mara. Zifanyie majaribio katika viwango vyote vitano. Pima tokeni na ubora.

Kufanya majaribio kunachukua mchana mmoja tu. Kutumia mpangilio usio sahihi unakugharimu pesa kila siku.

Chanzo: https://dev.to/pavelespitia/effort-levels-in-practice-i-benchmarked-low-through-max-on-real-tasks-7lf

Jumuiya ya kujifunza ya hiari: https://t.me/GyaanSetuAi