𝗜 𝗕𝘂𝗶𝗹𝘁 𝗟𝗶𝘃𝗲 𝗖𝗮𝗽𝘁𝗶𝗼𝗻𝘀 𝗶𝗻 𝘁𝗵𝗲 𝗕𝗿𝗼𝘄𝘀𝗲𝗿

𝗜 𝗕𝘂𝗶𝗹𝘁 𝗟𝗶𝘃𝗲 𝗖𝗮𝗽𝘁𝗶𝗼𝗻𝘀 𝗶𝗻 𝘁𝗵𝗲 𝗕𝗿𝗼𝘄𝘀𝗲𝗿

Huhitaji Whisper. Huhitaji API key. Huhitaji seva.

Chrome na Edge zina injini ya ndani ya kubadilisha sauti kuwa maandishi (speech-to-text). Nimejenga live captions kwa kutumia mistari 30 ya kodi.

Jaribu hapa: https://dev48v.infy.uk/solve/day8-live-captions.html

Kodi hii inatumia SpeechRecognition API.

Mipangilio miwili ndiyo inayotofautisha kati ya kisanduku cha kawaida cha kunukuia na live captions halisi:

• continuous = true: Hii huifanya injini iendelee kusikiliza.
• interimResults = true: Hii huonyesha maneno yako unapoendelea kuzungumza.

Bila hizi, injini huonyesha maandishi tu baada ya wewe kupumzika. Zikiwepo, unaona makadirio ya maneno kwa wakati halisi. Hii hutengeneza ule mng'ao wa maandishi (flickering caption effect).

Injini huacha kufanya kazi ikiwa itasikia ukimya kwa muda mrefu. Unatatua hili kwa kuirudisha kwenye onend event. Mzunguko huu huwezesha live captions kuendelea hata wakati wa mapumziko au ukimya.

Chrome hutuma sauti kwenye seva za Google kwa ajili ya mchakato huu. Hii ina maana unahitaji muunganisho wa intaneti.

Unaweza kutumia hii kwa zaidi ya maikrofoni pekee. Unaweza kunasa sauti kutoka kwenye simu ya video au tab ya YouTube. Tumia getDisplayMedia kunasa sauti na kuipatia mbadilishaji (transcriber).

Kivinjari kina vipengele vingi ambavyo havijatumika kikamilifu. Live captions na amri za sauti (voice commands) vinapatikana kupitia mstari mmoja wa kodi. Huhitaji backend.

Chanzo: https://dev.to/dev48v/i-built-live-captions-in-the-browser-no-api-key-no-server-4i7n