𝗜 𝗕𝘂𝗶𝗹𝘁 𝗟𝗶𝘃𝗲 𝗖𝗮𝗽𝘁𝗶𝗼𝗻𝘀 𝗶𝗻 𝘁𝗵𝗲 𝗕𝗿𝗼𝘄𝘀𝗲𝗿
మీకు Whisper అవసరం లేదు. మీకు API కీ అవసరం లేదు. మీకు సర్వర్ అవసరం లేదు.
Chrome మరియు Edge లలో బిల్ట్-ఇన్ speech-to-text ఇంజిన్ ఉంటుంది. నేను కేవలం 30 లైన్ల కోడ్తో దీనిని ఉపయోగించి లైవ్ క్యాప్షన్స్ను రూపొందించాను.
ఇక్కడ ప్రయత్నించండి: https://dev48v.infy.uk/solve/day8-live-captions.html
ఈ కోడ్ SpeechRecognition APIని ఉపయోగిస్తుంది.
ఒక సాధారణ డిక్టేషన్ బాక్స్కు మరియు నిజమైన లైవ్ క్యాప్షన్స్కు మధ్య తేడాను రెండు సెట్టింగ్లు చూపుతాయి:
- continuous = true: ఇది ఇంజిన్ను నిరంతరం వింటూ ఉండేలా చేస్తుంది.
- interimResults = true: మీరు మాట్లాడుతున్నప్పుడు మీ మాటలను ఇది చూపిస్తుంది.
ఇవి లేకపోతే, మీరు ఆగిన తర్వాత మాత్రమే ఇంజిన్ టెక్స్ట్ను చూపిస్తుంది. ఇవి ఉండటం వల్ల, మీరు మాట్లాడుతున్న సమయంలోనే అంచనాలను రియల్ టైమ్లో చూడవచ్చు. ఇది ఆ ఫ్లిక్కరింగ్ క్యాప్షన్ ఎఫెక్ట్ను (flickering caption effect) సృష్టిస్తుంది.
ఎక్కువ సేపు నిశ్శబ్దం వినిపిస్తే ఇంజిన్ ఆగిపోతుంది. దీనిని onend ఈవెంట్లో మళ్ళీ రీస్టార్ట్ చేయడం ద్వారా పరిష్కరించవచ్చు. ఈ లూప్ వల్ల నిశ్శబ్ద సమయాల్లో కూడా క్యాప్షన్స్ నిరంతరంగా నడుస్తూనే ఉంటాయి.
ఈ ప్రక్రియ కోసం Chrome ఆడియోను Google సర్వర్లకు స్ట్రీమ్ చేస్తుంది. అంటే దీనికి ఇంటర్నెట్ కనెక్షన్ అవసరం.
మీరు దీనిని కేవలం మైక్రోఫోన్ కోసం మాత్రమే కాకుండా ఇతర అవసరాలకు కూడా ఉపయోగించవచ్చు. మీరు వీడియో కాల్ లేదా YouTube ట్యాబ్ నుండి ఆడియోను క్యాప్చర్ చేయవచ్చు. ఆడియోను తీసుకోవడానికి మరియు ట్రాన్స్క్రైబర్కు పంపడానికి getDisplayMediaని ఉపయోగించండి.
బ్రౌజర్లో ఉపయోగించని అనేక ఫీచర్లు ఉన్నాయి. లైవ్ క్యాప్షన్స్ మరియు వాయిస్ కమాండ్స్ కేవలం ఒక లైన్ కోడ్తో అందుబాటులో ఉంటాయి. దీనికి బ్యాకెండ్ అవసరం లేదు.
మూలం: https://dev.to/dev48v/i-built-live-captions-in-the-browser-no-api-key-no-server-4i7n