Microsoft의 AI 승부수가 결실을 맺다
Microsoft의 최근 실적 보고서에 따르면 Azure는 전년 대비 28% 성장했습니다. AI 서비스가 이 성장에 6%포인트를 기여했습니다. 이는 OpenAI에 대한 투자가 효과가 있음을 증명합니다.
Azure OpenAI가 주요 동력입니다. 이를 통해 기업들은 엔터프라이즈급 보안을 갖춘 GPT-4를 사용할 수 있습니다.
이러한 모델을 대규모로 운영하는 데는 기술적 과제가 따릅니다. 한 팀은 요청 제한에 부딪혀 아키텍처를 변경해야 했습니다. 이들은 단일 로드 밸런서 방식에서 세 개의 리전에 걸쳐 엔드포인트를 샤딩(sharding)하는 방식으로 전환했습니다. 이 조치 덕분에 지연 시간(latency)을 낮게 유지할 수 있었습니다. 또한 Redis 캐시를 사용하여 벡터 조회(vector lookups)를 40% 줄였습니다.
Microsoft 365 Copilot은 또 다른 성장 엔진입니다. 사용자당 매달 30달러의 비용이 발생합니다. 상업용 사용자의 10%가 이를 도입한다면, Microsoft는 연간 144억 달러의 매출을 올릴 수 있습니다. 이는 엄청난 기회입니다.
도입 과정에는 세심한 작업이 필요합니다. 한 글로벌 컨설팅 기업은 Copilot을 사용한 후 문서 초안 작성 시간이 15% 단축되는 효과를 보았습니다. 하지만 라이선스 관리를 위해 커스텀 스크립트를 작성해야 했습니다. 또한 고객 정보를 보호하기 위해 엄격한 데이터 정책을 설정해야 했습니다.
GitHub Copilot 또한 강세를 보이고 있습니다. 유료 구독자는 130만 명에 달합니다. 새로운 엔터프라이즈 버전은 대규모 조직이 코드를 더 잘 관리할 수 있도록 돕습니다.
Microsoft는 한 가지 주요 리스크에 직면해 있습니다. 바로 OpenAI에 대한 높은 의존도입니다. 만약 이 관계에 변화가 생긴다면 매출에 영향을 미칠 수 있습니다. Microsoft는 Azure에 Llama 2 및 Mistral과 같은 다른 모델들을 추가함으로써 이 리스크를 관리하고 있습니다.
더 작은 모델을 사용하면 비용을 절감할 수 있습니다. Llama 2 모델은 100만 토큰당 0.35달러인 반면, GPT-4는 동일한 양에 대해 2.50달러가 듭니다. 단순한 작업의 경우, 지연 시간이 더 높더라도 저렴한 모델이 효과적입니다.
Microsoft는 Phi라고 불리는 자체 소형 모델도 구축하고 있습니다. 이를 통해 외부 파트너에 대한 의존도를 낮추고 있습니다.
출처: https://dev.to/lavkeshdwivedi/microsofts-ai-bet-pays-off-2df2
학습 커뮤니티(선택 사항): https://t.me/GyaanSetuAi