Компактные метаданные видео с помощью Protobuf
Наш воркер загрузки (ingest worker) каждые два часа собирает тысячи трендовых видео. Мы отправляем эти данные в три сервиса: сервис ранжирования, сервис прогрева кэша (cache warmer) и задачу аналитики.
Долгое время для передачи этих данных мы использовали JSON. Все работало, пока не начались проблемы.
Одна запись о видео в формате JSON занимала 2,4 КБ. Передача 40 000 записей в три разных сервиса означала передачу 280 МБ избыточного текста каждые два часа. Это расходовало пропускную способность и замедляло наши PHP-воркеры.
Мы перешли на Protocol Buffers (Protobuf). Вот почему мы это сделали и как это изменило нашу систему.
Три основные проблемы JSON:
- Размер: JSON повторяет имена полей в каждой записи. Имя поля вроде "viral_score_24h" занимает 15 байт только для того, чтобы передать 8-байтовое число.
- Стоимость парсинга: PHP должен парсить весь JSON-объект, даже если сервису нужны всего два поля.
- Дрейф схемы (Schema Drift): у JSON нет контракта. Если один сервис меняет поле, другие ломаются незаметно во время выполнения (runtime).
Как Protobuf решил эти проблемы:
Protobuf использует номера полей вместо имен. В качестве единого источника истины используется .proto файл. Этот файл генерирует код для PHP, Python и Go. Если вы измените схему, код не скомпилируется. Это превращает ошибки времени выполнения (runtime) в ошибки компиляции.
Результаты:
Мы замеряли эти изменения в течение одной недели:
- Размер полезной нагрузки: Снизился с 2,4 КБ до 720 байт (сокращение на 70%).
- Время кодирования в PHP: Снизилось с 310 мс до 95 мс.
- Время декодирования в Go: Снизилось со 140 мс до 38 мс.
- Пропускная способность: Снизилась с 280 МБ до 84 МБ за цикл.
Когда использовать Protobuf:
Не используйте его для всего подряд. Если ваши полезные нагрузки малы или вам нужно, чтобы их было легко читать человеку, придерживайтесь JSON. Используйте Protobuf для высоконагруженного внутреннего трафика, где важнее всего скорость и строгие контракты.
Наши публичные API по-прежнему используют JSON. Наши внутренние сервисы используют Protobuf.