Google: новые возможности Kubernetes и GKE для революции в ИИ

Упрощенное управление кластерами ИИ

Google Kubernetes Engine (GKE) упрощает управление кластерами ИИ с помощью инструментов, таких как Cluster Director for GKE (ранее Hypercompute Cluster). Это позволяет эффективно масштабировать рабочие нагрузки ИИ, управляя крупными кластерами виртуальных машин (ВМ) с подключенными графическими процессорами Nvidia. Разрабатывается также Cluster Director for Slurm — инструмент для управления кластерами и планирования задач высокопроизводительных вычислений с удобным интерфейсом и API.

Оптимизированное развертывание моделей ИИ

GKE предоставляет оптимизированные инструменты для развертывания моделей ИИ, включая GKE Inference Quickstart и GKE Inference Gateway. Они упрощают выбор инфраструктуры и развертывание, обеспечивая высокую производительность и интеллектуальное балансирование нагрузки.

Экономичное вычисление

GKE поддерживает экономичное вычисление, например, с помощью Inference Gateway. По заявлению Google, это снижает затраты на обслуживание до 30%, сокращает задержки до 60% и увеличивает пропускную способность на 40% по сравнению с другими решениями Kubernetes. Ключевой элемент — балансировка нагрузки с учетом переменной длины ответов модели ИИ.

Повышенная эффективность использования ресурсов

GKE Autopilot ускоряет планирование подкастов, время реакции на масштабирование и оптимизирует емкость. Это позволяет обрабатывать больший трафик с теми же ресурсами или существующий трафик — с меньшим количеством ресурсов. Google заявляет о постоянной оптимизации емкости кластера с улучшенным Autopilot. С третьего квартала платформа оптимизированных вычислений Autopilot будет доступна и для стандартных кластеров GKE без специальной конфигурации.

ИИ-помощник Gemini Cloud Assist

Для ускорения инноваций Google разрабатывает инструменты диагностики и отладки приложений. Gemini Cloud Assist — это ИИ-помощник, поддерживающий приложение на протяжении всего жизненного цикла. Закрытый предварительный просмотр Gemini Cloud Assist Investigations помогает пользователям быстрее понимать и решать проблемы, диагностируя неполадки в подсистемах и кластерах (даже в других сервисах Google Cloud, таких как узлы, IAM или балансировщики нагрузки) прямо из консоли GKE. Это позволяет видеть логи и ошибки в различных сервисах GKE, контроллерах, подсистемах и базовых узлах, экономя время на устранении неполадок.

Google позиционирует себя как лидера в области платформ, оптимизированных для ИИ. Эти разработки позволяют предприятиям эффективно использовать ИИ, повышая инновационность и эффективность. Например, Intuit использует Document AI и Gemini от Google Cloud для упрощения подготовки налоговых деклараций в TurboTax, а Reddit — Gemini через Vertex AI для поддержки Reddit Answers, новой платформы общения на основе ИИ.