Четыре причины для оптимизма по поводу энергопотребления ИИ

Оптимистичный взгляд на энергопотребление ИИ: четыре причины для надежды

Опасения по поводу влияния искусственного интеллекта (ИИ) на климат вполне обоснованы, но не стоит опускать руки. Инновации в области программного обеспечения, компьютерных чипов и центров обработки данных, где эти чипы работают круглосуточно, могут значительно повысить эффективность ИИ.

Более эффективные модели: меньше данных, больше смысла

Обучение на основе больших данных: текущая практика

Создание и использование моделей ИИ начинается с обучения нейронных сетей на больших объемах данных. Например, большие языковые модели (LLM) обучаются на текстах из интернета и оцифрованных библиотек, а модели для беспилотных автомобилей – на данных о вождении.

Зачастую сбор данных ведется без разбора, по принципу "брать все подряд". Обучение модели на огромном количестве информации, чтобы она самостоятельно выявляла закономерности, приводит к излишним тратам времени и энергии.

Кураторские данные: более эффективный подход

Альтернативой является использование кураторских данных, специально адаптированных для конкретных задач. Этот подход позволяет повысить эффективность обучения и снизить энергопотребление.

Компания Waabi, разрабатывающая робомобили, обучает свои модели в реалистичной симуляции, где можно точно контролировать данные, предоставляемые моделям. Это позволяет создавать более качественные и эффективные модели.

Стартап Writer, создающий большие языковые модели для корпоративных клиентов, утверждает, что их модели дешевле в обучении и эксплуатации, поскольку они обучаются с использованием синтетических данных. Вместо загрузки всей Википедии, Writer берет отдельные страницы и переписывает их в разных форматах, чтобы модели могли извлекать больше информации из меньшего объема данных.

Снижение стоимости эксплуатации: оптимизация логических моделей

Проблема энергозатратности логических моделей

Эксплуатация моделей ИИ также играет важную роль в энергопотреблении. По мере увеличения размеров моделей, возрастают и затраты на их запуск. Особенно энергозатратны логические модели, которые обрабатывают запрос пошагово, генерируя промежуточные подзапросы.

Запуск логической модели o3 от OpenAI может обходиться в значительную сумму за задачу. Однако эта технология находится на ранней стадии развития, и ожидается, что затраты со временем снизятся.

Перспективы снижения энергопотребления

Инженеры работают над тем, чтобы модели рассуждений не заходили в тупиковые пути, прежде чем они определят, что это нежизнеспособно. По мере развития технологий, стоимость и энергопотребление будут снижаться.

Параллельный запуск этапов логического вывода (вычислений, которые модель выполняет для получения ответа) – один из способов добиться повышения производительности без значительного увеличения энергопотребления. Параллельные вычисления лежат в основе большей части современного программного обеспечения, особенно больших языковых моделей (графические процессоры разработаны как параллельные по своей конструкции).

рокому кругу задач. Разделяя задачу и выполняя различные ее части одновременно, параллельные вычисления могут быстрее генерировать результаты. Это также может сэкономить энергию за счет более эффективного использования доступного оборудования. Но это требует умных новых алгоритмов для координации множества подзадач и объединения их в единый результат в конце. Крупнейшие и самые мощные модели также не будут использоваться постоянно. Сейчас много говорят о "маленьких моделях", версиях больших языковых моделей, которые были сведены к карманным пакетам. Во многих случаях эти более эффективные модели работают так же хорошо, как и более крупные, особенно для конкретных случаев использования.

Бизнес и модели

По мере того, как компании выясняют, как большие языковые модели соответствуют их потребностям (или нет), эта тенденция к более эффективным специализированным моделям набирает обороты. Вам не нужна универсальная LLM для управления запасами или ответа на нишевые запросы клиентов. "Будет действительно, очень много специализированных моделей, а не одна данная Богом модель, которая решает все", - говорит Фархади. Кристина Шим, директор по устойчивому развитию IBM, видит эту тенденцию в том, как ее клиенты внедряют эту технологию. Она работает с компаниями, чтобы убедиться, что они выбирают самые маленькие и наименее энергоемкие модели. "Не только самая большая модель даст вам большую отдачу от затраченных средств", - говорит она. Меньшая модель, которая делает именно то, что вам нужно, является лучшей инвестицией, чем более крупная, которая делает то же самое: "Давайте не будем использовать кувалду, чтобы забить гвоздь".

Более эффективные компьютерные чипы

По мере того, как программное обеспечение становится более оптимизированным, оборудование, на котором оно работает, также станет более эффективным. Здесь возникает напряженность: в краткосрочной перспективе производители чипов, такие как Nvidia, стремятся разработать все более мощные чипы для удовлетворения спроса со стороны компаний, желающих запускать все более мощные модели. Но в долгосрочной перспективе эта гонка неустойчива. "Модели стали настолько большими, что даже запуск этапа логического вывода теперь становится большой проблемой", - говорит Навин Верма, соучредитель и генеральный директор начинающего производителя микрочипов EnCharge AI. Компании, такие как Microsoft и OpenAI, теряют деньги, запуская свои модели внутри центров обработки данных, чтобы удовлетворить спрос со стороны миллионов людей. Меньшие модели помогут. Другой вариант - перенести вычисления из центров обработки данных на собственные компьютеры людей. Это то, что Microsoft попыталась сделать с помощью своей инициативы Copilot+ PC, в которой она продавала сверхмощный ПК, который позволил бы вам запускать модель искусственного интеллекта (и оплачивать счета за электроэнергию) самостоятельно. Это не взлетело, но Верма считает, что этот толчок продолжится, потому что компании захотят переложить как можно больше затрат на запуск модели. Но для надежной работы моделей ИИ (даже небольших) на личных устройствах людей потребуется коренное изменение в чипах, которые обычно питают эти устройства. Эти чипы необходимо сделать еще более энергоэффективными, потому что они должны быть в состоянии работать только от аккумулятора, говорит Верма. Именно здесь на помощь приходит EnCharge. Ее решением является новый тип чипа, который отказывается от цифровых вычислений в пользу того, что называется аналоговыми вычислениями в памяти. Вместо представления информации двоичными 0 и 1, как в электронике внутри обычных цифровых компьютерных чипов, электроника внутри аналоговых чипов может представлять информацию вдоль диапазона значений между 0 и 1. Теоретически это позволяет вам делать больше с тем же количеством энергии. EnCharge отделилась от исследовательской лаборатории Вермы в Принстоне в 2022 году. "Мы десятилетиями знали, что аналоговые вычисления могут быть намного более эффективными - на порядки более эффективными - чем цифровые", - говорит Верма. Но аналоговые компьютеры никогда не работали хорошо на практике, потому что они делали много ошибок. Верма и его коллеги нашли способ делать аналоговые вычисления, которые являются точными. EnCharge сосредотачивается только на основных вычислениях, необходимых для современного ИИ. При поддержке таких гигантов полупроводниковой промышленности, как TSMC, стартап разрабатывает аппаратное обеспечение, которое выполняет многомерное матричное умножение (основная математика, лежащая в основе всех моделей глубокого обучения) в аналоговом чипе, а затем передает результат обратно в окружающий цифровой компьютер. Аппаратное обеспечение EnCharge — лишь один из множества экспериментальных новых дизайнов чипов, которые появятся в ближайшем будущем. IBM и другие компании уже много лет исследуют так называемые нейроморфные вычисления. Идея состоит в том, чтобы разработать компьютеры, имитирующие сверхэффективные возможности обработки мозга. Другой путь включает в себя оптические чипы, которые заменяют электроны в традиционном чипе светом, что опять же снижает энергию, необходимую для вычислений. Ни один из этих дизайнов пока не может конкурировать с электронными цифровыми чипами, производимыми такими компаниями, как Nvidia. Но по мере роста спроса на эффективность такие альтернативы будут ждать своего часа. Кроме того, повысить эффективность можно не только чипов.

Повышение эффективности передачи данных

Значительная часть энергии внутри компьютеров тратится на передачу данных туда и обратно. IBM заявляет, что разработала новый тип оптического переключателя, устройства, которое контролирует цифровой трафик, и которое на 80% эффективнее предыдущих переключателей.

Более эффективное охлаждение в центрах обработки данных

Еще одним огромным источником потребления энергии является необходимость управления отработанным теплом, производимым высокопроизводительным оборудованием, на котором работают модели ИИ. Том Ирп, инженерный директор дизайнерской фирмы Page, строит центры обработки данных с 2006 года, в том числе шесть лет работал в Meta. Ирп ищет возможности повышения эффективности во всем: от структуры здания до электроснабжения, систем охлаждения и способа передачи данных в систему и из нее. По словам Ирпа, в течение десятилетия или более, по мере того как закон Мура замедлялся, конструкции центров обработки данных оставались довольно стабильными.

Новые вызовы для центров обработки данных

А потом все изменилось. С переходом на процессоры, такие как графические процессоры, и с появлением еще более новых конструкций чипов, трудно предсказать, какое оборудование потребуется новому центру обработки данных для размещения, а следовательно, какие потребности в энергии ему придется поддерживать, через несколько лет. Но в краткосрочной перспективе безопаснее всего предположить, что чипы будут продолжать становиться все быстрее и горячее: «Я вижу, что люди, которым приходится делать этот выбор, планируют большой потенциал в том, сколько энергии нам понадобится», — говорит Ирп. Одно можно сказать наверняка: чипы, которые запускают модели ИИ, такие как графические процессоры, требуют больше энергии на единицу площади, чем предыдущие типы компьютерных чипов. И это имеет большие последствия для инфраструктуры охлаждения внутри центра обработки данных. «Когда мощность увеличивается, температура увеличивается», — говорит Ирп.

Водяное охлаждение

При таком большом количестве мощных чипов, сжатых вместе, воздушного охлаждения (другими словами, больших вентиляторов) уже недостаточно. Вода стала предпочтительным хладагентом, потому что она лучше, чем воздух, отводит тепло. Это не очень хорошие новости для местных источников воды вокруг центров обработки данных. Но есть способы сделать водяное охлаждение более эффективным. Один из вариантов — использовать воду для отправки отработанного тепла из центра обработки данных в места, где его можно использовать. В Дании воду из центров обработки данных используют для отопления домов. В Париже во время Олимпийских игр ее использовали для отопления бассейнов. Вода также может служить своего рода аккумулятором. Энергия, вырабатываемая из возобновляемых источников, таких как ветряные турбины или солнечные панели, может быть использована для охлаждения воды, которая хранится до тех пор, пока она не понадобится для охлаждения компьютеров позже, что снижает потребление энергии в пиковые периоды.

Термоэлектрические чипы

Но по мере того как центры обработки данных становятся все более горячими, одного водяного охлаждения недостаточно, говорит Тони Атти, генеральный директор Phononic, стартапа, который поставляет специализированные чипы охлаждения. Производители чипов создают чипы, которые перемещают данные все быстрее и быстрее. Он указывает на Nvidia, которая собирается выпустить чип, обрабатывающий 1,6 терабайта в секунду: «При такой скорости передачи данных все летит в тартарары, и спрос на охлаждение растет в геометрической прогрессии», — говорит он. По словам Атти, чипы внутри серверов потребляют около 45% энергии в центре обработки данных. Но охлаждение этих чипов теперь потребляет почти столько же энергии, около 40%. «Впервые управление температурным режимом становится ключом к расширению этой инфраструктуры ИИ», — говорит он. Охлаждающие чипы Phononic — это небольшие термоэлектрические устройства, которые можно размещать на или рядом с оборудованием, нуждающимся в охлаждении. Подайте питание на светодиодный чип, и он излучает фотоны; подайте питание на термоэлектрический чип, и он излучает фононы (которые относятся к вибрационной энергии — а.к.а. температуре — как фотоны к свету). Короче говоря, фононные чипы переносят тепло с одной поверхности на другую. Сжатые в тесных пространствах внутри и вокруг серверов, такие чипы могут обнаруживать малейшие повышения температуры и включаться и выключаться для поддержания стабильной температуры. Когда они включены, они выталкивают избыточное тепло в водопроводную трубу, чтобы его можно было унести. Атти утверждает, что их также можно использовать для повышения эффективности существующих систем охлаждения. Чем быстрее вы сможете охладить воду в центре обработки данных, тем меньше ее потребуется. 4/ Сокращение затрат идет рука об руку с сокращением энергопотребления. Несмотря на взрывной рост энергопотребления ИИ, есть основания для оптимизма. Устойчивость часто рассматривается как запоздалая мысль или приятное дополнение. Но в случае с ИИ лучший способ снизить общие затраты — это сократить ваши счета за электроэнергию. Это хорошая новость, поскольку это должно стимулировать

Согласованность интересов

Эксперты отмечают, что экологическая устойчивость и экономия затрат тесно связаны. В будущем это станет ключевым фактором, стимулирующим компании к повышению энергоэффективности. Рациональное использование ресурсов – это не только ответственный подход, но и выгодная бизнес-стратегия.

Компании все чаще задумываются о том, как и когда они применяют искусственный интеллект. Оптимальным решением становится выбор небольших, специализированных моделей, где это возможно. В условиях современного мира расходы на технологии приобретают все большее значение.

Опасения по поводу энергопотребления ИИ вполне обоснованны. Однако, стоит вспомнить историю развития Интернета и персональных компьютеров. По мере совершенствования технологий, лежащих в их основе, затраты на энергию оставались относительно стабильными, несмотря на стремительный рост числа пользователей.

Тенденции развития технологий

Считается, что по мере развития технология становится более эффективной. Например, изначально энергозатратные суперкомпьютеры сегодня умещаются в смартфонах, потребляя при этом в разы меньше энергии.

Искусственный интеллект быстро становится массовым продуктом, что означает усиление рыночной конкуренции и снижение цен. Чтобы оставаться конкурентоспособными, компании будут стремиться к сокращению энергопотребления ради повышения прибыльности. Это означает, что разработчики будут уделять больше внимания оптимизации алгоритмов и снижению энергозатрат.

Конкуренция может стать двигателем прогресса в области энергоэффективности ИИ. Пример: Google и Microsoft постоянно соревнуются в создании более эффективных алгоритмов машинного обучения, что в конечном итоге приводит к снижению энергопотребления их сервисов.

Заключение

Внедрение ИИ требует внимательного отношения к вопросам энергопотребления. Компании, которые смогут найти баланс между инновациями и эффективностью, получат конкурентное преимущество. Развитие технологий и рыночные механизмы будут способствовать созданию более устойчивых и экономичных решений в сфере искусственного интеллекта.