Nvidia стала главным хитом лихорадки, связанной с искусственным интеллектом. Кто может бросить ей вызов?
The Bell
Nvidia — самая обсуждаемая сейчас компания на Уолл-стрит: она стала 11-й в истории и первой среди чипмейкеров компанией, когда-либо преодолевшей рубеж капитализации $1 трлн. И пока другие компании только собираются начать зарабатывать на искусственном интеллекте, финансовые результаты Nvidia уже растут благодаря спросу на необходимые для него чипы. Nvidia — лидер этого рынка, но похоже, что у нее может появиться серьезный конкурент — AMD, которая обрела сильного партнера в лице Microsoft. Над своими чипами работают и бигтехи. Смогут ли они бросить вызов Nvidia, рассказывает Александра Шмидт, бывший ведущий аналитик ВТБ.
Что случилось
Искусственный интеллект (ИИ) продолжает оставаться самой горячей темой на рынках. По данным на начало мая, число упоминаний ИИ на звонках с аналитиками во время сезона отчетности превысило 1,1 тыс. Это примерно в два с половиной раза больше, чем в среднем в 2022-м, хотя к тому моменту отчитались только 80% компаний из S&P 500. Аналитики и инвесторы хотят знать, как компании планируют использовать ИИ, особенно многого ждут от бигтехов.
Недавно Google на ежегодной конференции для разработчиков представил сразу несколько новых продуктов, основанных на ИИ:
- Версия поисковика, которая использует большие языковые модели (LLM), обученные на огромных объемах текста, для ответа на запросы пользователей. Новая функция Converse будет обобщать результаты поиска по сложным запросам в короткую сводку и позволит уточнять запросы в диалоге. Пока она доступна только в тестовом режиме.
- Улучшенная версия чат-бота Bard на основе новой языковой модели PaLM 2 (он заговорил на 40 языках, включая русский); доступна широкому кругу пользователей.
- Анонсирован Duet AI для помощи в написании писем в Gmail: пользователи смогут генерировать черновик ответа по короткому описанию задачи и с учетом прошлой переписки.
Microsoft уже несколько кварталов подряд отчитывается о результатах добавления технологии OpenAI, в которую проинвестировал дополнительные $10 млрд в январе этого года, в основные линейки своих продуктов. На последней конференции для разработчиков Microsoft объявила о добавлении усиленной ИИ поисковой системы Bing, доступ к которой для всех пользователей компания открыла в начале мая, в ChatGPT. Пользователи ChatGPT Plus смогут получать ответы, обоснованные актуальными данными из поиска, включающие цитаты.
Также недавно Meta (признана в РФ экстремистской) на видеоконференции рассказала о том, что работает над созданием собственного чипа для ИИ Meta Training and Inference Accelerator (MTIA). Ранее компания потратила миллиарды долларов на закупку оборудования у Nvidia, в том числе для своего суперкомпьютера Research SuperCluster (RSC), который также показала на конференции. До этого компания представила инструменты ИИ для создания рекламы и прогнозирования ее эффективности.
Запуск новых продуктов от ведущих компаний, привлекающих огромный интерес широкой публики, резко увеличил спрос на вычислительные мощности. Для обучения и запуска моделей машинного обучения используются графические процессоры (GPU). Примерно 10 тысяч таких процессоров (модели V100 от Nvidia) компания OpenAI использовала для обучения Chat GPT.
Но сейчас даже ведущие разработчики ИИ страдают из-за нехватки чипов: об этом, например, заявил в середине мая глава OpenAI Сэм Альтман. «Достать GPU сейчас сложнее, чем наркотики», — пошутил недавно на Wall Street Journal CEO Council Summit Илон Маск, который, видимо, готовит свой ответ OpenAI под названием X.AI.
Согласно последнему отчету исследовательской компании Precedence Research, размер мирового рынка GPU для ИИ в 2022 году составлял $16,9 млрд. Ожидается, что рынок достигнет примерно $62 млрд в 2027 году, а к 2032 году — $227 млрд с ошеломляющим среднегодовым темпом роста (CAGR) 29,7%. При этом мировой рынок всей инфраструктуры (оборудование, в том числе переключатели, роутеры и собственно чипы, а также программное обеспечение) ИИ, согласно прогнозу исследовательской компании MarketsandMarket вырастет с $29 млрд в 2022 году до $97 млрд в 2027-м с CAGR 27,5%.
Почему именно GPU применяются для обучения моделей ИИ
GPU стали идеальным инструментом для программирования нейронных сетей благодаря нескольким особенностям:
1. Возможности параллельно выполнять много задач. В отличие от центральных процессоров (CPU), которые ограничены в количестве ядер и выполняют задачи последовательно, GPU способны разбивать сложные проблемы на миллионы отдельных задач и решать их одновременно. Это особенно полезно при работе с нейронными сетями, которые могут быть разделены на множество независимых «нейронов», обрабатываемых одновременно.
2. Высокой пропускной способности памяти. Нейронные сети используют специальные хранилища с информацией, необходимой для обучения ИИ. Однако размер этих хранилищ часто превышает доступную оперативную память компьютера, и это становится ограничивающим фактором для использования CPU, так как доступ к данным замедляется.
3. Относительно удобной модели программирования. Популярность графических карт для тренировки нейронных сетей резко возросла с появлением графических процессоров общего назначения (GP-GPU). Такие GPU смогли выполнять произвольный код, а не только специфический для решения задач обработки графики. Возможность написания такого произвольного кода предоставил язык программирования Cuda от Nvidia.
Эти преимущества GPU стали особенно важны с возросшей популярностью Large Language models (LLM, большие языковые модели), количество обучаемых параметров в которых увеличивалось десятикратно последние несколько лет. А чем больше параметров в модели, тем больше данных требуется для ее обучения. Например, ChatGPT-3 имеет в 10 раз больше параметров (175 млрд), чем его предшественники. Его обучение происходило на 45 терабайтах текста, эта информация соответствует объему книг примерно на 305 км книжных полок. Согласно некоторым источникам, ChatGPT-4 обучался на 170 трлн параметров (точное число не разглашается). Ожидается, что LLM будут становиться все больше, а вместе с ними и рынок вычислительной мощности для их обучения.
С вычислениями для ИИ могут справиться специализированные чипы, такие как FPGA (Field-Programmable Gate Array) и ASIC (Application-Specific Integrated Circuit). Эти чипы можно программировать (а FPGA — и перепрограммировать несколько раз) для выполнения конкретной задачи. Так как они оптимизированы для выполнения определенных операций, они обладают высокой производительностью и энергоэффективностью. Однако их создание требует значительных затрат на проектирование и изготовление. Согласно отчету State of AI, чипы Nvidia в 2022 году в исследовательских статьях на тему ИИ упоминаются в 30 раз чаще, чем FPGA, и в 83 раза, чем TPU (ASIC для ИИ от Google, про них в тексте — ниже).
В отличие от специализированных чипов GPU предлагает более общий и универсальный подход к параллельной обработке, что делает его более гибким и доступным для приложений. GPU также обладает широкой экосистемой инструментов и ПО, которые поддерживают его использование в различных областях.
Nvidia и AMD — самые заметные игроки на рынке графических процессоров. При этом, как писал CNBC со ссылкой на New Street Research, доля Nvidia составляла 95%. Компания поставляет чипы для многих разработчиков инструментов, основанных на генеративном ИИ, включая Amazon, Google и Meta (признана в РФ экстремистской).
Однако в начале мая Bloomberg со ссылкой на источники сообщил, что Microsoft помогает AMD с экспансией на рынок GPU. Возможное сотрудничество включает совместную работу над графическим процессором Microsoft — Athena, который предназначен для работы ИИ. Как писало издание The Information, Microsoft ведет секретную разработку чипа с 2019 года, и Athena может стать на 30% дешевле чипов Nvidia.
