АНАЛИТИКА

Нвидиа: BlueField, Грэйс, ускорение генеративных сетей. 21.03.23

Нвидиа - call (21.03.23). BlueField, Грэйс, ускорение генеративных сетей

Участники мероприятия

NVIDIA Corp. (NASDAQ:NVDA) Телефонная конференция акционеров/аналитиков 21 марта 2023 г., 13:00 по восточноевропейскому времени

Симона Янковски – вице-президент по связям с инвесторами

Колетт Кресс – исполнительный вице-президент и финансовый директор

Дженсен Хуанг – соучредитель, главный исполнительный директор и президент

Тошия Хари – Goldman Sachs

CJ Muse – Evercore

Джо Мур – Морган Стэнли

Тим Аркури – UBS

Вивек Арья – Банк Америки

Раджи Гилл — Нидхэм

Стейси Расгон – Исследования Бернштейна

Аарон Рейкерс – Уэллс Фарго

Мэтт Рэмзи — Коуэн

Блейн Кертис – Barclays

Уильям Штейн – Труист

Вступительное слово

Всем привет и добро пожаловать в GTC. Это Симона Янковски, руководитель отдела по связям с инвесторами NVIDIA. Надеюсь, у вас была возможность посмотреть материалы этим утром. Мы также опубликовали пресс-релизы и телефонные звонки с подробным описанием сегодняшнего объявления. В течение следующего часа у нас будет возможность обсудить сегодняшнее мероприятие с нашим генеральным директором Дженсеном Хуангом.

Прежде чем мы начнем, позвольте мне быстро рассказать о нашем заявлении о так называемой “безопасной гавани”. В ходе сегодняшнего обсуждения мы можем сделать прогнозные заявления, основанные на текущих ожиданиях. Они подвержены ряду значительных рисков и неопределенностей, и наши фактические результаты могут существенно отличаться. Для обсуждения факторов, которые могут повлиять на наши будущие финансовые результаты и бизнес, пожалуйста, обратитесь к нашим последним формам 10-K и 10-Q, а также к отчетам, которые мы можем подавать по форме 8-K в Комиссию по ценным бумагам и биржам (отчеты о прибылях и убытках и так далее, примечание от Инвест Тоник). Все наши заявления сделаны на сегодняшний день на основе информации, доступной нам в настоящее время. За исключением случаев, предусмотренных законодательством, мы не берем на себя никаких обязательств по обновлению таких заявлений. Мы начнем с нескольких кратких комментариев Дженсена, за которыми последует ваша сессия вопросов и ответов с Дженсеном и Колетт Кресс.

И на этом позвольте мне передать это Дженсену.

Дженсен Хуанг

Всем привет. Добро пожаловать GTC. Это наша конференция для разработчиков, призванная вдохновить возможностями современных вычислений и отметить работу исследователей и ученых, которые вносят свой вклад в развитие ускорения вычислений!

В основе современной вычислительной техники динамика разработок, конечно же, находится под влиянием одного из самых важных технологических факторов в истории любой отрасли, закона Мура. И мы сталкиваемся с некоторым замедлением в этой области. Можно утверждать, что закон Мура исчерпал себя. Впервые в истории больше невозможно использовать ЦП общего назначения для получения необходимой производительности без соответствующего увеличения стоимости или мощности. И из-за отсутствия эффективного снижения энергопотребления или снижения стоимости миру будет очень сложно продолжать поддерживать возросшие нагрузки при сохранении устойчивости вычислений.

Таким образом, одним из наиболее важных факторов динамики вычислений сегодня является устойчивость. Мы должны ускорить все вычисления, которые мы сможем ускорить, чтобы мы могли восстановить динамику приращения мощности. Итак, первое, что мы должны сделать, это не тратить энергию впустую, чтобы не ускорить все, что мы не можем. Я привел несколько примеров механизмов ускорения, которые мы использовали, чтобы показать, как во многих случаях мы можем ускорить приложение в 40, 50, 60, 70, 100 раз. Этот подход не прост. Ускорение вычислений NVIDIA — это полный стек. Я говорил об этом во многих сессиях в прошлом. Он начинается с архитектуры, системы, системного программного обеспечения, библиотек ускорения и приложений.

Мы представляем собой вычислительную архитектуру масштаба центра обработки данных. Одним из преимуществ ускорителей в работе, которую мы делаем, является то, что вы можете масштабироватся. Сочетание этого позволило нам возможности ускорения во многие области приложений, конечно, одним из очень важных является искусственный интеллект.

Нвидиа – мультидоменная платформа

Платформа ускорителей NVIDIA также является мультидоменной. Это действительно важно, потому что центры обработки данных, компьютеры не являются однотипными и заточенными под одни и те же задачи. Что делает компьютеры таким невероятным инструментом, так это их способность обрабатывать несколько типов приложений. Ускорение вычислений от NVIDIA включают в себя многодоменные методы, физику элементарных частиц, динамические вычисления, искусственный интеллект и так далее. Компьютерная графика, обработка изображений, обработка видео. Сегодня серверные всех этих типов требуют огромное количество ядер ЦП, огромное количество энергии. У нас есть возможность ускорить их все и снизить мощность, снизить стоимость.

И, конечно же, платформа ускоренных вычислений NVIDIA – это облачная архитектура. Она доступна локально в любой точке мира. И она доступна на периферии для систем логического вывода или автономных систем, роботизированных беспилотных автомобилей и т. д. и т. п. И, наконец, одна из наиболее важных характеристик платформы ускоренных вычислений NVIDIA заключается в том, что, несмотря на то, что мы делаем ее полным стеком, мы проектируем ее и проектируем ее в масштабе центра обработки данных. Она доступна от облака до периферии. Она полностью открыта, а это означает, что вы можете получить к ней доступ буквально с любой вычислительной платформы любого компьютера в любой точке мира.

Так что это одна из самых важных характеристик вычислительной платформы. И именно из-за ее открытости, из-за нашей досягаемости, из-за нашей способности к ускорению был достигнут положительный цикл, положительный виртуальный цикл ускоренных вычислений. Пришли ускорения в вычислениях и пришел искусственный интеллект.

3 фактора изменений

Один из них — устойчивость. Я только что упомянул. Второй — генеративный ИИ (чат GPT в этом разделе, примечание Инвест Тоник). Вся фундаментальная работа, которая была проделана за последние 10 лет, действительно большие прорывы в компьютерном зрении и восприятии окружающего мира привели к промышленным революциям в автономных транспортных средствах, робототехнике и т. д., это была лишь верхушка айсберга.

И теперь с генеративным ИИ мы вышли за рамки восприятия и теперь генерируем информацию, не только для понимания мира, но и для того, чтобы давать рекомендации или создавать контент, который имеет большую ценность. Генеративный ИИ вызвал революцию в искусственном интеллекте и привел к увеличению вероятности принятия ИИ во всем мире.

И третье, что я упомянул в основном докладе, — цифровизация. На самом деле речь идет о переходе искусственного интеллекта на следующую фазу, на следующую волну ИИ, где ИИ не только оперирует цифровой информацией, генерирует текст и изображения. Но ИИ управляет фабриками, физическими установками, автономными системами и робототехникой. В данном конкретном случае цифровизация имеет реальную возможность автоматизировать некоторые из крупнейших мировых отраслей. Я привел примеры того, как Omniverse является цифровой физической операционной системой промышленной цифровизации. Мы видим как можно использовать ее для создания виртуальных продуктов, для виртуальной настройки продукта, от простой вещи, до фабрики. Мы можем в виртуальном вире создать полный аналог реального физического объекта.

В каждой компании, имеющей дело с объектами реального мира, которая производит материальные продукты, цифровизация дает возможность автоматизировать все. Мы можем помочь перенести мир физического в цифровой мир. И мы точно знаем, что с этим происходит. Как только вы попадаете в цифровой мир, наша способность ускорять рабочие процессы, наша способность находить новые идеи продуктов, наша способность изобретать новые бизнес-модели значительно возрастают.

Генеративный ИИ

Во-первых, конечно же, генеративный ИИ стимулирует рост спроса на платформы NVIDIA. Мы вошли в год полными энтузиазма с запуском Hopper. Хоппер был разработан с механизмом преобразования, который был разработан для больших языковых моделей и того, что люди теперь называют базовыми моделями.

Движок-трансформер оказался невероятно успешным. Hopper был принят практически всеми поставщиками облачных услуг, которых я знаю. И то, что на самом деле сигнализирует об увеличении спроса на Hopper по сравнению с предыдущими поколениями, на самом деле сигнализирует о потребностях для ИИ. Раньше это было для исследований ИИ. Раньше оборудование было нужно для этого. А сейчас, когда генеративный ИИ начинает повсеместно применяться, оборудование нужно для его развертывания. Во всем мире. И это важно.

Таким образом, генеративный ИИ стимулирует рост спроса. Во-вторых, мы говорили о наших новых чипах, которые появятся на рынке. Мы глубоко заботимся об ускорении каждой возможной рабочей нагрузки, которую мы можем ускорить. И, конечно же, одна из самых важных задач — это искусственный интеллект.

Точки ускорения. ЦОДЫ

Одной из точек ускорения являются центры обработки данных. Вы должны представить себе, что эти гигантские центры обработки данных — это не компьютеры, а парк компьютеров, организованных и управляемых как одна гигантская система. Таким образом, операционная система центра обработки данных, которая включает в себя контейнеризацию, виртуализацию, сетевое хранилище и, что очень важно, безопасность.

И, честно говоря, я не удивлюсь, если для многих, в зависимости от типа эксплуатируемых центров обработки данных, я не удивлюсь, если 20–30 % мощности центров обработки данных будет выделено только для сетей. Мы хотим разгрузить, ускорить операционную систему современных центров обработки данных. И этот процессор называется BlueField. Мы объявили о целом ряде новых партнеров и облачных центров обработки данных, которые внедрили BlueField. Я очень взволнован, когда говорю об этом продукте. Я действительно верю, что это будет одним из самых важных вкладов, который мы вносим в современные центры обработки данных, их развитие.

Нвидиа и рекомендательные системы

Некоторые компании разработали свои собственные подходы к управлению ЦОД. Но у большинства компаний не будет ресурсов для разработки чего-то такой сложности, а облачные центры обработки данных будут повсюду, их будет все больше. Мы анонсировали Grace Hopper, движок, который будет использоваться для одной из основных нагрузок логического вывода, векторных баз данных, обработки данных, рекомендательных систем. Рекомендательные системы, о которых я уже говорил ранее, вероятно, являются одним из самых ценных и важных приложений в современном мире. И большая часть цифровой коммерции стала возможной благодаря сложным рекомендательным системам. Рекомендательные системы переходят на глубокое обучение, и это очень важная возможность для нас.

Grace Hopper дает нам возможность получить 10-кратное ускорение в рекомендательных системах в больших базах данных. Грейс предназначен для ускорения остальной нагрузки в облачном центре обработки данных, которую невозможно ускорить базовыми методами. Как только мы все ускорим основные разделы в ЦОД, останется программное обеспечение, которое требует однопоточную производительность. А однопоточная производительность — это то, для чего была разработана Grace. И здесь мы закроем этот гэп.

Grace

Мы также разработали Grace не просто как центральный процессор быстрого компьютера, а как центральный процессор очень и очень энергоэффективного облачного центра обработки данных. Если представить весь центр обработки данных как один компьютер, когда центр обработки данных — это очень большой компьютер, то то, как вы спроектировали ЦП в контексте ускорения центра обработки данных, ориентированного на искусственный интеллект, имеет критическое влияние на производительность центра в целом. Мы разработали процессор Grace. Это не просто ЦП, это целый компьютерный модуль, суперчип. Он очень энергоэффективен и при этом невероятно производителен для однопоточной работы. Мы действительно в восторге от Grace, и сейчас мы делаем тестовые семплы и он великолепен!

Генеративный ИИ и мультимодальность вычислений

Давайте посмотрим. Мы много говорили о генеративном ИИ и о том, как это увеличивает нагрузку на вычислительные мощности. И одна из вещей, которая действительно важна, заключается в том, что, с одной стороны, этот вид вычислений может быть ускорен. С другой стороны, он этот тип вычислений мультимодальный, а это означает, что существует так много разных типов рабочих нагрузок, с которыми придется иметь дело. Разные типы вычислений.

Иногда вы генерируете текст, очень длинный текст. Подсказки пользователя могут быть длинными, поэтому у вас может быть очень длинный контекст, Так же генеративная нейросеть может генерировать очень длинный текст, или писать очень длинные коды, программы. Итак, эти приложения, каждое из них, это видео, изображения, текст и, конечно же, векторные базы данных, все они имеют разные характеристики. Теперь проблема, конечно, в облачном центре обработки данных, с одной стороны, вы хотели бы иметь специализированные ускорители для каждой из этих модальностей.

Единая архитектура Нвидиа

С другой стороны, вы хотели бы, чтобы ваш центр обработки данных был гибким. И многофункциональным, потому что рабочие нагрузки перемещаются то выше то ниже. Они очень динамичны. А оборудование не должно простаивать. Появляются новые услуги, появляются новые запросы, задачи. Люди пользуются разными услугами в разное время суток, и все же вы хотели бы, чтобы все ваши центры обработки данных использовались максимально эффективно. Сила нашей архитектуры в том, что это одна архитектура. У вас есть одна архитектура с 4 различными конфигурациями. Все они работают с нашим программным стеком, а это означает, что в зависимости от времени суток, если один из них недостаточно загружен, вы всегда можете переключить этот стек на другие нагрузки.

И поэтому эта взаимозаменяемость в центре обработки данных дает вам возможность максимально ускорить различные рабочие нагрузки, тоесть не нужно совершенно точно прогнозировать объем рабочей нагрузки, потому что весь центр обработки данных является гибким и многофункиональным. Итак, одна архитектура, 4 конфигурации.

Google Cloud, GCP — одна из самых больших областей сотрудничества и сотрудничества.

Мы работаем с GCP над очень большой областью ускорения обработки данных от Dataproc [ph] до Spark RAPIDS. Это дает 10%, 20%, 25% загруженности центра. Вероятно, это одна из самых интенсивных рабочих нагрузок ядра ЦП.

У нас есть возможность ускорить его, ускорить в 20 раз, добиться значительного снижения затрат, что понравится клиентам. Мы также ускоряем вывод данных с помощью сервера Triton. Мы также ускоряем их генеративные модели искусственного интеллекта. У Google есть новаторские модели больших языковых моделей мирового уровня, которые мы сейчас ускоряем и размещаем на платформе логических выводов L4.

И, конечно же, у нас есть возможность ускорить потоковую графику и потоковое видео.

Библиотеки ускорения

Как я упоминал ранее, ускорение вычислений — это задача полного стека. В отличие от ЦП, где программное обеспечение написано и скомпилировано с использованием компилятора и его общего назначения. Это одно из замечательных преимуществ и прорывов ЦП, это общее назначение.

Аспект ускорения: если вы хотите ускорить рабочие нагрузки, вам нужно перепроектировать приложение, вам нужно полностью реорганизовать алгоритм, и мы кодифицируем алгоритмы в библиотеках ускорения. Библиотека ускорения, от линейной алгебры до БПФ и обработки данных, которые мы используем, до гидродинамики, физики элементарных частиц, компьютерной графики и так далее и тому подобного, квантовой химии, обратной физики для реконструкции изображений и так далее и тому подобное.

Для каждой из группы задач требуются библиотеки ускорения. Каждая библиотека ускорения требует от нас понимания предметной области, работы с экосистемой, создания библиотеки ускорения, подключения ее к приложениям в этой экосистеме, а также усиления и ускорения области использования. Мы постоянно совершенствуем имеющиеся у нас библиотеки ускорения, чтобы установленная база выиграла от всех наших расширенных оптимизаций. Таким образом, вы покупаете системы NVIDIA и получаете выгоду от ускорения на долгие годы. Для нас на одной и той же платформе нет ничего необычного в повышении производительности с 4 до 10 раз, если Вы регулярно обновляете эти библиотеки.

cuLitho

И поэтому мы рады продолжать улучшать библиотеки и добавлять новые функции и дополнительную оптимизацию. В этом году мы оптимизировали и выпустили 100 библиотек и 100 моделей — 100 библиотек и моделей, чтобы повысить производительность и расширить возможности. Мы также анонсировали несколько очень важных новых библиотек. Одна новая библиотека, о которой я расскажу, это cuLitho. Вычислительная литография — это обратная физическая задача, которая вычисляет уравнение, когда оно проходит через оптику и взаимодействует с фоторезистом на маске. Эта способность делать в основном обратную физику и обработку изображений позволяет нам использовать длины волн света, которые намного, намного больше, чем окончательный узор, который вы хотите создать на пластине.

На самом деле это чудо, если посмотреть на современное производство микрочипов. В последнем поколении мы используем 13,5-нанометровый луч света, который близок к рентгеновскому, это экстремальный ультрафиолет, и, тем не менее, используя 13,5-нанометровый луч, вы можете создавать узоры размером несколько нанометров, 3-нанометр, 5-нанометр на пластине. Я имею в виду, что это похоже на использование нечеткого света, нечеткой ручки для создания очень тонкого узора на листе бумаги. И для этой способности требуются волшебные инструменты, такие как ASML, волшебные инструменты, вычислительные библиотеки от Synopsys, чудо работы, которую делает TSMC, и эта область визуализации, называемая вычислительной литографией. В течение последних нескольких лет мы работали над ускорением всего этого конвейера. Это единственная самая крупная наша работа!

Производственный процесс усложняется

Этот этап производственного процесса в ближайшие годы станет намного сложнее, потому что волшебство, которое нам предстоит привнести в будущую литографию, будет становиться все более волшебным. И обязательно будут задействованы машинное обучение и искусственный интеллект. И поэтому первый шаг для нас — взять весь этот стек и ускорить его. И за последние 4 года мы ускорили вычислительную литографию в 50 раз. Теперь, конечно, это сокращает время цикла, время обработки для всех чипов в мире, что действительно фантастично, потому что это 40-50 миллиардов долларов инвестиций в завод. Если бы вы могли сократить время цикла хотя бы на 10 %, ценность была бы фантастической.

Экономия энергии

Но что действительно фантастично, так это то, что мы также экономим огромное количество энергии. В случае с TSMC и работой, которую мы проделали до сих пор, у нас есть возможность взять мегаватты, десятки мегаватт и сократить расходование энергии в 5-10 раз. И поэтому снижение мощности, конечно, делает производство более устойчивым с финансовой точки зрения, и это очень важная инициатива для нас.

Расширение бизнес модели

Итак, cuLitho, я очень взволнован. Наконец, я расскажу о крупнейшем расширении нашей бизнес-модели в нашей истории. Мы знаем, что мир становится в значительной степени облачным. А облако дает вам возможность быстро и мгновенно задействовать вычислительную платформу через веб-браузер. И за последние 10 лет возможности облаков продолжали развиваться. Сегодня они представляют собой высокопроизводительные вычисления, системы научных вычислений, суперкомпьютеры с искусственным интеллектом в облаке.

И поэтому мы собираемся сотрудничать со всеми мировыми поставщиками облачных услуг. И начиная с OCI, мы также объявили об облачном партнерстве с Azure и GCP. Мы собираемся сотрудничать с ведущими мировыми поставщиками облачных услуг для внедрения — установки и размещения NVIDIA AI, NVIDIA Omniverse и NVIDIA DGX Cloud в облаке. Невероятная возможность этого заключается в том, что, с одной стороны, вы получаете полностью оптимизированные мультиоблачные стеки NVIDIA AI и NVIDIA Omniverse. И у вас есть возможность пользоваться всеми облаками мира в их наиболее оптимизированной конфигурации. Таким образом, вы получаете все преимущества программного стека NVIDIA в его наиболее оптимальной форме. Вы можете работать напрямую с компьютерными учеными и экспертами NVIDIA.

Таким образом, для компаний с очень большими вычислительными нагрузками, которые хотели бы воспользоваться преимуществом ускорения, преимуществами самого передового ИИ, у нас теперь есть прямой сервис, с помощью которого мы можем ускорять разные мировые отрасли. Для нас это прекрасный способ объединить лучшее из того, что предлагает NVIDIA, и лучшее из всех CSP. У них есть невероятные услуги для обеспечения безопасности в облаке, для обеспечения безопасности, для хранения, для всех других сервисов API, которые они предлагают, и вполне вероятно, что они уже являются тем облаком, которое вы выбрали. Итак, теперь впервые у нас есть возможность объединить лучшее из обоих миров и привнести лучшее от NVIDIA, а также объединить это с лучшими CSP и сделать эти возможности доступными для мировых отраслей.

NVIDIA AI

Одна из услуг, о которых мы только что объявили, — это платформа как услуга, NVIDIA AI, NVIDIA Omniverse и инфраструктура как услуга, NVIDIA DGX Cloud. У нас так много клиентов, с которыми мы работаем, так много отраслевых партнеров, с которыми мы работаем над созданием основополагающих моделей. И если клиент предприятия, если отрасль хочет иметь доступ к базовым моделям, наиболее очевидным и наиболее доступным будет сотрудничество с ведущими мировыми поставщиками услуг, такими как OpenAI или Microsoft и Google. Все это примеры моделей ИИ, разработанных с учетом высокой доступности, высокой гибкости и полезности для многих отраслей.

Создание генеративных моделей нейросетей

Есть компании, которые хотят создавать собственные модели, основанные именно на их данных. И у NVIDIA есть для этого все возможности. И поэтому для клиентов, которые хотели бы создавать пользовательские модели на основе своих собственных данных, обученных и разработанных, и делать выводы по-своему, будь то безопасность, которую они хотели бы внедрить, или настройки инструкций, которые они хотели бы выполнить, или типы собственных наборов данных, которые они хотели бы получить, какими бы ни были очень специфические требования, которые они предъявляют к языковым моделям, генеративным моделям изображений в 2D, 3D или видео или в биологии, теперь у нас есть сервис, который позволяет нам напрямую работать с вам помочь создать эту модель, настроить эту модель и развернуть эту модель в облаке NVIDIA DGX. И, как я уже упоминал, облако DGX работает во всех основных мировых CSP. И поэтому, если вы

Если у вас есть CSP на ваш выбор, я почти уверен, что мы сможем разместить его в нем, хорошо?

И поэтому облачные сервисы NVIDIA расширят нашу бизнес-модель, и мы предлагаем инфраструктуру как услугу, облако DGX, платформу как услугу, NVIDIA AI, NVIDIA Omniverse, и у нас есть новые услуги искусственного интеллекта, которые предназначены для индивидуального использования, по сути, литейного производства. моделей искусственного интеллекта, доступных для мировых отраслей и всего мира — в партнерстве с ведущими мировыми поставщиками услуг связи. Итак, это все. Это объявления, которые мы сделали. Нам многое предстоит пройти. Спасибо, что присоединились к GTC.

Ответы на вопросы

Далее идут вопросы участников конференции.

Тошия Хари

Какую роль сыграет Грэйс и Ваши новинки в среднесрочной перспективе нескольких лет?

Дженсен Хуанг

Через 3-5 лет суперкомпьютеры с искусственным интеллектом, которые мы создаем сегодня, несомненно, займут свое достойное место. Это, конечно, будет иметь гигантские масштабы. Это и вычислительные структуры, такие как NVLink, крупномасштабные вычислительные структуры, такие как InfiniBand, и очень сложные сети, которые соединяют все это воедино. Стек программного обеспечения, его операционная система, программное обеспечение для распределенных вычислений — это просто информатика на пределе возможностей.

Так же появился генеративный ИИ. Мы увидим, что почти каждая отрасль извлекает выгоду из генеративных нейросетей. Они будут повсюду.

Джо Мур

Как Вы работаете с тем, чтобы снизить стоимость одного обращения к генеративной нейросети?

Дженсен Хуанг

С одной стороны, модели станут крупнее. Причина, по которой они станут больше, заключается в том, что мы хотели выполнять задачи все лучше, лучше и лучше. И есть все доказательства того, что возможности, качество и универсальность модели коррелируют с размером, моделью и объемом данных, с которыми вы обучаете эту модель. И поэтому, с одной стороны, мы хотим, чтобы модели были все больше и больше, более универсальными.

И так как существует так много разных вариантов использования, у вас будут модели разных размеров. И поэтому мы оптимизируем все это. Вы должны использовать модель правильного размера для приложения правильного размера. Наша платформа логического вывода простирается от L4 до L40. И одна из тех, о которых я объявил на этой неделе, — это невероятная вещь. Это Hopper H100 NVLink, мы называем его H10 0NVL. По сути, это 2 модуля, подключенных к NVLink. В результате у него 180 гигабайт — 190 гигабайт, почти 190 гигабайт памяти HBM3. Таким образом, эта 190-гигабайтная память дает вам возможность выводить современные модели языка логического вывода большого размера вплоть до, если вы хотите использовать ее, в очень небольших конфигурациях, это двойное системное решение H100 позволяет разделить очень многое. 16 разных, мы так же называем многоэкземплярными графическими процессорами MIG.

И эти миниатюрные графические процессоры, части графических процессоров могут выводить разные языковые модели, или все это может быть связано, или 4 из них могут быть помещены в сервер PCI Express, стандартный сервер, который затем можно использовать для распределения по нему большой модели.

И, что очень важно, программный стек. Мы постоянно совершенствуем программный стек. За последние пару 2-3 лет мы значительно улучшили его. Я имею в виду, на порядки всего за пару лет.

Тим Аркури, UBS

Дженсен, кажется, я слышал, как ты говорил, что Google интересуется и разрабатывает новые модели. Означает ли это, что они используют новую платформу L4? Другими словами, они использовали TPU, но теперь они используют вашу новую платформу L4? Просто любопытно, подробнее там.

Дженсен Хуанг

Наше партнерство с GCP — это очень, очень большое событие. И это переломный момент для ИИ, но также и переломный момент для нашего партнерства. У нас есть много инженеров, которые работают вместе, чтобы перенести самые современные модели, которые есть у Google, в облако. А L4 — универсальная платформа для логического вывода. Вы можете использовать ее для вывода видео, генерации изображений для генеративных моделей, генерации текста для больших языковых моделей. И я упомянул в основном докладе некоторые модели, над которыми мы работаем вместе с Google, чтобы перенести их на платформу L4. Таким образом, L4 станет просто феноменальной платформой для логических выводов. Это очень энергоэффективно. Всего 75 Вт. Производительность зашкаливает, и ее невероятно легко развернуть.

Вивек Арья, Bank of America.

Спасибо, Янсен и Колетт за очень информативное мероприятие. Итак, у меня был краткосрочный и долгосрочный вопрос. В ближайшее время, просто любопытно, есть ли в наличии Hopper, как у нас дела с поставками? И потом, Дженсен, мы слышали о ряде инноваций в программном обеспечении и услугах. Как мы должны отслеживать их прогресс, верно? Итак, последняя цифра, которую мы слышали о продажах программного обеспечения, была около нескольких сотен миллионов. Таким образом, около 1% от ваших продаж. Что бы вы назвали успехом в ближайшие несколько лет? Как вы думаете, какой процент ваших продаж со временем может приходиться на программное обеспечение и подписки?

Колетт Кресс, NVDA

Итак, позвольте мне начать, Вивек, с вашего заявления о поставках нашего H100. Да, мы продолжаем производить наши H100 для нового спроса, который мы оба видели в этом квартале. Но имейте в виду, мы также наблюдаем рост спроса со стороны наших гипермасштабируемых клиентов для всех платформ наших центров обработки данных, поскольку они сосредоточены на генеративном искусственном интеллекте. Таким образом, даже в этом последнем месяце, с тех пор как мы говорили о доходах, мы видим все больший и больший спрос. Поэтому мы уверены, что сможем обслуживать этот рынок, продолжая наращивать поставки, но мы чувствуем, что в настоящее время находимся в хорошем положении.

Дженсен Хуанг

Я думаю, что программное обеспечение и услуги будут очень существенной частью нашего бизнеса. Однако, как вы знаете, мы обслуживаем рынок на всех уровнях. Мы являемся компанией с полным стеком, но мы являемся открытой платформой, а это означает, что если компания захочет… если клиент захочет работать с нами на уровне инфраструктуры на уровне оборудования, мы в восторге от этого. Если они захотят работать с нами на уровне аппаратного обеспечения и библиотек, мы будем рады этому.

И если клиент хочет работать с нами на всем уровне услуг или на любом уровне, все включено, мы этому рады. И так у нас есть возможность покрыть все 3 слоя сотрудничества. Аппаратный слой — это, конечно, уже очень большой бизнес. И, как упомянула Колетт, эта часть нашего бизнеса, генеративный ИИ, способствует ускорению этого бизнеса. Для компаний, которые хотели бы иметь локальную версию, мы будем использовать подписку. Однако, как мы все знаем, сегодня, когда мир является мультиоблачным, вам действительно нужно, чтобы программное обеспечение было как в облаке, так и локально. И поэтому возможность для нас быть мультиоблачным, гибридным облаком является реальным преимуществом и реальной выгодой для наших 2 программных платформ. И это только начало.

И, наконец, наши фундаментальные услуги ИИ только что анонсированы и только начинаются. Мы говорили о закладке основ и пути к сегодняшнему дню. Это очень важный день для нас запуск, вероятно, крупнейшей инициативы по расширению бизнес-модели в истории нашей компании.

Раджи Гилл из Нидхэма.

Просто вопрос с технологической точки зрения о взаимосвязи между памятью и вычислениями. Как вы упомянули, эти генеративные модели ИИ создают огромные объемы вычислений. А как вы относитесь к моделям памяти? И считаете ли вы память потенциальным узким местом? Так как же решить проблему дезагрегации памяти? Это было бы полезно понять.

Дженсен Хуанг, Нвидиа

Да. Ну, оказывается, в вычислениях – все узкое место. Как вы знаете, мы создаем экстремальные компьютеры. И когда вы строите компьютеры того типа, который строим мы, обработка является узким местом, поэтому фактические вычисления являются узким местом, пропускная способность памяти является узким местом, объем памяти является узким местом, сеть или вычислительная структура являются узким местом, сеть является узким местом. Узкое место является узким местом. Все является узким местом. Мы живем в мире узких мест. Итак, что верно, как вы упомянули, так это то, что объем памяти, которую мы используем, объем памяти, который мы используем, значительно увеличивается.

И причина этого, конечно же, в том, что большая часть генеративной работы ИИ, которую мы выполняем при обучении моделей, требует много памяти. Но и для логического вывода требуется много памяти.

Стейси Расгон Bernstein Research.

Мне интересно, не могли бы вы немного углубиться в экономику бизнеса DGX Cloud. Например, кто на самом деле платит за инфраструктуру в… Платит ли это за вас поставщик облачных услуг, а затем вы сдаете ее в аренду, так что вы ее используете? Или я догадываюсь, как это работает? И как тогда клиенты платят? Кто получает прибыль и экономику от клиентов? Как вы оцениваете — все, что вы можете нам сказать о том, как это на самом деле работает и влияет на модель, было бы очень полезно.

Дженсен Хуанг, Нвидиа

Да, Стейси, спасибо. Во-первых, процесс идет так. Мы представили сотрудничество с NVIDIA DGX Cloud нашим партнерам CSP. И все они очень взволнованы этим. И причина этого в том, что… мы являемся связующим звеном, если хотите, очень для важных клиентов и очень крупных партнеров, которые затем потребляют их хранилище, безопасность и целую кучу других прикладных API.

У нас очень тесные отношения практически с каждой автомобильной компанией на планете. И они в срочном порядке нуждаются в использовании преимуществ искусственного интеллекта последнего поколения — генеративного искусственного интеллекта или оцифровки Omniverse. Итак, первым делом мы представляем им идею, предложение, которое предлагает им партнерство. Затем они будут покупать системы, которые включают в себя оборудование других производителей, но также наше оборудование для поддержки облаков DGX. И поэтому поставщики облачных услуг приобретают все — любую инфраструктуру, питание, сеть, хранилище и т. д. и т. д., чтобы поддерживать инфраструктуру, размещать ее и управлять ею.

Два основных драйвера вычислений в ближайшем будущем

Одним из них является устойчивость, ускорение жизненно необходимо для этого; а второй — генеративный ИИ, вычисления ИИ жизненно важны для этого. Я хочу поблагодарить всех вас за то, что присоединились к GTC. У нас было много новостей для вас, чтобы вы могли потреблять и ценить все отличные вопросы. И, что очень важно, я хочу поблагодарить всех исследователей и ученых, которые пошли на риск и верили в платформу, которую мы создавали в течение последних 2,5 десятилетий, продолжая продвигать ускоренные вычисления, использовали эту технологию и использовали это. вычислительная платформа для выполнения новаторских работ. И именно благодаря вам и всей вашей потрясающей работе, которая действительно вдохновила остальной мир на переход к ускоренным вычислениям.

Я также хочу поблагодарить всех замечательных сотрудников NVIDIA за невероятную компанию, которую вы помогли создать, и созданную вами экосистему. Спасибо всем!

5 1 голос
Рейтинг статьи
Подписаться
Уведомить о
guest
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии
0
Что думаешь?! Делись мыслями!x
Scroll to Top

Хочешь стать
осознанным
инвестором?

 

Короткие статьи про инвестиции и фондовый рынок  – лучшая пища для ума инвестора!

ЧИБУРДА

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.