- Дженсен Хуан сделал смелое предсказание, что за десятилетие вычислительная мощность увеличится в миллион раз.
- Так называемые «законы масштабирования» гласят, что модели ИИ становятся умнее с ростом вычислительной мощности.
- Сообщения о замедлении совершенствования моделей ИИ поставили под сомнение законы масштабирования.
Генеральный директор Nvidia Дженсен Хуан заявил, что, по прогнозам, вычислительная мощность, являющаяся движущей силой прогресса в области генеративного ИИ, увеличится «в миллион раз» в течение следующего десятилетия.
В специальном обращении в понедельник миллиардер-босс чип-индустрии заявил на отраслевой конференции в Атланте, что вычислительная мощность ежегодно увеличивается в «четыре раза». Такой темп роста приведет к тому, что жизненно важный ресурс бума ИИ станет значительно более мощным в течение следующих 10 лет.
Nvidia стремительно выросла и стала самой дорогой компанией в мире в эпоху генеративного ИИ. Компании в технологическом секторе выстроились в очередь, чтобы обеспечить поставки ее специализированных чипов, известных как графические процессоры , которые предлагают вычислительную мощность, необходимую для обучения более умных моделей ИИ.
Хуан сказал, что вычислительная мощность является ключевым компонентом так называемых «законов масштабирования» , которые наблюдают, как большие языковые модели ИИ (LLM) демонстрируют рост производительности по мере увеличения их размера и доступа к большей вычислительной мощности и данным.
По словам генерального директора Nvidia, «законы масштабирования продемонстрировали предсказуемые улучшения в производительности моделей ИИ».
В своем выступлении Хуан, по-видимому, упомянул недавнюю неопределенность вокруг законов масштабирования, заявив, что они «применимы не только к обучению на степень магистра права», но и к «выводу» — процессу, описывающему, как модели ИИ реагируют на запросы и рассуждения пользователей после обучения.
«В течение следующего десятилетия мы ускорим реализацию нашей дорожной карты, чтобы идти в ногу с требованиями к масштабированию обучения и вывода, а также открыть новые горизонты интеллекта», — сказал он.
Nvidia отказалась от комментариев.
Прочитайте оригинальную статью на Business Insider
Однако в этом месяце возникли новые сомнения относительно этих законов масштабирования. Многочисленные отчеты предполагают, что некоторые из ведущих лабораторий ИИ в Кремниевой долине изо всех сил пытаются добиться значительного прироста производительности от своих моделей следующего поколения.
Например, OpenAI сталкивается с более медленными темпами совершенствования своей будущей модели ИИ Orion, согласно The Information . Между тем, Илья Суцкевер, бывший главный научный сотрудник OpenAI, сообщил Reuters , что масштабирование фазы «предобучения» ИИ, которая включает данные и вычислительную мощность, остановилось.