𝐀𝐓𝐎𝐌𝐈𝐂 𝐂𝐇𝐄𝐑𝐑𝐘, [2/16/2025 6:13 AM]
Так как завтра, согласно заверениям Илона Маска, будет выпущена нейросеть Grok 3 – ответ на китайскую DeepSeek, и мы станем свидетелями очередного витка компьютерной войны США и КНР, то стоило бы тезисно, пусть и с опозданием, обсудить некоторые интересные факты о китайской языковой модели.
Подобно буму доткомов 2000-ых, когда достаточно было зарегистрировать сайт (невероятная инновация!), и вот деньги инвесторов уже текли твоей компании рекой (спойлер – кончилось все быстро и печально), 2024 год стал годом бума больших языковых моделей (не совсем корректно именуемых ИИ), причем инвестиций в это было привлечено кратно больше, нежели 24 года назад.
Что оно делает и почему оно так дорого? Если в двух словах, то нам необходимо взять огромный (очень, очень большой) объем текстовой информации и прогнать его через огромный (и очень, очень дорогой) массив параллельных процессоров (в 99% используются видеокарты или специальные чипы от NVIDIA, что обусловило космический рост акций компании, превзошедшей стоимость всей саудовской нефти и русского газа) для того, чтобы построенная по вероятностным правилам модель научилась угадывать (в буквальном смысле!) то, что пользователь сочтет за осмысленный ответ на вопрос.
Очевидно, что с интеллектуальной точки зрения данное творение недалеко ушло от пресловутой машины Луллия, над которой иронизировал еще Свифт в своих «Путешествиях Гулливера». Дабы модель угадывала получше и давала более осмысленные ответы, нежели случайный подбор слов, требуется огромный объем данных, который позволяет сгенерировать самое ценное – нужные веса (грубо говоря – вероятностные коэффициенты) для различных сочетаний слов, которые она выдает.
Естественно, исходя из таких вводных, мы неизбежно получаем текущее состояние рынка: железо, нужное для обучения модели, стоит сотни миллионов, времени это занимает около года, сама модель настолько громоздка, что работает только в терминальном режиме, крутясь в датацентрах, модель довольно часто галлюцинирует (официальный термин), выдавая в ответ на вопрос какие-то причудливые, малоосмысленные и совершенно нерелевантные ответы.
Для преодоления последнего недостатка недавно была предпринята попытка обратится к т.н. Model-based reasoning – старой идее классического ИИ 1980-ых – попытаться добавить к вероятностному выводу набор правил логического вывода, соответствующих какой-либо онтологии (базе фактов и их отношений), что позволяет отсеять совсем уж бредовые ответы. Созданная таким образом o1 от OpenAI несколько месяцев назад поразила неокрепшие умы обозревателей, отвечая значительно лучше обыкновенных вероятностных моделей.
И тут на рынке появляется то, что разрывает все шаблоны – китайская модель DeepSeek. Она почти бесплатна (o1 стоит $200, DeepSeek R1 – это 50 вопросов в день), разработана в полной тайне и с большой скоростью буквально за год-полгода (OpenAI шла к o1 десять лет) – и все это в условиях жесточайшего эмбарго США на поставки мощных видеокарт NVIDIA в Китай. И она не отличается от o1 по качеству ответов, превосходя обычные версии ChatGPT.
Естественно, на фоне происходящего за был сделан самый тривиальный вывод из возможных: китайцы – это гении, способные с легкостью и за малые средства сделать то, что янки не могут создать за 10 лет и 100 миллиардов, причем еще и обучить модель едва ли не на кластере из телефонов Meizu.
За несколько часов после появления DeepSeek фондовый рынок США рухнул вниз на триллион долларов, из которых NVIDIA потеряла 600 миллиардов – крупнейший крах за всю историю капитализма.
Но, как говорил советский физик Ландау, прежде чем принимать на основе того, что вам сказали, какую-то невероятную теорию, опровергающую все, что вы знали, подумайте над более простым ответом – вам просто соврали. При ближайшем рассмотрении прорыв DeepSeek можно объяснить куда проще, нежели какой-то неземной технологией, на поколение превосходящей все, чего добились янки.
Китайцы поступили ровно так же, как поступали всегда (а до них японцы, корейцы и вообще все азиаты). Они взяли набор известных языковых моделей и улучшили его.
@atomiccherry 💯
𝐀𝐓𝐎𝐌𝐈𝐂 𝐂𝐇𝐄𝐑𝐑𝐘, [2/16/2025 6:13 AM]
Успех DeepSeek сложился из нескольких факторов (и китайцы на самом деле хорошо поработали!), но ничего сверхъестественного в них нет.
Во-первых, DeepSeek принадлежит хэдж-фонду High-Flyer, целиком профинансировавшему разработку и предоставившему для нее свое «железо»: огромные массивы видеокарт, применяемых для прогноза колебаний рынка. Так что реальные суммы, вложенные в DeepSeek, могут на порядки отличаться от заявленных – никто и никогда не получит информации о бухгалтерии китайских инвестиционных компаний и проверить это невозможно (джентльменам и китайцам верят на слово).
Естественно, никаких уникальных копеечных и сверхмощных оригинальных китайских чипов в природе также не существует – обучена модель, как и ее конкуренты, в колоссальных датацентрах на NVIDIA предыдущего поколения, всё еше доступных КНР (разница с новыми там не катастрофическая).
Во-вторых, в основу DeepSeek положены множественные разработки, в том числе, находящиеся в открытом доступе уже несколько лет. Ее «фишка» – показывать рассуждения пользователю, взята из Meta LLaMa 3, разработанной в недрах Facebook достаточно давно и имеющей открытый код, вторая «фишка» – методология т.н. «совета экспертов» (Mixture of Experts, MoE) – из открытой модели Mixtral от Mistral AI. Для обучения, вполне возможно, использовалось множество синтетических, а не реальных данных (получать которые куда сложнее и дороже). Но на таких данных модель обучится хуже, поэтому (вишенка на торте!)... DeepSeek подстраховались и в качестве основы выкачали себе сам ChatGPT.
Об этом косвенно говорит несколько фактов: во-первых, дословно совпадающий API, во-вторых, полгода назад OpenAI зафиксировала аномальную активность на своих серверах – через их приложение кто-то выкачал колоссальные объемы данных (расследование этого инцидента продолжается с тех пор). В-третьих, DeepSeek, как заметили пользователи, страдает от особенной галлюцинации - иногда она принимает себя за ... ChatGPT, например, цитирует ее политику использования, говоря о себе, как о модели от OpenAI.
В результате, наиболее вероятна следующая ситуация. Китайцы создали собственную нейросеть на основе Meta LLaMa 3 и Mixtral, а затем прибегли (с целью огромной экономии) к т.н. «дистилляции знаний» (knowledge distillation): выкачали ChatGPT как он есть и заставили обучать свою модель, на что ушло всего несколько месяцев и были сэкономлены огромные средства и вычислительные мощности.
Если этот факт подтвердится – получится еще одна отличная демонстрация азиатского подхода к инновациям, не подводившего их с 1960-ых: взять созданное на Западе, скопировать, улучшить и по низкой цене продавать обратно на Запад.
Посему, любопытно будет посмотреть на новый ответ со стороны США.
@atomiccherry 💯
