Сооснователь Ethereum Виталик Бутерин говорит, что локальный искусственный интеллект (ИИ) близок к тому, чтобы справляться с большой долей повседневных задач. Он запустил Qwen3.8-Flash-Next от Alibaba на собственном ноутбуке и опубликовал результаты по скорости.

В отличие от ChatGPT, такая система никогда не обращается к облачному серверу. Модель находится на устройстве, и устройство само отвечает на запрос.

Локальный тест ИИ Виталика Бутерина показывает приемлемую скорость

Его ноутбук использует чип Strix Halo от AMD. Большинство компьютеров делят работу между процессором и отдельной видеокартой, и у каждого из них своя память. Strix Halo объединяет оба компонента на одном кристалле и позволяет им использовать общий пул памяти.

Такая конструкция важна, потому что модель ИИ должна поместиться в память, прежде чем сможет вообще работать. Обычная видеокарта предлагает от 8 до 24 гигабайт — этого слишком мало для модели такого размера. Устройства на Strix Halo поставляются с объёмом памяти до 128 гигабайт, которые может использовать любая из половин чипа. Поэтому один ноутбук способен вместить модель, для которой до недавнего времени требовалось серверное оборудование.

Скорости, которые он опубликовал, достаточно высоки для обычной работы. Короткие запросы возвращались с комфортным темпом чтения. Скорость вывода снижалась, когда запрос разрастался до десятков тысяч слов, так что очень длинные документы остаются слабым местом.

Alibaba опубликовала открытые веса 26 августа. Команда утверждает, что модель содержит 125 миллиардов параметров, но активирует одновременно лишь шесть миллиардов, что удерживает требования к памяти на скромном уровне.

Бутерин назвал её Qwen3.8-Flash, хотя Alibaba распространяет загружаемую версию как Qwen3.8-Flash-Next. Её старшая версия, Qwen3.8-Max, получила высокие оценки в тестах в августе.

Почему конфиденциальность меняет расчёт

Бутерин видит вторую выгоду помимо чистой скорости. Локальная модель отвечает на устройстве, поэтому запрос никогда не получает ни один провайдер.

Для более сложной работы он предлагает разделение. Локальная модель будет справляться с тем, что может, а затем удалять конфиденциальные детали из всего, что передаётся более крупной размещённой в облаке системе.

«используйте свою локальную модель, чтобы направлять запросы к мощным моделям так, чтобы ваши запросы не раскрывали вашу личную информацию»

На практике локальная модель будет извлекать из запроса имена, адреса кошельков или приватный код, а затем передавать дальше только оставшуюся часть вопроса. Такая фильтрация сократит объём данных, покидающих устройство. Она не гарантирует, что ничего конфиденциального не проскользнёт.

Такая позиция соответствует его репутации. Он предупреждал о слежке во время борьбы против chat control в ЕС, а пользователи криптовалют по схожим причинам добивались более строгих ограничений для агентов.

Коллективный иск, поданный в мае, обвиняет OpenAI в передаче запросов пользователей ChatGPT компаниям Meta и Google.

Облачные провайдеры по-прежнему удерживают передний край технологий. Но каждый прирост производительности локальных решений уводит с их серверов всё больше рутинной работы, а дешёвое оборудование с общей памятью продолжает распространяться.

Открытым остаётся вопрос, сколько возможностей люди готовы обменять на контроль.

Source: BeInCrypto