Що саме додали до рушія

Реліз містить перетворення текстової частини на GGUF, виконання моделі та обробку статичних зображень через мультимодальний компонент. Це розширює перелік архітектур, які розуміє llama.cpp, а не змінює знання самої моделі. У початковому описі інтеграції автор окремо виключив спекулятор DSpark із цього пакета змін. Отже, наявність підтримки Inkling 2 не підтверджує одночасну появу всіх можливих прискорень. Новину також не слід читати як анонс обробки аудіо: фінальна інтеграція заявлена для тексту та зображень.

Чому Small не означає модель для будь-якого ноутбука

Офіційна картка описує Inkling 2 Small як модель із сумішшю експертів: 594 мільярди параметрів загалом і 17 мільярдів активних на токен. Для основного NVFP4-чекпойнта виробник наводить щонайменше 500 ГБ сумарної відеопам’яті, для MXFP8 — 800 ГБ. Це вимоги зазначених компанією конфігурацій, а не виміряний нами мінімум для GGUF. Менша кількість активних параметрів зменшує обчислення, проте не скасовує зберігання ваг. Обіцянки комфортного запуску на звичайному домашньому комп’ютері цей реліз не дає.

Що підтверджено тестами

У примітках до b12406 описано обробку упакованих експертних тензорів частинами під час конвертації. Такий підхід покликаний обмежити тимчасові буфери, не розгортаючи великий шар цілком. Проте наведені перевірки використовують синтетичні дані; там само прямо зазначено, що перетворення реального чекпойнта ще не перевірене. Показник пам’яті окремого фрагмента не є вимогою пам’яті всієї моделі. Ми не запускали повний набір ваг і не публікуємо власних вимірювань швидкості, якості або стабільності цієї інтеграції.

Кому корисна ця зміна

Для розробників власного inference-сервера це нова точка сумісності, яку можна оцінити поряд з іншими рушіями. Ваги оприлюднені організацією Thinking Machines Lab на Hugging Face з позначкою Apache 2.0; це не модель команди Hugging Face. Практичне оцінювання має окремо перевірити конвертацію, шаблон діалогу, текстові відповіді та роботу із зображеннями. Для задачі аналізу документів варто порівняти результати на власних прикладах і зафіксувати версію рушія. Наша оцінка: це корисний інфраструктурний крок, а готовність до конкретного навантаження ще потребує доказів.