Помилка виникала через порядок завантаження
У релізі описано копіювання слотів циклу наприкінці load_arch_tensors. Наступний загальний прохід додавав необов’язкові тензори масштабування до фізичних шарів, але раніше створені слоти не отримували цих даних. Тому наступним проходам ядра бракувало масштабів, потрібних відповідним NVFP4-експертам.
Виправлення додає необов’язковий етап post_arch_tensors і передає спільні дані слотам після оброблення масштабів. Практичний зміст простий: повторне використання шару має включати всі дані, потрібні для тлумачення його ваг. Посилання, передане не на тому етапі, може зіпсувати обчислення навіть після успішного завантаження файла.
Рев’ю розділяє уражені та інші файли
У pull request автор Daniel Han описує проблему масштабованих NVFP4-файлів та окремо відмежовує звичайні квантизації ggml. Пізніші коментарі рев’ю порівнюють файл ggml-org IQ4_NL до й після зміни та повідомляють про однаковий результат. Це перевірки учасників розроблення, а не вимірювання нашої редакції.
Таке розмежування не дозволяє зробити хибний висновок, що всі квантизації Inkling були зламані або кожен файл стає кращим після оновлення. Самої назви моделі недостатньо, щоб визначити представлення ваг і шлях їхнього завантаження.
Прийнятий патч не гарантує кожне розгортання
Офіційний pull request уже прийнято, і реліз b12611 містить ту саму зміну. Коментарі сторонніх інтеграцій можуть описувати раніший стан, коли патч іще не був прийнятий; доступність виправлення тут встановлюємо за офіційним злиттям і релізом.
В обговоренні також є окремі повідомлення користувачів про пам’ять та поведінку обчислювальних механізмів. Виправлення передавання масштабів не доводить усунення цих проблем. Воно не є обіцянкою певного обсягу пам’яті або новим бенчмарком швидкодії.
Що змінюється для оцінювання локального запуску
Наш практичний висновок — під час порівняння записувати точну збірку середовища та файл ваг. Запит, шаблон і налаштування обчислень мають залишатися однаковими; правильність результату потрібно оцінювати поряд із пам’яттю та швидкістю генерації. Невдалий тест старого завантажувача не варто автоматично приписувати самій моделі.
Подія цього матеріалу — виправлення оброблення масштабів від 21 листопада. Ми не встановлювали модель і не запускали її код, а також не виводимо з патча нових умов ліцензії, можливостей навчання чи підтримки обладнання. Реліз та pull request об’єднані в одну подію.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.