Чому вирівнювання впливало на результат
Блокова реалізація множення матриць вимагає, щоб вимір nc був кратним восьми. Попередній код містив виняток для n, що дорівнює чотирьом, і дозволяв залишити вирівняне значення чотири. Через це міг обиратися блоковий шлях, хоча його вимога до ширини не виконувалася.
Проблема стосується числових обчислень під час інференсу, а не нової слабкості міркування самої моделі. Інше формулювання запитання не виправляє некоректного вирівнювання матриці в реалізації.
Початковий звіт відокремив проблему обчислень
В issue 31680 описане середовище IBM POWER10 із RHEL 10.2, де модель працювала лише на CPU. Автор використовував Flint у GGUF і помітив: текст міг виглядати зв’язним, але відповідати на інше запитання. Поведінка повторювалася з температурою нуль; токенізацію та шаблон чату перевірили окремо.
У звіті порівняно стандартний шлях зі збіркою, де реалізацію llamafile вимкнули. В останньому випадку тестова відповідь була правильною. Це допомагає локалізувати помилку, але середовище одного автора не встановлює діапазону уражених версій усіх пакетів сторонніх постачальників.
Що підтверджує прийнятий патч
Pull request прийняли 21 листопада, і це виправлення включено до релізу b12608. Автор зміни наводить короткий приклад після виправлення: Flint правильно відповідає на запитання про столицю Франції. Це підтвердження, додане до патча, а не незалежний бенчмарк нашої редакції.
Одна успішна відповідь не доводить перевірки кожної моделі, квантизації або конфігурації пакетного оброблення. Реліз і початковий звіт доповнюють один одного: перший пояснює умову ширини блока, другий документує середовище, у якому помилка стала помітною.
Що перевіряти у власному локальному запуску
Наш практичний висновок — порівнювати виправлену та попередню збірки з тим самим файлом моделі, запитом, шаблоном і налаштуваннями обчислювального шляху. Перевірка правильності результату потрібна поряд із вимірюванням швидкодії: швидша відповідь не допомагає, якщо обчислення спотворили вхід або генерацію.
Ми об’єднуємо реліз, pull request і початковий issue в одну подію. Вона відрізняється від попередніх новин llama.cpp про OpenCL attention, LoRA на AMD та Vulkan top-k. Цей патч не оголошує нових ваг моделі, способу навчання, безпекового CVE чи прискорення всіх платформ.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.