Що прибирає об’єднана зміна
Pull request прибирає зайве ділення на два після перетворення HIP FP8. Заявлена мета — правильний результат gfx942. Тег релізу вказує на той самий об’єднаний коміт, отже ці записи описують одне виправлення.
Наш висновок: поряд із вибором квантизації потрібно враховувати перетворення конкретного бекенда. Успішне завантаження файла не доводить, що кожна апаратна реалізація правильно інтерпретувала його масштаби. Зміна промптів не дає надійного способу діагностувати або виправити арифметичну помилку нижче рівня моделі.
Наведене порівняння має конкретне тестове середовище
У зверненні 32789 описано MI300X VF із ROCm 7.2.0 та Ubuntu 24.04. Для Inkling 2 Mini на wikitext-2 автор наводить perplexity 177,95 до зміни, 8,1866 після неї та 8,1853 на CPU.
Це результати учасника проєкту, а не наші незалежні вимірювання. Perplexity оцінює передбачення на визначеному тексті; вона не означає токенів за секунду чи універсальної якості чату, інструментів і пошуку. Близькість до CPU корисна як ознака правильності в цьому середовищі, але не доводить однакову поведінку кожного навантаження.
Відокремлювати поведінку рушія від якості моделі
Корисне діагностичне порівняння має зберігати незмінними файл моделі, вхід і параметри оцінювання, зіставляючи відповідний рушій з еталонним бекендом. Інакше видиме покращення може пояснюватися іншою квантизацією, довжиною контексту або текстом, а не цією зміною.
Це наш висновок щодо перевірки, а не повідомлення про завантаження ваг чи запуск команд зі звернення. Ми не відтворювали апаратний експеримент. Офіційна об’єднана зміна підтверджує існування виправлення; звернення дає атрибутований приклад його впливу.
Цільове виправлення має апаратні межі
PR прямо визначає CDNA3 та gfx942. Його дію не слід переносити на всі GPU AMD, кожен формат GGUF або інший шлях CUDA лише через спільні назви частини файлів реалізації.
Під час оцінювання відповідного розгортання важливі версія рушія, апаратна ціль та фактично використана квантизація. Наш висновок — перевіряти це виправлення правильності на тому самому навантаженні й розрізняти об’єднану програмну зміну та незалежно підтверджений результат конкретного застосунку.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.