Що відбувається з невдалим запитом

Раніше сервіс вибирав одного провайдера й повертав його помилку, якщо виконання не вдалося. Новий маршрут передбачає повторну спробу в іншого провайдера всередині того самого виклику. Коли сервіс сповільнюється чи починає помилятися, маршрутизатор може відвести від нього трафік. Це описаний механізм стійкості, а не гарантія безвідмовності. Для застосунку все ще важливі власні обмеження часу, обробка остаточної помилки та перевірка відповіді моделі перед дією, що має наслідки для користувача.

Як обирати маршрут для конкретного завдання

Hugging Face залишає можливість указати суфікс у назві моделі: fastest для пропускної здатності, cheapest для ціни або назву конкретного провайдера. Без такого вибору використовується баланс кількох показників. Маршрутизація враховує кеш промпта; стабільний ідентифікатор розмови в X-HF-Session-Id допомагає зберігати послідовність звернень. Для агентного сценарію це відрізняється від skills чи LoRA: змінюється місце виконання та політика вибору сервісу, а не саме правило міркування моделі. Порівнювати варто повну затримку й вартість власного навантаження.

Важлива несумісність для власних ключів

Команда повідомляє, що код і Hugging Face token можна зберегти, але власний API-ключ стороннього провайдера для мовних моделей більше не використовується: рахунок проходить через акаунт або організацію Hugging Face. Це суттєва зміна для команд, які раніше спрямовували оплату напряму іншій компанії. Конкретних провайдерів можна вимикати в налаштуваннях; організаційний вибір застосовується до її запитів. Збереження форми API не означає незмінності всього операційного процесу, тому походження рахунку та дозволені напрямки обробки даних треба звірити перед переходом.

Межі партнерства та видимість провайдерів

Генерація зображень, відео й аудіо поки працює попереднім прямим шляхом Inference Providers. Власні ключі для провайдерів зображень і відео також зберігаються. Для мовних моделей нові вкладки Providers і Metrics показують ціни, швидкість та доступність; це корисні сигнали, але не оцінка якості відповідей для кожної задачі. Hugging Face заявляє оплату за ціною провайдера без власної націнки. Майбутнє з’єднання окремого OpenRouter-акаунта в дописі описане як наступний крок, тому його не слід подавати як уже доступну функцію.