Контейнер стає прискореним кроком застосунку

Функції пакуються в OCI-образи контейнерів. AWS надає підготовлені образи CUDA, CuPy, PyTorch, vLLM і SGLang та дозволяє власні контейнери. Приклад компанії використовує Qwen2.5-1.5B-Instruct через образ vLLM, а ваги вибирає змінною MODEL_ID. Ця демонстрація не встановлює сумісність або якість кожної можливої моделі.

Архітектурна зміна полягає в інтеграції подій: GPU-функція може обробляти завантаження в S3, споживати чергу SQS або виконувати інференс у більшому робочому процесі. Це не донавчає ваги, не створює LoRA-адаптер і не будує автоматично систему пошуку для RAG. Такі рішення залишаються окремими частинами застосунку.

Спільна модель має визначені межі паралельності

AWS вказує максимум 48 одночасних запитів на середовище виконання. Під час використання серверного образу виклики поділяють копію моделі в пам’яті GPU. У прикладі запуску встановлено паралельність чотири; максимальна межа не гарантує бажаної затримки для 48 запитів будь-якого навантаження.

Оприлюднені межі включають запит 3–48 ГБ пам’яті прискорювача, контейнерні образи до 32 ГБ і тимчасове сховище до 32 ГБ. Тайм-аут може сягати 90 хвилин для асинхронних викликів та викликів через зіставлення джерел подій. Цю довшу межу не слід переносити на всі режими виклику.

Публікація версії готує модель до надходження трафіку

Функції Managed Instances працюють з опублікованих версій. За поясненням AWS, публікація створює середовища, завантажує ваги та прогріває рушій інференсу перед активацією версії. Зміна моделі тому потребує оновлення конфігурації та нової публікації версії, навіть якщо перебудова контейнера не потрібна.

AcceleratorMemorySize визначає мінімальну потрібну пам’ять GPU; розміщення може надати більший прискорювач. На старті підтримуються сімейства G4dn, G5, G6, G6f, Gr6, Gr6f і G6e. Квоти акаунта та наявність потужностей у регіоні залишаються важливими: кероване створення не означає необмеженої миттєвої доступності GPU.

Керована інфраструктура зберігає витрати на виділені потужності

На момент запуску AWS вказує оплату базового EC2-інстанса, комісію керування GPU 9,75% та стандартні $0,20 за мільйон запитів Lambda. Savings Plans і Reserved Instances можуть застосовуватися до складової інстанса. Це умови запуску, а не оцінка вартості конкретного навантаження чи обіцянка економії.

Наш висновок: придатність підходу залежатиме від завантаження GPU, обсягу пам’яті моделі та характеру трафіку. Межа у 48 запитів означає дозволену паралельність, а не незалежно виміряну продуктивність. Ми не створювали ресурсів AWS і не відтворювали демонстрацію компанії; основою матеріалу є першоджерело та чітко зазначені експлуатаційні обмеження.