OpenAI випускає оновлення для реального часу інференції в аудіо, візуальних і текстових даних

За даними Cointelegraph, OpenAI у жовтні зробила чотири оновлення своїх моделей, щоб покращити проведення розмов та розпізнавання зображень. Перше велике оновлення — це реальний API, який дозволяє розробникам створювати додатки для генерації мовлення за допомогою одного запиту, забезпечуючи природні розмови, подібні до вдосконалених мовних моделей ChatGPT. Раніше розробникам доводилося "зшивати" кілька моделей, щоб створити такі досвіди. Аудіовхід зазвичай потрібно повністю завантажити та обробити перед отриманням відповіді, що означає, що реальні додатки, такі як розмови голосом, мають високу затримку. Завдяки потоковим можливостям Realtime API розробники тепер можуть реалізувати миттєві, природні взаємодії, як у голосового асистента. Працюючи на GPT-4, який буде випущений у травні 2024 року, API дозволяє здійснювати реальний висновок через аудіо, зір та текст. Інше оновлення включає інструменти для тонкого налаштування, які дозволяють розробникам покращувати відповіді AI, згенеровані з зображень та текстових входів. Налаштувач на основі зображень дозволяє AI краще розуміти зображення, що призводить до покращеного візуального пошуку та виявлення об'єктів. Процес включає зворотний зв'язок від людей, які надають приклади хороших і поганих відповідей для навчання. Окрім оновлень мовлення та зору, OpenAI впровадила "дистиляцію моделей" та "кешування підказок", що дозволяють меншим моделям навчатися у більших і знижувати витрати та час на розробку шляхом повторного використання обробленого тексту. OpenAI очікує, що доходи зростуть до 11,6 мільярда доларів наступного року, порівняно з прогнозованими 3,7 мільярда доларів у 2024 році, за даними Reuters.