OpenAI представила новую версию генеративного искусственного интеллекта GPT-4o, которая ляжет в основу чат-бота ChatGPT. Буква «о» означает сокращение от слова «omni» («всесторонний»).
GPT-4o работает с аудио, изображениями и текстом. По словам разработчиков, новая версия модели реагирует на голос в среднем за 320 миллисекунд, что сравнимо с реакцией в разговоре.
Новая версия соответствует производительности GPT-4 Turbo, но «лучше воспринимает изображение и аудио по сравнению с существующими моделями», отмечает OpenAI.
«До GPT-4o вы могли использовать голосовой режим для общения с ChatGPT со средней задержкой 2,8 секунды (GPT-3.5) и 5,4 секунды (GPT-4). Голосовой режим в этих версиях состоит из трех отдельных моделей: одна простая модель транскрибирует аудио в текст, GPT-3.5 или GPT-4 выводит текст, а третья простая модель преобразовывает этот текст обратно в аудио», — пояснили в компании.
В результате GPT-4 теряет большое количество информации и не может воспроизводить смех, пение или выражать эмоции. «В случае с GPT-4o мы обучили единую новую модель сквозному анализу текста, изображения и аудио, что означает, что все входные и выходные данные обрабатываются одной и той же нейронной сетью», — рассказали разработчики. Модель доступна более чем на 50 языках, в том числе на русском.
GPT-4o доступен для пользователей с 13 мая. Однако доступ к голосовым функциям в ближайшие недели появится только у «небольшой группы доверенных партнеров», а в июне — у платных подписчиков.
GPT-4o работает с аудио, изображениями и текстом. По словам разработчиков, новая версия модели реагирует на голос в среднем за 320 миллисекунд, что сравнимо с реакцией в разговоре.
Новая версия соответствует производительности GPT-4 Turbo, но «лучше воспринимает изображение и аудио по сравнению с существующими моделями», отмечает OpenAI.
«До GPT-4o вы могли использовать голосовой режим для общения с ChatGPT со средней задержкой 2,8 секунды (GPT-3.5) и 5,4 секунды (GPT-4). Голосовой режим в этих версиях состоит из трех отдельных моделей: одна простая модель транскрибирует аудио в текст, GPT-3.5 или GPT-4 выводит текст, а третья простая модель преобразовывает этот текст обратно в аудио», — пояснили в компании.
В результате GPT-4 теряет большое количество информации и не может воспроизводить смех, пение или выражать эмоции. «В случае с GPT-4o мы обучили единую новую модель сквозному анализу текста, изображения и аудио, что означает, что все входные и выходные данные обрабатываются одной и той же нейронной сетью», — рассказали разработчики. Модель доступна более чем на 50 языках, в том числе на русском.
GPT-4o доступен для пользователей с 13 мая. Однако доступ к голосовым функциям в ближайшие недели появится только у «небольшой группы доверенных партнеров», а в июне — у платных подписчиков.