GPT-4 (Generative Pre-trained Transformer 4) — мультимодальная большая языковая модель, созданная OpenAI, четвёртая в серии GPT. Она была выпущена 14 марта 2023 года и доступна для пользователей ChatGPT Plus[1]. Microsoft подтвердила, что версии Bing, использующие GPT, на самом деле использовали GPT-4 до его официального выпуска[2]. В качестве трансформера GPT-4 была предварительно обучена прогнозировать следующий токен (используя как общедоступные данные, так и «данные, лицензированные сторонними поставщиками»), а затем была доработана с помощью обучения с подкреплением на основе отзывов людей[3].
В техническом отчёте GPT-4 явно воздерживались от указания размера модели, ссылаясь на «конкурентную среду и последствия для безопасности крупномасштабных моделей»[3]. The Verge процитировала слухи о том, что GPT-4 существенно увеличит количество параметров со 175 миллиардов в GPT-3 до 100 триллионов, что генеральный директор OpenAI Сэм Олтмен назвал «полной чушью»[4]. Поздние слухи говорят, что GPT-4 имеет 1,76 триллиона параметров, исходя из скорости её работы и по оценке Джорджа Хотца.[5] Представители США Дон Бейер[англ.] и Тед Лью[англ.] подтвердили New York Times, что Олтмен посетил Конгресс в январе 2023 года, чтобы продемонстрировать GPT-4 и его улучшенные «элементы управления безопасностью» по сравнению с другими моделями ИИ[6].
OpenAI написала в своем блоге, объявляя о GPT-4, что «GPT-4 более надёжен, креативен и способен обрабатывать гораздо более сложные инструкции, чем GPT-3.5»[1]. Она может читать, анализировать или генерировать до 25 000 слов текста, что является значительным улучшением по сравнению с предыдущими версиями технологии[7][8]. The New York Times писала, что GPT-4 продемонстрировал впечатляющие улучшения в точности по сравнению с GPT-3.5, получила возможность обобщать и комментировать изображения, смогла обобщать сложные тексты, прошла экзамен на адвоката и несколько стандартных тестов, но всё же показала склонность к галлюцинациям в ответах[9].
22 марта 2023 года Илон Маск вместе с более чем 1000 экспертов в области искусственного интеллекта опубликовал письмо с требованием ввести мораторий на обучение систем более мощных, чем GPT-4, так как неконтролируемый процесс в этой области, по мнению Маска и согласных с ним экспертов, может представлять угрозу для человечества[10][11][12].
13 мая 2024 года OpenAI представила новую версию модели — GPT-4o. Буква «O» обозначает слово «omni» — всесторонний. По своим возможностям система соответствует GPT-4 Turbo, однако лучше работает с изображениями и аудио[13].
Примечания
