OpenAssistant

Разработчики LAION и энтузиасты по всему миру
Дата выпуска 15 Апреля 2023 (2023-04-15)
Тип
Лицензия Apache License 2.0
Сайт open-assistant.io

OpenAssistant — помощник с открытым исходным кодом на основе искусственного интеллекта (ИИ), который понимает задачи, может взаимодействовать со сторонними системами и динамически извлекать информацию для этого[1][2]. Проект разработан LAION и энтузиастами по всему миру. Одна из целей разработки включает свободный доступ к большим языковым моделям, которые можно запускать локально на потребительском оборудовании[1].

Проект поддерживается краудсорсингом, в котором участвуют более 13 500 добровольцев, они создали датасет с 600 000 сообщений[2][3][4][5].

Разработка

План разработки

Разработчики OpenAssistant пытаются получить первоначальный MVP, выполнив три шага, описанных в документе InstructGPT[6].

  1. Сбор высококачественных образцов Instruction-Fulfillment (рус. следование инструкциям), созданных человеком (запрос + ответ), цель состоит в том, чтобы собрать более 50 000 таких образцов. Затем разработайте краудсорсинговый процесс для сбора и проверки запросов. Чтобы не тренироваться на флуд/токсичность/спам/мусор/персональные данные, у разработчиков есть таблица лидеров для мотивации волонтерского сообщества, которая показывает прогресс и самых активных пользователей.
  2. Выборка нескольких завершений для каждого из собранных подсказок. Затем пользователям в случайном порядке показываются варианты выполнения одной подсказки, чтобы ранжировать их от лучшего к худшему. Для оценки общего согласия необходимо собрать несколько голосов независимых пользователей. Собранные данные о ранжировании затем используются для обучения модели вознаграждения.
  3. После этапа обучения RLHF на основе подсказок и модели вознаграждения.

Результирующая модель затем должна быть получена и продолжена этапом завершения выборки, то есть вторым этапом выше для следующей итерации[7].

Статус разработки

10 марта 2023 года самые ранние модели OpenAssistant начали генерировать ответы на обучающие подсказки на веб-сайте OpenAssistant. Эти ответы были открыты для ранжирования на втором этапе документа InstructGPT выше. Эти данные должны быть введены в обучающую базу данных. Модели представляют собой конкретные итерации моделей с редупликацией pythia-6.9B.

15 апреля 2023 года OpenAssistant был выпущен для широкой публики[3].

По состоянию на 11 мая 2023 года Open Assistant поддерживает 40 языков, включая русский, каталонский, баварский, эсперанто и баскский.

Примечания

  1. ↑ 1 2 Источник, Архивировано 24 сентября 2023, Дата обращения: 11 мая 2023
  2. ↑ 1 2 Köpf, Andreas (14 апреля 2023). OpenAssistant Conversations -- Democratizing Large Language Model Alignment. arXiv:2304.07327 [cs]. Архивировано 7 мая 2023. Дата обращения: 11 мая 2023.
  3. ↑ 1 2 OpenAssistant RELEASED! The world's best open-source Chat AI! | Open Assistant (англ.). laion-ai.github.io (15 апреля 2023). Дата обращения: 5 мая 2023.
  4. ↑ Open Assistant: Explore the Possibilities of Open and Collaborative Chatbot Development (амер. англ.) (недоступная ссылка — история). KDnuggets. Дата обращения: 5 мая 2023.
  5. ↑ Shenwai, Dhanshree Shripad. Meet OpenAssistant: An open-source chat model That consists of a ~161K human-generated, human-annotated assistant-style conversation corpus, including 35 different languages (амер. англ.). MarkTechPost (21 апреля 2023). Дата обращения: 5 мая 2023. Архивировано 5 мая 2023 года.
  6. ↑ Ouyang, Long (4 марта 2022). Training language models to follow instructions with human feedback. arXiv:2203.02155 [cs]. Архивировано 8 мая 2023. Дата обращения: 11 мая 2023.
  7. ↑ Open-Assistant, 9 марта 2023, Архивировано 24 сентября 2023, Дата обращения: 9 марта 2023

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.