DBRX

DBRX
Скриншот программы DBRX
Скриншот DBRX, описывающего Википедию
Тип большая языковая модель
Разработчики Mosaic ML[англ.] и команда Databricks
Дата выпуска 27 марта 2024
Репозиторий github.com/databricks/db…
Лицензия Databricks Open License
Сайт databricks.com/blog/intr…

DBRX — модель с открытым исходным кодом класса LLM, разработанная командой Mosaic ML компании Databricks и выпущенная 27 марта 2024 года.[1][2][3] Это трансформерная модель типа смеси экспертов[англ.] (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).[4] Компания выпустила две версии модели: базовую[англ.] (foundation model), которая обучена на общих текстах, и инструктивно-настроенную версию[англ.] (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".[5]

На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как LLaMA 2 от Meta, Mixtral от Mistral AI и Grok от xAI, в различных тестах, включая понимание языка, способности к программированию и математике.[4][6][7]

Модель обучалась в течение 2,5 месяцев[7] на 3 072 GPU Nvidia H100, соединённых с пропускной способностью 3,2 ТБ/с (технология InfiniBand). Стоимость обучения составила $10 млн.[1]

См. также

Примечания

  1. ↑ 1 2 Introducing DBRX: A New State-of-the-Art Open LLM (амер. англ.). Databricks (27 марта 2024). Дата обращения: 10 февраля 2025.
  2. ↑ New Databricks open source LLM targets custom development | TechTarget (англ.). Business Analytics. Дата обращения: 10 февраля 2025.
  3. ↑ Ghoshal, Anirban. Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok (англ.). InfoWorld (27 марта 2024). Дата обращения: 28 марта 2024.
  4. ↑ 1 2 A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores. GIZMOCHINA (28 марта 2024).
  5. ↑ Wiggers, Kyle. Databricks spent $10M on new DBRX generative AI model (амер. англ.). TechCrunch (27 марта 2024). Дата обращения: 29 марта 2024.
  6. ↑ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. (англ.). Maeil Business Newspaper (28 марта 2024). Дата обращения: 10 февраля 2025.
  7. ↑ 1 2 Knight, Will. Inside the Creation of the World's Most Powerful Open Source AI Model. Wired (амер. англ.). ISSN 1059-1028. Дата обращения: 10 февраля 2025.

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.