Apache Beam

Apache Beam
Apache Beam
Автор	Google
Разработчик	Apache Software Foundation
Написана на	Java, Python, Go
Операционная система	Cross-platform
Первый выпуск	15 июня 2016; 8 лет назад
Последняя версия	2.60.0 (16 октября 2024);
Репозиторий	Beam Repository
Лицензия	Apache License 2.0
Сайт	beam.apache.org
	Медиафайлы на Викискладе

Apache Beam — унифицированная модель программирования с открытым кодом, созданная для описания и выполнения конвейров обработки данных, предназначенных для таких процессов, как ETL, а также для пакетной и многопоточной обработки данных.^[2] Конвейры Beam создаются с помощью одного из представленных комплектов для разработки программного обеспечения и выполняются одним из поддерживаемых Beam “исполнителей”, в состав которых входят Apache Flink, Apache Samza, Apache Spark и Google Cloud Dataflow.^[3]

История

Apache Beam^[3] является одной из реализаций модели потока данных Dataflow компании Google.^[4] Она основана на предыдущей работе компании Google связанной с абстракциями распределенных вычислений, в частности на FlumeJava^[5] и Millwheel.^[6]^[7]

В 2014 году компания Google выпустила реализацию модели Dataflow в виде комплекта для разработки программного обеспечения с открытым исходным кодом, а также распределенную (в виде одного из сервисов "Oблачной платформы Google") и локальную (не распределенную) среды выполнения.

Хронология

Второстепенные релизы Apache Beam выходят раз в 6 недель.^[8]

Версия	Дата выхода
Текущая версия: 2.41.0	2022-08-23
2.40.0	2022-06-27
2.39.0	2022-05-25
2.38.0	2022-04-20
2.37.0	2022-03-04
2.36.0	2022-02-07
2.35.0	2021-12-29
2.34.0	2021-11-11
2.33.0	2021-10-07
2.32.0	2021-08-25
2.31.0	2021-07-08
2.30.0	2021-06-09
2.29.0	2021-04-27
2.28.0	2021-02-22
2.27.0	2021-01-08
2.26.0	2020-12-11
2.25.0	2020-10-23
2.24.0	2020-09-18
2.23.0	2020-07-29
2.22.0	2020-06-08
2.21.0	2020-05-27
2.20.0	2020-04-15
2.19.0	2020-02-04
2.18.0	2020-01-23
2.17.0	2020-01-06
2.16.0	2019-10-07
2.15.0	2019-08-22
2.14.0	2019-08-01
2.13.0	2019-05-22
2.12.0	2019-04-25
2.11.0	2019-02-26
2.10.0	2019-02-01
2.9.0	2018-12-13
2.8.0	2018-10-29
2.7.0 (LTS)	2018-10-03
2.6.0	2018-08-08
2.5.0	2018-06-26
2.4.0	2018-03-20
2.3.0	2018-01-30
2.2.0	2017-12-02
2.1.0	2017-08-23
2.0.0	2017-05-17
0.6.0	2017-03-11
0.5.0	2017-02-02
0.4.0	2016-12-29
0.3.0	2016-10-31
0.2.0	2016-08-08
0.1.0	2016-06-15
Легенда: Старая версия, не поддерживается Старая поддерживаемая версия Текущая версия Тестовая версия Будущая версия

Ссылки

↑ Release 2.60.0 — 2024.
↑ Woodie, Alex Apache Beam's Ambitious Goal: Unify Big Data Development (неопр.). Datanami (22 апреля 2016). Дата обращения: 4 августа 2016. Архивировано 13 августа 2016 года.
↑ ¹ ² Cloud Dataflow - Batch & Stream Data Processing (неопр.). Дата обращения: 1 февраля 2023. Архивировано 23 декабря 2018 года.
↑ Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (2015-08-01). "The dataflow model" (PDF). Proceedings of the VLDB Endowment. 8 (12): 1792—1803. doi:10.14778/2824032.2824076. Архивировано (PDF) 4 марта 2016. Дата обращения: 4 августа 2016.
↑ Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (2010-01-01). "FlumeJava: Easy, Efficient Data-parallel Pipelines" (PDF). Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation. ACM: 363—375. doi:10.1145/1806596.1806638. S2CID 14888571. Архивировано из оригинала (PDF) 23 сентября 2016. Дата обращения: 4 августа 2016.
↑ Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (2013-08-27). "MillWheel" (PDF). Proceedings of the VLDB Endowment. 6 (11): 1033—1044. doi:10.14778/2536222.2536229. Архивировано из оригинала (PDF) 1 февраля 2016. Дата обращения: 4 августа 2016.
↑ Pointer, Ian Apache Beam wants to be uber-API for big data (неопр.). InfoWorld. Дата обращения: 4 августа 2016. Архивировано 22 декабря 2018 года.
↑ Policies (неопр.). beam.apache.org. Дата обращения: 21 апреля 2022. Архивировано 1 февраля 2023 года.

[_8d12bc1b60759e4b-1] Release 2.60.0 — 2024.

[Woodie2016-2] Woodie, Alex Apache Beam's Ambitious Goal: Unify Big Data Development (неопр.). Datanami (22 апреля 2016). Дата обращения: 4 августа 2016. Архивировано 13 августа 2016 года.

[google.com-3] ¹ ² Cloud Dataflow - Batch & Stream Data Processing (неопр.). Дата обращения: 1 февраля 2023. Архивировано 23 декабря 2018 года.

[Akidau2015-4] Akidau, Tyler; Schmidt, Eric; Whittle, Sam; Bradshaw, Robert; Chambers, Craig; Chernyak, Slava; Fernández-Moctezuma, Rafael J.; Lax, Reuven; McVeety, Sam; Mills, Daniel; Perry, Frances (2015-08-01). "The dataflow model" (PDF). Proceedings of the VLDB Endowment. 8 (12): 1792—1803. doi:10.14778/2824032.2824076. Архивировано (PDF) 4 марта 2016. Дата обращения: 4 августа 2016.

[Chambers2010-5] Chambers, Craig; Raniwala, Ashish; Perry, Frances; Adams, Stephen; Henry, Robert R.; Bradshaw, Robert; Weizenbaum, Nathan (2010-01-01). "FlumeJava: Easy, Efficient Data-parallel Pipelines" (PDF). Proceedings of the 31st ACM SIGPLAN Conference on Programming Language Design and Implementation. ACM: 363—375. doi:10.1145/1806596.1806638. S2CID 14888571. Архивировано из оригинала (PDF) 23 сентября 2016. Дата обращения: 4 августа 2016.

[Akidau2013-6] Akidau, Tyler; Whittle, Sam; Balikov, Alex; Bekiroğlu, Kaya; Chernyak, Slava; Haberman, Josh; Lax, Reuven; McVeety, Sam; Mills, Daniel; Nordstrom, Paul (2013-08-27). "MillWheel" (PDF). Proceedings of the VLDB Endowment. 6 (11): 1033—1044. doi:10.14778/2536222.2536229. Архивировано из оригинала (PDF) 1 февраля 2016. Дата обращения: 4 августа 2016.

[Pointer2016-7] Pointer, Ian Apache Beam wants to be uber-API for big data (неопр.). InfoWorld. Дата обращения: 4 августа 2016. Архивировано 22 декабря 2018 года.

[8] Policies (неопр.). beam.apache.org. Дата обращения: 21 апреля 2022. Архивировано 1 февраля 2023 года.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]