Тег: BigData

Книга: Основы Инженерии данных. Глава 1. Описание дата-инженерии.

Главная идея книги — жизненный цикл работы с данными: создание, хранение, сбор, преобразование и предоставление данных...

Apache Airflow

В 2014 году компания Airbnb стремительно развивалась, что привело к увеличению объема данных и усложнению рабочих процессов обработки данных

Apache Kafka

Message broker — это тип построения архитектуры, при котором элементы системы «общаются» друг с другом с помощью посредника

Apache Spark

Apache Spark — это универсальный, высокопроизводительный, отказоустойчивый движок, написанный на Scala, для распределенной обработки данных

Apache Hadoop

Из-за значительного роста обрабатываемых данных (терабайты, петабайты) действующие на тот момент системы уже эффективно не справлялись с обработкой такого потока данных