Название: Kafka Streams и ksqlDB: данные в реальном времени
Автор: Митч Сеймур
Издательство: Питер
Год: 2023
Страниц: 432
Язык: русский
Формат: pdf
Размер: 10.8 MB

Работа с неограниченными и быстрыми потоками данных всегда была сложной задачей. Но Kafka Streams и ksqlDB позволяют легко и просто создавать приложения потоковой обработки. Из книги специалисты по обработке данных узнают, как с помощью этих инструментов создавать масштабируемые приложения потоковой обработки, перемещающие, обогащающие и преобразующие большие объемы данных в режиме реального времени. Kafka Streams — это легкая, но мощная библиотека Java для обогащения, преобразования и обработки потоков данных в реальном времени. Митч Сеймур, инженер службы обработки данных в Mailchimp, объясняет важные понятия потоковой обработки на примере нескольких любопытных бизнес-задач. Он рассказывает о достоинствах Kafka Streams и ksqlDB, чтобы помочь вам выбрать наиболее подходящий инструмент.

События и потоковая обработка — ключ к успеху в этом новом мире. События образуют непрерывный поток данных в бизнесе, а потоковая обработка автоматически выполняет код в ответ на изменения на любом уровне детализации, делая это в соответствии с накопленной информацией обо всех изменениях, которые произошли до этого. Современные системы потоковой обработки, такие как Kafka Streams и ksqlDB, упрощают создание приложений для мира, говорящего на языке программного обеспечения.

Технологии, решающие одну лишь проблему большого объема данных, как правило, основаны на методах пакетной обработки данных. Они предполагают применение задания к некоторому массиву данных, накопившихся за определенный период времени. В каком-то смысле это похоже на попытку выпить океан одним глотком. С существующими вычислительными мощностями и парадигмами некоторым технологиям действительно удается добиться желаемого, хотя и за счет длительной задержки.

Однако современные данные обладают еще одним свойством, на котором мы сосредоточимся в книге: они перемещаются по сетям устойчивыми и бесконечными потоками. Технологии, которые мы рассмотрим далее, — Kafka Streams и ksqlDB — специально созданы для обработки таких непрерывных потоков данных в режиме реального времени. Они обеспечивают огромные конкурентные преимущества по сравнению с разнообразными технологиями, пытающимися «выпить океан». В конце концов, многие бизнес-задачи зависят от времени, и если требуется обрабатывать и преобразовывать данные по мере их поступления, то Kafka Streams и ksqlDB помогут организовать это легко и эффективно.