Поделиться
Arenadata выпустила собственное решение для управления Kafka-коннекторами
Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata — выпустила на рынок новый инструмент для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.
Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования нового инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.
«Выпуская Command Center, мы даём возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки нового функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS новых версий Kafka с поддержкой KRaft», — сказал директор департамента управления продуктами Arenadata Александр Большаков.
Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.
Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность: добавлять Kafka-коннекторы и управлять ими; отслеживать состояние кластеров Kafka Connect; работать с несколькими кластерами одновременно; гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки); работать с пользовательскими коннекторами.
Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.
В ближайших планах развития Arenadata Streaming Command Center реализация следующей функциональности: добавление LDAP/LDAPS-аутентификации; мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками; переназначение partitions на другие ноды; добавление дашбордов и графиков; выбор leader replica.
Arenadata Streaming (ADS) — адаптированная для корпоративного использования система потоковой обработки данных, построенная на базе проектов с открытым исходным кодом Apache Kafka и Apache Nifi. Она позволяет в режиме реального времени создавать надёжные конвейеры для мгновенной передачи данных между системами или приложениями, разрабатывать потоковые приложения для преобразования данных, а также обеспечивать надёжное хранение данных с разграничением прав доступа.
Короткая ссылка
