OpenPipeline

Dynatrace 1.295+

OpenPipeline -- решение для приёма и обработки данных из любых источников, любого масштаба и формата в Dynatrace Platform.

Сценарии использования

• Единая настройка приёма данных (логи, события и др.)
• Масштабирование управления данными между командами
• Безопасная обработка конфиденциальных данных
• Обогащение и контекстуализация данных
• Оптимизация качества данных и контроль затрат

Концепции

• Поток данных -- путь данных от приёма до хранения
• Обработка -- основные концепции обработки данных

Начало работы

• Приём данных -- настройка приёма для области конфигурации
• Настройка обработки -- источники, маршруты и обработка

Примеры обработки

• Снижение кардинальности на основе спанов и метрик
• Парсинг строк логов и извлечение метрик
• Извлечение метрик из спанов и трассировок
• Обработка логов парсерами технологических пакетов
• Извлечение метрик из событий и сессий
• Управление приёмом в мультиоблачной среде через группы конвейеров

Справочные материалы

• API приёма данных
• OpenPipeline API
• Ограничения OpenPipeline