Что такое Grail

Grail(TM) -- data lakehouse в основе Dynatrace для контекстной аналитики на унифицированных данных наблюдаемости, безопасности и бизнеса. Рассчитан на эксабайтные объёмы.

Сочетает экономичность озер данных с аналитикой хранилищ данных и массивно-параллельной обработкой (MPP).

Ключевые преимущества:

• Контекстная аналитика с каузальными зависимостями
• Хранение эксабайт данных без индексов (технология datawarping)
• Постоянно гидратированное хранилище -- нулевая задержка доступа
• Schema-on-read -- без предопределённых схем
• Интеграция с Dynatrace Intelligence, AppEngine, AutomationEngine

Контекстная аналитика

Объединяет данные (метрики, логи, трассировки, сессии, уязвимости и др.) с графовым контекстом каузальных зависимостей. Контекстуализация автоматическая, без тегирования.

Примеры использования: * Определение первопричины в распределённых микросервисах * Отслеживание пути атаки в расследованиях безопасности * Сегментация бизнес-данных по выручке * Автоматический анализ связанных логов и трассировок

Масштаб эксабайт

• До 1 000 ТБ данных в день (лимиты см. в разделе OpenPipeline)
• MPP-движок для запросов без предварительных определений
• Технология datawarping вместо индексов

Постоянно гидратированное хранилище

Данные всегда доступны мгновенно -- без регидратации и экспорта во внешние хранилища. Автоматическое управление холодными/горячими данными на основе паттернов доступа.

Возможности

• Интеграция разнородных данных в единое хранилище
• Обработка в реальном времени через OpenPipeline
• Управление сроками хранения
• Бессхемная организация -- любой вопрос в любое время
• Аналитика без индексов
• ИИ-аналитика через Dynatrace Intelligence и AutomationEngine
• Исследовательские запросы в Dashboards/Notebooks
• Контроль доступа и наблюдаемость данных

Безопасность и конфиденциальность

• Безвозвратное удаление данных
• Контроль доступа на уровне таблиц, корзин и записей (включая поля)
• Маскирование данных через OneAgent и OpenPipeline
• Шифрование для изоляции сред
• Доступ к данным только через DQL (Query Processing layer)

Неизменяемое хранилище

Данные после загрузки не изменяются. Записи группируются в пакеты (~1 ГБ), хранящиеся в облачном объектном хранилище (S3, Azure Blob, GCS).

• Изменение отдельной записи невозможно
• Удаление записи требует перезаписи пакета
• Только авторизованные пользователи могут удалять через API
• Все операции удаления аудируются

ACID и BASE

Grail оптимизирован для экстремальной пропускной способности неизменяемых данных, включает элементы обеих парадигм.

ACID (Atomicity, Consistency, Isolation, Durability) -- для транзакционных данных. Примеры: Oracle, MySQL, PostgreSQL.

BASE (Basically Available, Soft state, Eventually consistent) -- для распределённых систем. Примеры: Cassandra, Redis, DynamoDB.

Связанные темы

• Dynatrace Query Language
• Аналитика логов
• Наблюдаемость бизнеса