
DataOps
Сохранение и систематизация кодовой
базы SQL-запросов
вашей организации,
DataOps для SQL
Примеры задач

Интерактивный анализ данных
-
1.
Анализ продуктовых метрик посредством регулярно обновляемых аналитических отчетов
-
2.
Построение ad-hoc аналитических SQL-запросов к данным и отчетов с целью выяснения причин изменения бизнес-показателей или поиска ответов на вопросы акционеров
-
3.
Мониторинг продуктовых метрик в реальном времени с помощью дашбордов
-
4.
Мониторинг моделей машинного обучения
Автоматическая обработка данных
-
1.
Организация регулярной автоматической коммуникации с базовыми клиентами, основанная на бизнес-правилах
-
2.
Периодическое вычисление значений признаков моделей машинного обучения по всей клиентской базе с целью применения моделей в режиме оффлайн
-
3.
Формирования обучающих выборок для моделей машинного обучения
При решении перечисленных задач возникают проблемы сохранения и систематизации кодовой базы SQL запросов:




Сохранение знаний внутри компании при уходе разработчиков
Единая база SQL-запросов
Повторное использование SQL-запросов
Версионирование
Документирование
Тестирование (авто- и регрессионное)
Контроль общего стиля написания SQL запросов
DataOps (Data Analytics Operations) позволяет решить указанные выше проблемы
Связаться с нами
Преимущества
DataOps для SQL
DataOps позволяет декомпозировать, версионировать и документировать большую кодовую базу SQL-запросов. Предлагает механизмы авто- и регрессионного тестирования и контроля стиля написания SQL запросов
Только аналитический SQL
DataOps регламентирует использование возможностей SQL для анализа данных. При использовании DataOps аналитик данных не окажется в ситуации, когда ему придется иметь дело со скриптом, написанным коллегой на сложном процедурном SQL (PL/SQL)
Низкий порог входа
DataOps не требует от пользователей – аналитиков данных сложных инженерных навыков, знания языков программирования, опыта использования специализированных инструментов, например, AirFlow
Экономия на вычислениях
DataOps автоматически строит граф зависимостей (directed acyclic graph, DAG) между SQL-запросами и при внесении изменений повторно выполняет только необходимые запросы
Open source BI
DataOps включает в себя open source BI инструмент, позволяющий решать основные задачи по подготовке отчетов и аналитике
Любая БД
DataOps не привязан к конкретной СУБД или диалекту SQL. Поддерживаются СУБД Oracle, SQL Server, PostgreSQL, MySQL, Vertica, Greenplum, Teradata, Spark, Hive, Impala и др.
ЭФФЕКТ от использования
Сохранение знаний внутри компании - SQL-запросы не «потеряются» при увольнении сотрудника
Уменьшение времени расчета за счет оптимизации набора повторно выполняемых SQL-запросов при внесении изменений в их код
Увеличение полезного времени работы аналитика данных при реализации отчетов, процедур обработки данных на SQL (DataOps освобождает аналитика от «рутины», минимизирует человеческие ошибки): на 200%, как следствие
Экономия от использования коммерческих BI-инструментов (от 15 млн.р./год)
Повышение качества и достоверности итоговых данных за счет авто- и регрессионных тестов SQL

Мигрируем кодовую базу ваших SQL-скриптов на DataOps
Переведем существующие аналитические ответы на open source BI-инструмент
Обеспечим техническую поддержку по согласованному SLA
Связаться с нами