DataOps

Сохранение и систематизация  кодовой
базы SQL-запросов
вашей организации,
DataOps для SQL

Примеры задач

Интерактивный анализ данных

  • 1.

    Анализ продуктовых метрик посредством регулярно обновляемых аналитических отчетов

  • 2.

    Построение ad-hoc аналитических SQL-запросов к данным и отчетов с целью выяснения причин изменения бизнес-показателей или поиска ответов на вопросы акционеров

  • 3.

    Мониторинг продуктовых метрик в реальном времени с помощью дашбордов

  • 4.

    Мониторинг моделей машинного обучения

Автоматическая обработка данных

  • 1.

    Организация регулярной автоматической коммуникации с базовыми клиентами, основанная на бизнес-правилах

  • 2.

    Периодическое вычисление значений признаков моделей машинного обучения по всей клиентской базе с целью применения моделей в режиме оффлайн

  • 3.

    Формирования обучающих выборок для моделей машинного обучения

При решении перечисленных задач возникают проблемы сохранения и систематизации кодовой базы SQL запросов:

Сохранение знаний внутри компании при уходе разработчиков

Единая база SQL-запросов

Повторное использование SQL-запросов

Версионирование

Документирование

Тестирование (авто- и регрессионное)

Контроль общего стиля написания SQL запросов

DataOps (Data Analytics Operations) позволяет решить указанные выше проблемы

Связаться с нами

Преимущества

DataOps для SQL

DataOps позволяет декомпозировать, версионировать и документировать большую  кодовую базу SQL-запросов. Предлагает механизмы авто- и регрессионного тестирования и контроля стиля написания SQL запросов

Только аналитический SQL

DataOps регламентирует использование возможностей SQL для анализа данных. При использовании DataOps аналитик данных не окажется в ситуации, когда ему придется иметь дело со скриптом, написанным коллегой на сложном процедурном SQL (PL/SQL)

Низкий порог входа

DataOps не требует от пользователей – аналитиков данных сложных инженерных навыков, знания языков программирования, опыта использования специализированных инструментов, например, AirFlow

Экономия на вычислениях

DataOps автоматически строит граф зависимостей (directed acyclic graph, DAG) между SQL-запросами и при внесении изменений повторно выполняет только необходимые запросы

Open source BI

DataOps включает в себя open source BI инструмент, позволяющий решать основные задачи по подготовке отчетов и аналитике

Любая БД

DataOps не привязан к конкретной СУБД или диалекту SQL. Поддерживаются СУБД Oracle, SQL Server, PostgreSQL, MySQL, Vertica, Greenplum, Teradata, Spark, Hive, Impala и др.

ЭФФЕКТ от использования

Сохранение знаний внутри компании - SQL-запросы не «потеряются» при увольнении сотрудника

Уменьшение времени расчета за счет оптимизации набора повторно выполняемых SQL-запросов при внесении изменений в их код

Увеличение полезного времени работы аналитика данных при реализации отчетов, процедур обработки данных на SQL (DataOps освобождает аналитика от «рутины», минимизирует человеческие ошибки): на 200%, как следствие

Экономия от использования коммерческих BI-инструментов (от 15 млн.р./год)

Повышение качества и достоверности итоговых данных за счет авто- и регрессионных тестов SQL

Мигрируем кодовую базу ваших SQL-скриптов на DataOps

Переведем существующие аналитические ответы на open source BI-инструмент

Обеспечим техническую поддержку по согласованному SLA

Связаться с нами