Цифровая микросервисная интероперабельная платформа «Унофактор®» внесена в Единый реестр российских программ для электронных вычислительных машин и баз данных (№14422 от 08.08.2022) и Реестр инновационной продукции для внедрения в ПАО «Газпром» (протокол от 20.07.2020 №07/18/ПРГ-8).
Платформа «Унофактор®» версии 2.0 является собственной разработкой с применением open-source решений, что делает «Унофактор®» санкционно-независимым импортозамещающим продуктом, подходящим для применения в составе критической информационной инфраструктуры.
Платформа «Унофактор®» представляет собой фреймворк, в котором создаются и функционируют прикладные решения — агрегаторы:
- Платформа является фундаментом для построения агрегаторов.
- Платформа конфигурирует среду исполнения агрегаторов.
- Платформа содержит инструментарий, необходимый для разработки, администрирования и поддержки агрегаторов.
При этом агрегаторы самодостаточны и являются отдельными программными решениями, реализованными на технологиях платформы «Унофактор®».
Архитектуру платформы «Унофактор®» можно разделить на четыре уровня: уровень ядра платформы; уровень системных сервисов (сервисы управления данными, интеграции, разработки и внедрения, информационной безопасности, облачные); уровень инструментов; уровень агрегаторов.
Платформа «Унофактор®» – инновационный цифровой инструмент для:
- специалистов от бизнеса, сопровождающих сложные инженерно-технологические проекты, с помощью которого можно осуществлять не только качественную оценку текущих бизнес-процессов, но и разрабатывать новые подходы для повышения эффективности качества проводимых работ, не возвращаясь каждый раз к «изобретению колеса», а используя весь накопленный опыт программных решений и практик;
- ИТ-специалистов, разрабатывающих и поддерживающих программные продукты для решения широкого спектра бизнес-задач;
- аналитиков и руководителей, осуществляющих всесторонний и глубокий анализ информации по проектам для оперативного принятия управляющих решений.
Система управления данными – Uno!Data
Для эффективного унифицированного управления разнообразными данными на едином уровне, а также для обеспечения бесшовного платформенного и межплатформенного обмена данными, в платформе «Унофактор®» разработана и внедрена система управления данными Uno!Data (свидетельство о регистрации №2022617248 от 19.04.2022), основывающаяся на онтологии, покрывающей весь жизненный цикл отрасли.
В качестве основы для платформенной системы управления данными применяются общепризнанные отраслевые стандарты и ГОСТы. Такими стандартами являются WITSML/PRODML/RESQML консорциума Energistics.
В настоящее время WITSML-сервера есть у многих отечественных компаний, но их потенциал используется на 10-20% – для хранения реально-временных данных ГТИ и ННБ. Стандарт же значительно шире, состоит из 24 основных объектов (в версии 1.4.1.1) и обладает значительным потенциалом для интеграции программных решений, связанных с бурением и освоением скважин.
Unofactor WITSML Server, входящий в систему управления данными Uno!Data, единственная сертифицированная полнофункциональная система на рынке РФ (международный сертификат от 30 декабря 2020 года), реализующая как передачу запрашиваемой информации об объектах нефтегазового комплекса, так и запись данных по стандарту WITSML 1.4.1.1, что качественно отличает её от других зарегистрированных отечественных WITSML-серверов, которые являются в итоге для пользователей «черными ящиками», наполняемыми содержимым только разработчиками сервера, что ограничивает функциональность в части развития и интеграции, создавая угрозы информационной безопасности в рамках КИИ (критической информационной инфраструктуры).
Unofactor WITSML Server:
- кроссплатформенный, т.е. может быть настроен на работу как в ОС Windows, так и на системы семейства Linux, включая Astra Linux и РЕД ОС;
- обеспечивает полное взаимодействие различных отраслевых поставщиков данных, т.к. поддерживает версию 1.4.1.1 и предыдущую версию WITSML стандарта 1.3.1;
- edge-мобилен, т.к. помимо установки и настройки на работу на ЦОДах, обеспечивающих работу на нескольких месторождениях, возможна настройка работы на микро- и мини-ЦОДах – для оперативного обслуживания небольшого количества скважин на местах.
Стандарт OSDU создавался с учетом наработок WITSML и других XML-стандартов и изначально содержит метаданные – семантическую составляющую хранимых данных.
В основе OSDU лежит принцип управления данными, разделенных на бизнес-домены. Такой подход к организации системы управления данными называется Data Mesh (сеть данных). При этом используется принцип «данные как продукт», для чего, во-первых, данные «насыщаются» дополнительной информацией, содержащей некие характеристики этих данных, – метаданными, а во-вторых, в бизнес-домен включается набор сервисов как для конвейеров данных (ETL-преобразования и обслуживание получаемых доменом данных), так и для API – реализаций программных интерфейсов для доступа к данным, семантике и другим метаданным. Таким образом, технология бизнес-доменов объединяет в себе технологии Data Warehouse и Data Lake.
В платформе «Унофактор®» реализованы оба варианта – как предоставление и получение данных по стандарту WITSML (с полным доступом на запись и чтение через стандартное WITSML API, о чем свидетельствуют проведенные тесты при прохождении сертификации), так и бизнес-домены по стандартам OSDU (в настоящее время доступен для использования домен Wellbore DDMS).
Основные преимущества применения стандартов OSDU в «Унофактор®»:
- возможность полной интеграции ПО, в т.ч. от различных производителей, в единое бизнес-решение, включающее в себя разносторонние технологические задачи;
- устранение разрозненности данных о недрах для кросс-функционального взаимодействия;
- стандартизация данных благодаря общим схемам OSDU;
- ускорение доступа к данным;
- вендорно-нейтральный анализ данных.
В части системы управления данными агрегаторы, построенные на платформе «Унофактор®», совместимы со следующими программными решениями:
- Emerson Geolog™ версии 20 и выше
- Halliburton DecisionSpace® 365
- Schlumberger DELFI
- TIBCO Spotfire версии4 и выше
- inerG inerGexplorer версии 1.6 и выше
- INT IVAAP версии 2.6 и выше
Сравнение стеков технологий для системы управления данными:
Функционал Платформы
Функциональные возможности платформы «Унофактор®» представляют собой агрегацию функциональных возможностей её составных частей, а именно:
- Ядро платформы (свидетельство о регистрации №2019610708 от 16.01.2019)
Основные функциональные возможности:
— конфигурирование сервисов платформы;
— запуск сервисов платформы;
— контроль функционирования сервисов платформы;
— управление сервисами платформы.
- Подсистема управления данными (свидетельство о регистрации № 2022617248 от 19.04.2022)
Основные функциональные возможности:
— сбор и хранение данных из различных источников с помощью коннекторов;
— управление качеством данных
— управление справочно-нормативной информацией
— реализация серверов и коннекторов с источниками данных, представляющими информацию по основным открытым международным стандартам WITSML 1.3.1 и 1.4.1 консорциума Energistics и OSDU R3 консорциума The Open Group.
- Конфигурация и создание потоков выполнения (workflow). Инструмент реализован путём кастомизации ПО с открытым исходным кодом Node-RED и дополнения его необходимыми для платформы модулями.
Основные функциональные возможности:
— создание потоков выполнения с минимальным программированием (lowcode);
— встроенная библиотека узлов (node) для работы с различными источниками данных (файлы, БД, электронная почта, мессенджеры и т.д.);
— кастомизация и расширяемость за счёт создания и добавления новых узлов;
— интеграция через API;
— развертывание в среде исполнения и запуск потока по клику, по расписанию, по событиям;
— наличие функциональных узлов для работы со специфическими для отрасли форматами и серверами (WITSML, OSDU и т.д.);
- Аналитика (свидетельство о регистрации №2022616892 от 18.04.2022).
Основные функциональные возможности:
— реализация алгоритмов Complex Event Processing (CEP);
— low-code конструктор датасетов для нейронных сетей;
— интеграция сторонних библиотек (python, mathcad и др.) для применения при проведении расширенной аналитики, в т.ч. с помощью методов ИИ.
- Визуализация. Библиотека виджетов для графического представления аналитических событий пользователю в доступном и понятном виде.
Основные функциональные возможности:
— динамический контент — визуальное представление информации обновляется автоматически по мере изменения данных;
— визуальный конструктор запросов — возможность настройки запросов путем управления элементами дэшбордов без написания кода;
— кастомизация и расширяемость – возможность добавления пользовательских дэшбордов
— мультиданные – возможность отображения данных различных типов из различных источников с автообновлением связанных дэшбордов;
— анимированная визуализация – удобное отображение изменяющихся параметров;
— персонализация – интеграция с подсистемой безопасности, возможность хранения персональных настроек;
— оповещения – возможность информирования о критических значениях, выходах за пределы, других настраиваемых событиях.
- Авторизация и аутентификация. Инструмент реализован на ПО с открытым исходным кодом Keycloak и предоставляет пользователю возможность создать единую учетную запись для аутентификации, используя открытый стандарт децентрализованной системы аутентификации OpenID.
Основные функциональные возможности:
— поддержка технологии единого входа Single-Sign On;
— поддержка OpenID/OAuth 2.0/SAML;
— поддержка Google, GitHub, Facebook, Twitter для идентификации пользователей.
— синхронизация пользователей из LDAP, AD и других идентификационных провайдеров;
— возможность использования Kerberos сервера для автоматической аутентификации пользователей;
— наличие консоли для единого управления настройками и параметрами решения через Web;
— наличие консоли для самостоятельного управления профилем пользователей.
- Логирование. Инструмент реализован с использованием набора ПО с открытым исходным кодом ELK, настроенного на сбор информации о работоспособности микросервисов, сервисов и других элементов платформы «Унофактор®».
Основные функциональные возможности:
— масштабируемость – динамическое добавление новых источников логов без остановки аналитической системы, автоматическое распределение нагрузки по узлам системы;
— отказоустойчивость – архитектура системы позволяет перераспределять аналитические вычисления при сбое отдельных узлов без потери собранной информации, операционная стабильность достигается ведением логов на каждое изменение данных в хранилище сразу на нескольких узлах кластера;
— гибкость – возможность «тонкой» настройки поисковых фильтров, включая нечеткий поиск, возможность динамической организации нескольких различных поисковых систем, наличие анализатора текста.
- Разработка сервисов и микросервисов.
Основные функциональные возможности:
— менеджер репозиториев исходного кода;
— система контроля версий;
— автоматизированная сборка сервисов (CI);
— обеспечение непрерывной доставки сервисов (CD).
- Администрирование. Набор инструментов, предназначенный для реализации избирательного управления доступом к элементам платформы с учетом ролевой модели.
Платформа обладает высоким уровнем кастомизации и позволяет интегрировать как готовые программные решения, так и пользовательские алгоритмы любой сложности за счёт наличия в составе широко известных и многофункциональных библиотек (на python, matcad и др.), а также встроенных конверторов (парсеров) для основных используемых форматов данных.
Платформенный подход, наличие выделенного слоя работы с данными и унифицированного API даёт возможность внедрения новых бизнес-моделей: магазины приложений, «программное обеспечение как сервис» (SaaS) и «платформа как сервис» (PaaS).
Применение метаинформации предоставляет разработчикам возможность эффективного проектирования и создания приложений, реализующих семантические технологии: полнотекстового поиска, поиска данных с применением естественного языка, построения базы знаний, выявления скрытых взаимосвязей между элементами (например, в рекомендательных и экспертных системах).
Возможность размещения платформы и решений на её основе в облаке (в т.ч. в private-cloud — «частном облаке») существенно сокращает затраты на покупку и обслуживание ИТ-инфраструктуры.
Платформенные решения — Агрегаторы
Внедрение цифровой платформы, включающей интероперабельную систему управления данными, не является конечной целью при цифровой трансформации, поскольку платформа по сути представляет собой высокотехнологичный ИТ-инструмент для разработки на конкурентной основе прикладных решений (агрегаторов), реализующих, в том числе, новые подходы и возможности анализа данных и формирования на их основе более точных моделей.
Платформа создаёт предпосылки и условия для проведения успешной цифровой трансформации, облегчая эту сложную задачу.
Создавая платформенное решение, пользователи платформы изначально находятся не в нулевой точке цикла разработки, а, условно говоря, примерно на 25-30% отметке. У них уже есть понимание откуда брать данные, как их получать и обрабатывать, как передавать между отдельными модулями, с помощью чего проводить аналитику и визуализацию.
Одним из примеров разработанных на базе платформы решений является Агрегатор цифрового бурения (свидетельство о регистрации №2022661305 от 20.06.2022), предназначенный для автоматизации процессов определения проводимых технологических операций, производительного (ПВ), непроизводительного (НПВ) и скрытого непроизводительного времени (СНПВ), проведения анализа эффективности выполнения буровых операций с применением ключевых показателей эффективности (КПЭ), формирования суточных отчётов с набором аналитических диаграмм, а также проведения аналитики по сравнению нескольких объектов строительства по различным показателям на кустовой площадке или месторождении.
По масштабности совместного использования отечественных и международных отраслевых стандартов и уровню мультиоперационной функциональности используемых в цифровой платформе «Унофактор®» технологических решений в области ГРР на момент подготовки этого материала в реестре отечественного ПО аналогов не обнаружено.