Автоматизированная информационная система сбора и предварительной обработки данных «Предбиллинг» (АИС Предбиллинг)

Автоматизированная информационная система сбора и предварительной обработки данных «Предбиллинг» (АИС Предбиллинг)

• Множество источников поступления показаний, сохраняются только последние, которые пошли в расчет
• Различные форматы поступления данных о показаниях от контрагентов
• Ручная загрузка показаний из файлов в АСУСЭ, потери времени
• Ручной запуск интеграции с системами АСКУЭ
• Ежемесячная ручная загрузка файлов цен и часов, публикуемых на сайте регулятора

• Создание отдельного хранилища поступающих показаний и высвобождение ресурсов основной БД АСУСЭ
• Полная автоматизация загрузки показаний
• Минимизация ручных операций в приемке, автоматизация приемки показаний
• Автоматизация загрузки файлов цен и часов, публикуемых на сайте регулятора

Возможности АИС Предбиллинг

• Хранение полной истории всех поступающих файлов и результатов их разбора
• Автоматическое определение вида и формата файла с использованием нейросети
• Обработка файлов в произвольном формате – использование нейросети для определения расположения полей с информацией в файле
• Полностью автоматическая работа
• Автоматический запуск интеграции с системами-источниками данных по расписанию
• Автоматическая загрузка по расписанию файлов с web-сайтов с настройкой правил построения ссылки на файл
• Web-интерфейс администратора

Виды загружаемой информации

• Почасовые и получасовые расходы по приборам учета
• Профили потерь по точкам поставки
• Профили потребления по ГТП оптового рынка
• Интегральные показания приборов учета
• Составляющие предельных уровней нерегулируемых цен
• Часы пиковой нагрузки
• Объемы планового почасового потребления
• Цены для потребителей 1ЦК, публикуемые на сайтах ГП
• Объемы плановой покупки у розничной генерации
• Другие виды..

Показания

• Хранение полной истории поступающих показаний в отделенном от основной БД хранилище
• Возможность загрузки интегральных показаний в произвольном табличном формате
• Возможность загрузки интервальных показаний в нескольких табличных представлениях, автоматическое определение вида расположения показаний в файле
• Запуск интеграции с системами-источниками АСКУЭ по расписанию
• Возможность массовой загрузки поступивших показаний в АСУСЭ из хранилища
• Настройка приоритетов использования показаний в расчете

АИС Предбиллинг - это инновационное решение для автоматизации процесса обработки и анализа документов в сфере энергетики. Она основана на использовании передовых технологий, таких, как нейросеть и компьютерное зрение, что позволяет обрабатывать документы практически любого формата и вида.

С помощью нейросети программа способна распознавать основные понятия в сфере энергетики на русском языке, что значительно упрощает процесс обработки и анализа данных. Благодаря использованию алгоритмов компьютерного зрения, программа может легко находить в документе таблицы и другие графические данные, а при необходимости восстанавливать документ к нормальному виду для дальнейшей обработки.

• Минимизировать ручной ввод данных в приемке
• Производить большинство операций в массовом режиме
• Обеспечить своевременное поступление информации о ценах
• За счет загрузки данных в фоновом режиме экономить время сотрудников
• Хранить историю поступления показаний из различных источников
• Освободить ресурсы рабочей БД

АИС Предбиллинг предназначена для автоматической загрузки и первичной обработки следующей информации:

1. Интегральные показания приборов учета и потери, рассчитанные в сторонней системе
2. Интервальное (почасовые, получасовые, другие) потребление по приборам учета и точкам поставки и интервальные потери по приборам учета
3. профиль по ГТП оптового рынка
4. Составляющие предельных уровней нерегулируемых цен (с сайта АО АТС)
5. Часы пиковой нагрузки по ГТП оптового рынка (с сайта АО АТС)
6. Результат распределения объемов покупки у розничной генерации (РГ), выполненный в сторонней системе (при наличии)
7. Цены гарантирующих поставщиков для потребителей 1ЦК, публикуемые на официальных сайтах
8. Плановое почасовое потребление и плановая покупка по договорам с розничной генерацией

Информация может поступать в виде файлов по электронной почте, на сетевом ресурсе, ftp, путем интеграции с шиной данных (на основе RabbitMQ) или прямой интеграцией с системами-источниками данных или сайтами. По окончании загрузки система выдает протокол с указанием результата загрузки для каждого файла.

Структурная схема АИС Предбиллинг представлена на схеме:

Система состоит из функциональных микросервисов, работающих как отдельные процессы на сервере. Между собой микросервисы общаются путем передачи сообщений через собственный брокер сообщений RabbitMQ. При необходимости, возможна интеграция со сторонними системами с использованием сервиса очередей сообщений – входящая информация может поступать прямо в очередь сообщений Системы

«Транспорт»- обеспечивает поступление информации. Состоит из процедур опроса сетевых ресурсов, ftp, почты, CRQ-интерфейса «Энергосфера», сервера «Пирамида», сайта АТС, сайтов ГП и др. Полученная информация в виде файлов сохраняется в файловое хранилище и передается на распознавание

«Нейронная сеть (ENN)» - Специально разработанная нейронная сеть, задача которой определять типы документов и распознавать внутренне содержимое документов.

«Компьютерное зрение (CV)» - Вспомогательный блок нейронной сети, который позволяет преобразовать любые файл в данные для обработки нейронной сетью. Наделяет сервис способностью «видеть» и извлекать информацию из увиденного.

«Сохранение» - сохранение данных в локальное хранилище АИС Предбиллинг, а также передача данных в Биллинговую систему с использованием коннектора.

«Валидация» - Набор методов для проверки привольности полученных данных.

«API» - интерфейс для подключения сторонних поставщиков и потребителей данных.

Наиболее сложными с технической точки зрения являются процессы определения формата, идентификации и валидации для XLS-файлов. Разбор файлов происходит в 3 шага: первичный анализ документа компьютерным зрением, построение модели при помощи нейронной сети и вариация собранной модели. К модели Excel могут быть предварительно приведены файлы форматов PDF (кроме сканированных) и DOC.

Первичный анализ документа компьютерным зрением: Самый сложный алгоритмически шаг, так как для сервиса документ представляет собой просто набор буков и цифр в матрице. Нужно проанализировать документ и «увидеть» таблицы и другие данные.

Сервис умеет считывать из ячеек видимые границы и строить из них модели таблиц, разделяя на заголовок и табличные данные. Так же это позволяет разделить данные в документе на табличные и остальные ячейки. Предусмотрен набор алгоритмов, которые помогают достраивать таблицы, если они были плохо построены изначально или построить таблицы, не имеющих видимых границ.

Построение модели при помощи нейронной сети: После нахождения таблиц и отделения от других ячеек происходит нейроноструктурное определение документа. Нейронная сеть считывает все заголовки таблиц ячейки вокруг таблиц и заметки в документе. Далее она формирует результат в виде типа документа: почасовые данные, интегральные показание или другие, основываясь на модели, полученной в результате обучения на примерах. Дополнительно накладываются некоторые структурные особенности документов, которые корректируют результат нейронной сети.

Валидация: после построения модели и получения типа документа происходит проверка модели на правильность определения типа и полноту данных в ней. После успешного прохождения валидации документ проходит на этап сохранения, а при ошибке валидации формируется отчёт и направляется в виде ответного сообщения источнику. Если документ пришел по электронной почте, ответ будет выслан ответным сообщением.

Обработка PDF: PDF документ проходит конвертирование в Excel формат и подаётся на обработку как Excel.

Обработка TXT, CSV, HTML: Так как эти форматы являются примитивными, то они обрабатываются линейной логикой с небольшой поддержкой нейронной сети для определения типов документов.

Обработка XML: В процессе загрузки происходит проверка формата файла на соответствие xsd-схемам. Файлы, которые не соответствуют ни одной из схем из библиотеки, не загружаются, отправителю возвращается ответ о неуспешной загрузке.

Система нормализации документов: Примерно в 80% отправляемых документах присутствует ошибки в заполнении данных и/или неправильное оформление документов. Например, «сломанное» оформление таблицы, много пустых ячеек с табличным оформлением и т.д. и т.п. Это усложняет анализ документа и является основным местом появление ошибок при анализе документа. Перед анализом компьютерным зрение системы пытается нормализовать документ исправляя ошибки, допущенные человеком при заполнении.

• Использование только свободно распространяемого ПО.
• Система разработана на платформе .Net Core и может быть развернута на серверах под управлением ОС Linux или Windows.
• Используется брокер сообщений RabbitMQ
• Используется PostgreSQL или Oracle, по выбору заказчика.
• Рекомендуется использование российского ПО: РЕД ОС, Postgres Pro
• Используется встроенный файловый архив в файловой системе сервера или на подключенном к серверу хранилище.
• Предусмотрен REST API для интеграции с внешними системами

Для получения описания сервисов можно воспользоваться утилитой Swagger.

В системе предусмотрено логгирование всех операций в локальный файл и в базу данных, отправка сообщений об ошибке на электронную почту администратору (адрес электронной почты прописывается локально в конфигурационном файле).

Для администрирования АИС Предбиллинг и управления работой системы разработан веб-интерфейс, при помощи которого можно просматривать логи работы системы, управлять расписанием, настройками загрузки информации и отправки отчетов о работе.

Модуль интеграции АИС Предбиллинг имеет стандартные программные интерфейсы, позволяющие быстро реализовать интеграции с различными биллинговыми системами для автоматизации различных бизнес-процессов.

Модуль интеграции с АСУСЭ обеспечивает следующие функции:

• Идентификация, валидация и перенос в БД АСУСЭ наборов почасовых и интегральных данных о показаниях и расходах точек учета.
• Идентификация и перенос в соответствующие справочники почасовых и интегральных цен, данных о часах максимума и пр.
• Идентификация и перенос в соответствующие таблицы данных о профиле ГТП, затратах на покупку на опте по ГТП и др.
• Идентификация и перенос в соответствующие таблицы данных о Плановом почасовом профиле потребления, передаваемым потребителями.