Платформа DaJet Flow Pipelines предназначена для гибкой
разработки систем интеграции и потоковой обработки данных.
При этом роль источника, посредника или получателя данных
могут выполнять базы данных СУБД и/или брокеры сообщений.
Обработка данных выполняется блоками процессорами или трансформаторами.
Отличие этих блоков друг от друга заключается в следующем:
- Процессоры не меняют тип входящих данных (исходящий тип тот же).
- Трансформаторы меняют входящий тип данных на заданный исходящий.
Подсистема Flow платформы DaJet состоит из конвейеров обработки данных,
которые "собираются" из динамически подключаемых компонентов (плагинов).
Блоки конвейера программируются на C#, реализуя соответствующие интерфейсы.
Программная модель аналогична Microsoft Dataflow (Task Parallel Library).
DaJet Flow 2.2.0 реализует следующие блоки источников и получателей данных:
| DaJet.Flow.SqlServer.OneDbSource | Источником данных является запрос к базе данных 1С:Предприятие 8 на языке DaJet QL (скрипт) |
| DaJet.Flow.SqlServer.OneDbConsumer | Источником данных является запрос к базе данных 1С:Предприятие 8, а именно команда CONSUME |
| DaJet.Flow.SqlServer.OneDbProducer | Блок выполняет инструкции DML в базе данных 1С:Предприятие 8 на языке DaJet QL (скрипт) |
| DaJet.Flow.SqlServer.QuerySource | Источником данных является запрос к базе данных MS SQL Server на диалекте SQL этой СУБД |
| DaJet.Flow.SqlServer.Producer | Блок выполняет инструкции DML в базе данных MS SQL Server на диалекте SQL этой СУБД |
| DaJet.Flow.PostgreSql.OneDbSource | Источником данных является запрос к базе данных 1С:Предприятие 8 на языке DaJet QL (скрипт) |
| DaJet.Flow.PostgreSql.OneDbConsumer | Источником данных является запрос к базе данных 1С:Предприятие 8, а именно команда CONSUME |
| DaJet.Flow.PostgreSql.OneDbProducer | Блок выполняет инструкции DML в базе данных 1С:Предприятие 8 на языке DaJet QL (скрипт) |
| DaJet.Flow.PostgreSql.QuerySource | Источником данных является запрос к базе данных PostgreSQL на диалекте SQL этой СУБД |
| DaJet.Flow.PostgreSql.Producer | Блок выполняет инструкции DML в базе данных PostgreSQL на диалекте SQL этой СУБД |
| DaJet.Flow.Kafka.Consumer | Блок-потребитель сообщений из топика Apache Kafka |
| DaJet.Flow.Kafka.Producer | Блок-производитель сообщений в топик Apache Kafka |
| DaJet.Flow.RabbitMQ.Consumer | Блок-потребитель сообщений из очереди RabbitMQ |
| DaJet.Flow.RabbitMQ.Producer | Блок-производитель сообщений в топик/очередь RabbitMQ |
DaJet Flow 2.2.0 реализует следующие блоки трансформации данных:
| DaJet.Flow.RecordToPayloadTransformer | Выполняет трансформацию записи СУБД в JSON объект. |
| DaJet.Flow.PayloadToRecordTransformer | Выполняет трансформацию JSON объекта в запись СУБД. |
| DaJet.Flow.RabbitMQ.PayloadToMessageTransformer | Выполняет трансформацию JSON объекта в сообщение RabbitMQ. |
| DaJet.Flow.RabbitMQ.MessageToRecordTransformer | Выполняет трансформацию сообщения RabbitMQ в запись СУБД. |