Обработка (Processing)

Раздел вспомогательных инструментов, которые наделяют ваш конвейер функциями калькулятора, программной среды или интерфейса для работы с базами данных. Эти компоненты незаменимы для задач, требующих высокой точности и специфических вычислений.

Data Operations — этот компонент предназначен для гибкого управления объектами типа Data внутри информационного конвейера. Он позволяет извлекать, фильтровать, переименовывать и редактировать ключи и значения, создавая на выходе новый объект только с необходимыми данными.
DataFrame Operations — модуль для работы с табличными данными, который позволяет изменять структуру таблиц, редактировать записи, а также выполнять их сортировку и фильтрацию. Результатом работы компонента является новый объект DataFrame, содержащий преобразованную информацию.
Dynamic Create Data — инструмент для оперативного формирования объектов типа Data или Message с произвольной структурой, где пользователь сам определяет набор необходимых полей. Он незаменим в ситуациях, когда нужно собрать информацию из нескольких независимых источников перед её передачей в нейросеть.
Parser — компонент, предназначенный для преобразования структурированных данных из форматов Data или DataFrame в текстовое сообщение формата Message. Он извлекает нужные значения и оформляет их в виде читаемого текста по заданному шаблону для передачи нейросети или вывода в чат.
Split Text — выполняет сегментацию текста на отдельные фрагменты (чанки) на основе заданного размера и типа разделителя. Этот инструмент широко применяется для подготовки данных перед их токенизацией и последующей индексацией в векторных базах данных.
Type Convert — универсальный адаптер, обеспечивающий трансформацию данных между форматами Data, DataFrame и Message. Его использование необходимо для достижения технической совместимости между узлами конвейера, если выходной тип данных одного компонента не совпадает с требованиями входа следующего.