Объединение данных из разных источников

Когда вы выгружаете данные для маркетинговой аналитики в хранилище, для каждого источника создается отдельная таблица. Например, рекламные кампании из Яндекс Директ, VK Ads или Facebook Ads будут храниться в разных таблицах, а расходы и сделки из CRM — в своих собственных. С одной стороны это создает гибкость в работе, с другой такие данные сложно анализировать в совокупности.

Модуль «Объединение данных» в ROMI center позволяет автоматически объединить таблицы из разных источников в одну. Это полезно, если вы хотите:

• собрать в одном месте данные из разных рекламных кабинетов (например, Яндекс Директ, VK Ads, Авито и др.);
• объединить рекламные данные (расходы, показы, клики) с результатами из CRM (сделки, выручка) по utm-меткам;
• свести данные из разных CRM (например, из админ-панели и облачной системы) в единую таблицу.

В результате получится одна таблица, где данные из всех источников будут собраны строка за строкой, а одинаковые поля — объединены автоматически. На основе этой таблицы можно легко строить отчёты в BI-системах.

Модуль объединения использует принцип Append (Union) — объединение данных «по строкам».

• Вы выбираете несколько таблиц-источников с одинаковой или похожей структурой (например, таблицы с рекламными метриками или таблицы CRM).
• Система объединяет строки из всех выбранных таблиц в одну общую.
• Столбцы с одинаковыми названиями автоматически совмещаются.
• Если в одной из таблиц есть уникальные столбцы, они добавляются в итоговую таблицу как новые поля. В строках из других источников такие поля будут пустыми.

Например, если в одной таблице есть столбец campaign_id, а в другой — utm_campaign, и вы вручную сопоставили их как одинаковые, то в итоговой таблице они будут сведены в один столбец. Все преобразования происходят автоматически и регулярно, без участия пользователя.

1. Прежде чем выполнить объединение данных, сначала нужно настроить выгрузку данных в Хранилище.

2. Перейдите в раздел «Трансформация» и откройте модуль «Объединение данных».

3. Подключите хранилище данных, откуда будут браться таблицы для объединения.

4. Когда хранилище подключено, нажмите «Новое объединение».

5. Введите название будущей новой таблицы, а также укажите таблицы из которых будут браться поля для объединения.

7. Латинскими буквами введите название нового поля, укажите тип поля и какими полями из «таблиц-источников» его нужно заполнять.

Типы данных

• String (Текст) — любая текстовая информация. Пример: utm_source, город;
• Int64 (Целое число) — число без дробной части (клики, показы и т.д). Пример: 100, 500, 12345;
• Float64 (Число с дробью) — число с десятичной частью (расходы, выручка и т.д). Пример: 10.5, 3.14, 99.99;
• Date (Дата) — дата в формате ГГГГ-ММ-ДД. Пример: 2025-01-01.

8. Вы также можете выполнить агрегацию строк в таблице.

Виды агрегаций данных

• сумма значений — складывает все числовые значения в выбранном столбце;
• количество строк — подсчитывает количество записей (строк) в выбранном столбце (включая пустые и повторяющиеся значения, если не заданы фильтры);
• среднее значение — вычисляет среднее арифметическое значений в столбце (сумма всех значений, деленная на их количество);
• минимум — находит наименьшее значение в столбце;
• максимум — находит наибольшее значение в столбце.

9. Чтобы сделать новое объединение данных, нажмите «Новое объединение». Если требуется объединить данные из другого хранилища, нажмите «Подключить хранилище данных».