Мастер таблиц

При выгрузке данных для маркетинговой аналитики в Хранилище данных для каждого источника создается отдельная таблица. Например, рекламные кампании из Яндекс Директ, VK Ads хранятся в разных таблицах, расходы и сделки из CRM тоже.

Модуль «Мастер таблиц» в ROMI center позволяет автоматически объединять таблицы из разных источников в одну с помощью методов UNION и JOIN, а также настраивать агрегацию полей.

Это полезно, если необходимо:

• собрать в одном месте данные из разных рекламных кабинетов: Яндекс Директ, VK Ads, Авито и др.;
• объединить рекламные расходы, показы, клики с результатами из CRM (сделки, выручка) по UTM-меткам;
• свести данные из разных CRM в единую таблицу;
• подготовить таблицу с «сырыми» данными к дальнейшей обработке: выбрать только нужные поля и задать необходимую агрегацию;
• обогатить одну таблицу данными из другой — например, добавить к таблице сделок данные из таблицы по клиентам.

На основе полученной по итогу таблицы можно будет легко и быстро строить отчёты в BI-системах — например, в Yandex DataLens.

• Новая таблица создается на базе одной либо нескольких таблиц из Хранилища данных и хранится в нем же. 
• Обновление таблиц происходит автоматически.
• Порядок и частоту обновления таблиц можно регулировать в модуле «Приоритет запусков» 
• Таблицы, созданные с помощью «Мастер таблиц», могут использоваться в разделе «Трансформация» для дальнейших преобразований, например, когда вам нужно объединить несколько рекламных кабинетов в одну таблицу по рекламе. Такая таблица может быть промежуточной и далее присоединяться к другим таблицам для получения различных витрин данных.

Если же итоговая таблица финальна в цепочке преобразований, ее можно сразу использовать в Яндекс ДатаЛенс для формирования отчета.

Модуль разделён на три блока:

1. Объединение данных UNION
2. Объединение данных JOIN
3. Агрегация

Блок работает по принципу Append/Union — объединяет данные «по строкам»:

• вы выбираете несколько таблиц-источников;
• перечисляете поля новой таблицы и соответствующие им поля из исходных таблиц;
• система объединяет строки из всех выбранных таблиц в одну общую.

2. Объединение данных JOIN

Блок работает по принципу JOIN — соединяет таблицы по общему признаку (например, по ID).

• выбираете один из типов объединения JOIN (INNER, LEFT, RIGHT или FULL);
• выбираете две таблицы для объединения;
• указываете поля, по которым система будет искать совпадения;
• перечисляете поля новой таблицы;
• система сопоставляет строки из обеих таблиц по выбранным полям и формирует итоговую таблицу.

3. Агрегация

Способ используется для предподготовки таблицы к выгрузке в отчёт: позволяет исключить лишние столбцы и агрегировать значения.

• выбираете таблицу, на основе которой будет создана новая;
• выбираете необходимые поля;
• указываете тип агрегации для числовых полей.

2. Перейдите в раздел «Трансформация».

3. На экране появится список всех доступных Хранилищ. Выберите нужное вам из списка, либо создайте новое.

4. После выбора Хранилища вы автоматически попадёте в модуль «Мастер таблиц». Для создания нового преобразования нажмите кнопку «Создать новую таблицу».

5. Выберите способ преобразования: UNION, JOIN или Агрегация

2. Укажите таблицы, из которых система будет брать поля для объединения. Для добавления таблицы нажмите «Добавить таблицу». После подключения всех необходимых таблиц нажмите «Продолжить».

Настройте поля финальной таблицы. Для добавления поля нажмите «Добавить поле».

Для каждого поля укажите:

• название поля в результирующей таблице;
• тип данных;
• соответствующие поля в исходных таблицах.

Значения из этих полей будут собираться в одно поле.
Если в одной из таблиц нет подходящего поля, выберите прочерк (---).

Добавьте все необходимые для объединения поля и нажмите «Продолжить».

4. При необходимости включите агрегацию для полей с типом данных «Целое число» или «Дробное число», нажав на переключатель «Применить агрегацию».

Подробнее о видах агрегации читайте здесь. 

Нажмите «Закончить настройку», чтобы вернуться к списку скриптов.

2. Выберите тип JOIN:

• LEFT JOIN — приоритет у первой (левой) таблицы; все её записи попадут в итоговую таблицу.
• Записи из правой таблицы добавляются только при совпадении значений по ключевому полю.
• RIGHT JOIN — аналогичен LEFT JOIN, но приоритет у второй (правой) таблицы.
• INNER JOIN — в итоговую таблицу попадут только записи, присутствующие в обеих таблицах.
• FULL JOIN — объединяет все записи из обеих таблиц; при отсутствии соответствий в полях будет указано значение NULL.

Выберите две таблицы для объединения.

Выберите ключевые поля в обеих таблицах, по которым система будет искать совпадения.

Можно добавить несколько ключевых связей.

Нажмите «Продолжить».

3. Настройка полей финальной таблицы.

Для добавления нового поля нажмите «Добавить поле».

Укажите:

• название поля;
• тип данных;
• поле-источник из одной из исходных таблиц.

Ключевые поля, по которым выполнялось объединение, добавлять не обязательно — они включаются автоматически.

4. При необходимости включите агрегацию для полей с типом данных «Целое число» или «Дробное число», нажав на переключатель «Применить агрегацию».

Подробнее о видах агрегации читайте здесь. 

Нажмите «Закончить настройку», чтобы вернуться к списку скриптов.

1. Введите название новой таблицы и нажмите «Продолжить».

2. Выберите таблицу-источник данных.

3. Настройка полей.

Для добавления поля нажмите «Добавить поле».

Для каждого поля укажите:

• название нового поля;
• тип данных;
• поле-источник из исходной таблицы.

После добавления всех необходимых полей нажмите «Продолжить».

4. Настройка агрегации.

Включите переключатель «Применить агрегацию».

Для каждого поля выберите тип агрегации:

• количество строк — количество строк без учёта пустых значений;
• сумма значений — сумма;
• среднее значение — среднее арифметическое без учёта пустых значений;
• минимум — минимальное значение;

максимум — максимальное значение.

Нажмите «Закончить настройку», чтобы вернуться к списку скриптов.