В этой статье вы узнаете, как коннектор Google Analytics 4 выгружает статистику в хранилище ROMI center: что попадает в таблицу, с какой периодичностью идёт выгрузка и как устроена перезагрузка. Полный список полей — в статье Google Analytics 4: описание выгружаемых полей.
Что выгружается: одна таблица на ресурс
Подключение — это один ресурс (property) GA4 внутри аккаунта. Коннектор запрашивает у Google статистику по дням и складывает её в одну таблицу хранилища.
| Что в GA4 | Что в таблице |
|---|---|
| День статистики | Колонка stats_day |
| Сочетание выбранных группировок за день | Строка |
| Метрики и цели | Колонки |
Имя таблицы — romi_center_ga4_<id аккаунта>_<id ресурса>, например romi_center_ga4_123456789_987654321. Оно не меняется: аккаунт и ресурс у готового подключения не редактируются.
Важно
Если не выбрать ни одной группировки, в таблице будет одна строка на день — итоги по ресурсу целиком. Это работает, только если отмечены «Клики» или «Стоимость»: без них и без группировок сессии и пользователи не запрашиваются, и в таблицу попадают одни цели.
Периодичность
Каждую ночь, начиная с 02:00, коннектор создаёт задания на выгрузку — по одному на каждый из последних семи дней. Каждый день перечитывается семь ночей подряд: всё, что GA4 досчитает за этот день в течение недели, попадёт в хранилище.
Задания не создаются, если истекла лицензия проекта, хранилище не настроено или недоступно, подключение стоит на паузе или Google не подтвердил доступ.
Важно
Ошибка доступа к Google сама не снимается. Снять её можно повторным входом: «Редактировать» → шаг «Доступ» → «Попробовать ещё раз». Пока доступ не восстановлен, новые дни не выгружаются.
Важно
Пропуски старше недели сами не догружаются. Если выгрузка стояла дольше семи дней — пауза, ошибка доступа, истёкшая лицензия, — после возобновления ночь заберёт только последние семь дней, а более ранние нужно перезагрузить (см. ниже).
За какой период забираются данные
| Случай | Период |
|---|---|
| Ежедневная выгрузка | последние семь дней по вчерашний включительно |
| Историческая перезагрузка | выбранный период по вчерашний день |
Сегодняшний день не запрашивается: сутки ещё не закончились, и цифры были бы неполными.
Примечание
Дни считаются по часовому поясу ресурса GA4, а не по московскому времени. Если в GA4 стоит другой пояс, границы суток в хранилище сдвинуты относительно московских. Если пояс ресурса — UTC или западнее (например, Америка), ночная выгрузка может прийтись на время, когда там вчерашний день ещё не закончился: тогда в первую ночь он приходит неполным и дочитывается следующими ночами.
Как сохраняет данные
- Куда: хранилище ROMI center на движке ClickHouse.
- День переписывается целиком. Перед вставкой строки за эту дату удаляются, и только потом пишутся новые. Повторная выгрузка дублей не создаёт. Если Google вернул за день пустой ответ, прежние строки этого дня остаются как были.
- Структура таблицы: движок
MergeTree, партиции по дню, сортировка поstats_day. - Колонки добавляются на ходу. Выбрали новую цель — или, если цели не выбраны, в GA4 появилось новое ключевое событие, — её колонки появятся при очередной выгрузке. Колонки не удаляются: снятое в настройках поле или цель остаются колонкой и дальше заполняются пустыми значениями.
Важно
Если выбран «Тип устройства», клики и расходы лежат в отдельных строках. В разрезе устройства коннектор их не запрашивает: он шлёт два запроса — с типом устройства и без него, — а разницу дописывает строками, где тип устройства пуст. В строках с устройством есть сессии, пользователи и цели, но нет кликов и расходов, а в строках с пустым устройством — клики и расходы. Суммы сессий, кликов и расходов за день по таблице верные, а вот расход по устройствам и расход рядом с целями в одной строке получить нельзя.
Важно
Удаление подключения таблицу из хранилища не удаляет. Если снова подключить тот же ресурс в том же проекте, выгрузка продолжит писать в ту же таблицу.
Важно
В одном запросе не больше 250 000 строк. Если за день сочетаний группировок окажется больше, остаток в таблицу не попадёт: следующие страницы ответа коннектор не запрашивает.
Перезагрузка данных
| Перезагрузка | Что делает |
|---|---|
| «Загрузить исторические данные» | На каждый день периода создаётся задание, день переписывается заново. Период любой по вчерашний день: ни глубина, ни длина не ограничены |
| Она же с галочкой «Удалить ранее загруженные данные за период» | Таблица удаляется целиком, а не только за выбранный период, и заполняется заново только днями этого периода |
Удаление идёт после постановки заданий в очередь: если ставить оказалось нечего — подключение на паузе, истекла лицензия, нет доступа к Google или не настроено хранилище, — перезагрузка завершится ошибкой, а данные останутся на месте.
Дополнительные настройки
| Настройка | Что делает |
|---|---|
| Аккаунт и ресурс | Шаг «Доступ»: вход через Google, затем выбор аккаунта и ресурса GA4 |
| Поля | Шаг «Выбор полей»: 9 полей — 4 метрики и 5 группировок, по умолчанию отмечены все |
| Цели | Шаг «Дополнительные настройки»: до 5 ключевых событий GA4 (раньше в GA4 они назывались конверсиями), на каждое — 4 колонки. Рядом с названием события показан его ID |
| Приостановить выгрузку | Останавливает создание новых заданий; уже созданные доработают. Данные в хранилище остаются |
Важно
Если не выбрать ни одной цели, выгружаются все ключевые события ресурса — на больших ресурсах это сотни колонок целей. На запрос к Google число выбранных целей не влияет: все цели приходят одним запросом, а лишние отбрасываются уже у нас.
Изменения полей и целей действуют с ближайшей выгрузки: последние семь дней перечитываются в новом виде, а более ранние остаются прежними, пока их не перезагрузить.
Технические поля
| Колонка | Что внутри |
|---|---|
rc_import_id | Номер задания, которым записана строка |
rc_created_at | Дата и время записи строки в хранилище, по Москве |
rc_datasource | Всегда пусто. У таблиц, которые давно не обновлялись, этой колонки может не быть |
В «Просмотре данных» служебные колонки скрыты, в самой таблице они есть.
