Все, що треба знати про BigQuery: що це, навіщо та які переваги для маркетингу

Ви, мабуть вже чули про величезні обсяги інформації, що генеруються щодня та вимагають не тільки зберігання, але й швидкого та ефективного аналізу. Малому та великому бізнесу треба швидко приймати обґрунтовані рішення. Саме тут на допомогу приходить BigQuery – потужний інструмент для обробки великих даних, розроблений Google.

Почну з основи основ, із офіційного визначення (перекладав його з англійської, тому вийшло не таке вже й офіційне))

Що таке Google Bigquery?

“BigQuery – це кероване безсерверне сховище даних від Google, яке пропонує масштабований аналіз великих обсягів даних. Платформа підтримує запити за допомогою діалекту SQL. Має також вбудовані можливості машинного навчання”

Чудово розумію, що офіційні визначення не завжди легко зрозуміти з першого разу, але вони зазвичай містять важливу інформацію про продукт, тому я вирішив додати його на початку. Але далі давайте поговоримо простіше і зрозуміліше)

Про що поговоримо:

• Що таке Google BigQuery?
• Як влаштований BigQuery та як він працює
• Які переваги для маркетологів
  • Можливість обійти обмеження інтерфейсу Google Analytics 4
  • Можливість побудови наскрізної аналітики та автоматизації звітності
  • Безкоштовний старт
  • Доступна цінова політика
  • Легке використання Machine Learning
  • Незалежність від IT відділу
  • Швидка нативна інтеграція з сервісами Google
  • Просте масштабування
  • Можливість передавати дані з BigQuery в інші сервіси
  • Безпека даних
  • BigQuery - маленька частина великого Google Cloud Platform
• Як почати працювати з BigQuery
  • Реєстрація в Google BigQuery
• Інтеграція Google BigQuery з Google Analytics 4
• Інтеграція Google BigQuery з рекламними системами Google Ads та Facebook Ads
  • Інтеграція Google BigQuery з Google Ads
    • Експорт з Google Ads до BigQuery
    • Імпорт в Google Ads з BigQuery
    • Налаштування передачі конверсій з BigQuery до Google Ads
    • Налаштування передачі аудиторій з BigQuery до Google Ads
  • Налаштування експорту даних з Facebook Ads до BigQuery
    • Як створити Facebook Ads Developer App
    • Як зареєструвати Meta Developer акаунт
    • Де знайти Client ID, Client Secret та Refresh Token в Facebook Developer App
• Інтеграція Google BigQuery з Google Merchant Center
• Інтеграція Google BigQuery з Google Search Console
• Інтеграція Google BigQuery з Google Sheets
  • Експорт даних з Google Sheets до Google BigQuery
  • Імпорт даних в Google Sheets з Google BigQuery
• Як налаштувати передачу даних з інших систем до Google BigQuery
• Інтеграція Google BigQuery з системами візуалізації даних та бізнес аналітики: Data Studio (Looker Studio) та Power BI
  • Імпорт даних з BigQuery до Data Studio (Looker Studio)
  • Імпорт даних з BigQuery до Power BI
• Замість висновку

Як влаштований BigQuery та як він працює

Якщо коротко, то BigQuery потрібен для збирання та зберігання даних з різних джерел в одному місці. Це по суті хмарна база даних від Google.

У чому його особливість? У тому, що під час роботи обчислювальний двигун (Query Engine) та сховище даних (Storage System) працюють окремо один від одного, часто для цього використовують термін “decoupled storage and compute”. Що в свою чергу дозволяє незалежно масштабувати ресурси потрібні для зберігання інформації, і окремо - потрібні для виконання обчислень.

Якщо ви технічний спеціаліст, щоб детальніше дізнатись про те, чому такий підхід є значною перевагою, рекомендую прочитати статтю - Separation of storage and compute in BigQuery на офіційному блозі Google Cloud.

Зображення нижче взято з офіційної довідки Google і прекрасно демонструє загальну архітектуру BigQuery.

Коли ви запускаєте запит у BigQuery, система розподіляє його обробку на кілька паралельних обчислювальних процесів. Вони одночасно сканують відповідні таблиці, роблять необхідні обчислення, об'єднують отримані дані й повертають готовий результат запиту. Такий підхід дозволяє BigQuery ефективно обробляти складні запити навіть до дуже великих обсягів даних за короткий час.

Але все це технічні деталі, а стаття все ж, в першу чергу, для маркетингових спеціалістів. Тому давайте перейдемо до основного.

Які переваги для маркетологів?

1. Можливість обійти обмеження інтерфейсу Google Analytics 4
● Чи часто ви стикаєтесь із проблемами семплінгу даних у великому проекті?
● Хотіли б аналізувати дані за період, що перевищує 14 місяців? (На всяк випадок нагадаю, це неможливо зробити в кастомних звітах Google Analytics 4 з блоку Дослідження).
● Інтерфейс GA4 не дозволяє створити потрібний звіт?
У всіх цих випадках BigQuery стає незамінним. Робота з сирими даними дозволяє уникнути будь-яких обмежень інтерфейсу.

2. Можливість побудови наскрізної аналітики та автоматизації звітності
Ви постійно переключаєтесь між різними кабінетами: Google Ads, Facebook Ads, Google Analytics, Call Tracking, CRM, щоб зрозуміти ефективність реклами, але все одно не можете скласти повну картину?

Хоча наскрізну аналітику можна побудувати й без BigQuery, саме BigQuery залишається одним із найпопулярніших рішень для її реалізації завдяки своїм перевагам.

3. Безкоштовний старт
Google надає новим користувачам безкоштовні кредити (300$), яких вистачить на три місяці роботи для більшості компаній. Це дозволяє повноцінно оцінити інструмент без додаткових витрат.

4. Доступна цінова політика
Окрім безкоштовного старту, ви матимете щомісячні безкоштовні ліміти на зберігання та обробку даних:
● перший 1 TiB обробки даних безкоштовно;
● перші 10 ГіБ пам’яті для зберігання даних безкоштовні;
Оскільки ці ліміти надаються щомісяця, для малого бізнесу вони часто достатні для повноцінного закриття задач, що дозволяє уникнути додаткових щомісячних витрат на BigQuery. Ну а для великого бізнесу кілька десятків чи навіть сотень доларів на місяць зазвичай не становлять проблеми.
Цінова політика BigQuery прозора — ви платите лише за те, що використовуєте.

5. Легке використання Machine Learning
Думаю ні для кого не секрет, що в правильних руках, використання машинного навчання може значно спростити аналіз даних та виявити нові інсайти.
У BigQuery вам не потрібно бути дата-саєнтистом, щоб почати використовувати машинне навчання зі своїми даними. Це робиться не в 1 клік, але досить просто і зручно.
Наприклад, можна витратити всього декілька годин і навчитися сегментувати базу клієнтів на основі RFM (recency, frequency, monetary value) аналізу з допомогою ML.

6. Незалежність від IT відділу

Часто (я б навіть сказав занадто часто) я спостерігаю в компаніях, що робота IT-відділу може сповільнювати роботу маркетингу. IT часто працює в рамках спринтів і за планом, але маркетинг потребує гнучкості та вміння діяти ситуативно.

Також часто виникає ситуація, коли маркетинг залежить від апдейтів різних систем, наприклад, від апдейтів Google чи Facebook. Іноді ми не знаємо про ці оновлення заздалегідь. Але просто запросити в IT відділу щось зробити негайно може бути складно. Знайомо таке?

В багатьох компаніях, нажаль, взаємодія маркетологів та IT-шників виглядає якось так:

BigQuery - хмарна платформа. Для користування не потрібен системний адміністратор чи інший технічний спеціаліст, який відстежував би роботу бази даних. Google розв’язує всі технічні питання за вас. Просто не забувайте своєчасно оплачувати рахунки.
7. Швидка нативна інтеграція з сервісами Google

BigQuery - це не просто хмарна платформа, а хмарна платформа від Google. І це дуже важлива перевага.

Подумайте, де зазвичай ви переглядаєте дані про ефективність сайту і трафіку:

• Можливо, в Google Analytics 4?

А де найбільші рекламні бюджети?

• Можливо, в Google Ads?

Так, складно уявити сучасний маркетинг без сервісів Google. Відмінністю BigQuery від інших схожих хмарних рішень є можливість налаштувати збір даних з різних сервісів Google, таких як Google Ads, GA4, Search Console та інших, всього лише за кілька кліків.

Більш детально про можливість нативної інтеграції BigQuery з різними сервісами Google я розповідаю в статті далі - Інтеграції Google BigQuery з Google Analytics 4, Google Ads,Facebook Ads, Google Sheets, Data Studio (Looker Studio), Power BI.

8. Просте масштабування

BigQuery здатний обробляти будь-який обсяг даних, що робить його відмінним інструментом як для малих, так і для великих бізнесів. Google відповідає за всі технічні аспекти, тож ви можете просто працювати з даними без зайвих турбот.

9. Можливість не тільки нативно збирати дані з інших систем та зберігати їх, але й передавати дані з BigQuery в інші сервіси

Зараз передача даних з CRM до BigQuery стає не лише бажанням, але й необхідністю: багато CRM систем не підтримують нативну інтеграцію з рекламними кабінетами чи системами бізнес-аналітики, а от BigQuery такі інтеграції має. І це стосується насправді не тільки CRM:

• Хочете передати офлайн конверсії до Google Ads? Будь ласка, ось нативний конект. (Детальніше про це читай нижче - Імпорт конверсій з Google BigQuery до Google Ads)
• Хочете імпортувати сегменти аудиторій до Google Ads? теж є нативний конект. (Детальніше про це читай нижче -Імпорт аудиторій з Google BigQuery до Google Ads)
• Потрібно візуалізувати дані в Power BI чи Tableau? Готові конекти теж допоможуть.

Детальніше про інші конекти читайте у блоці - Інтеграції Google BigQuery з GA4, Google Ads, Google Sheets.

10. Безпека даних підтверджена сертифікатами PCI DSS, ISO 27001, SOC 2 і SOC 3 типу II

Безпечність зберігання даних підтверджена провідними сертифікаціями, тому ви можете зберігати конфіденційні дані клієнтів, як-от номери кредитних карток, адреси електронної пошти та іншу ідентифікаційну інформацію без зайвих хвилювань. BigQuery ідеально підходить для зберігання контактної бази клієнтів та, наприклад, подальшої роботи з нею щодо сегментації чи персоналізації маркетингових активностей.

І переходимо до останньої переваги:

11. BigQuery - це маленька частина великого Google Cloud Platform

Ця перевага не відразу розкривається, але коли ви починаєте працювати з цим, апетит на можливості швидко зростає. Наприклад, якщо вам не вистачає нативного конектора, ви можете розширити функціонал за допомогою Cloud Function, Cloud Scheduler чи будь-якого іншого з десятків, які пропонує Google Cloud Platform.

• Хочете передавати офлайн конверсії з BigQuery до Facebook Ads? Немає проблем.
• Бажаєте імпортувати сегменти аудиторій з BigQuery до Facebook Ads? Це також можливо.
• Або можливо є бажання імпортувати сегменти аудиторій з BigQuery до системи email-розсилки? Ну ви зрозуміли, все це теж можливо.

Хоча BigQuery може здатися складним для опанування, він принесе значну користь і конкурентну перевагу, тому варто рухатись у цьому напрямку. І як завжди, на цьому етапі важливо знати з чого почати.

Як почати працювати з BigQuery?

Загалом весь процес роботи з BigQuery для маркетингових задач можна розділити на наступні етапи:

1. Реєстрація в BigQuery.
2. Налаштування передачі даних з різних систем до BigQuery. Детальніше - далі в статті пункти:
   ● Інтеграція Google BigQuery з Google Analytics 4
   ● Інтеграція Google BigQuery з рекламними системами Google Ads та Facebook Ads
   ●Інтеграція Google BigQuery з Google Merchant Center
   ● Інтеграція Google BigQuery з Google Sheets
   ● Налаштування передачі даних з інших систем до Google BigQuery.
   ● Інтеграція Google BigQuery з системами візуалізації даних та бізнес аналітики: Data Studio (Looker Studio) та Power BI
3. Робота з даними в середині BigQuery Studio з допомогою SQL (і Python) - це окрема велика тема, яка виходить за рамки цієї статті. Для знайомства з SQL можете прочитати першу частину нашого гайда — від основ до просунутої маркетингової аналітики, а потім перейти до другої частини, присвяченої побудові звіту Traffic Acquisition. А якщо хочете системно навчитися працювати з даними, можете пройти курс BigQuery for Marketing.
4. Підключення зовнішніх систем візуалізації даних чи бізнес-аналітики для побудови автоматизованих репортів чи більш детального аналізу в зручнішому форматі. Детальніше - нижче у статті про Google Sheets, Data Studio (Looker Studio), Power BI або під час навчання на PRO ANALYTICS.
5. Налаштування передачі оброблених даних про конверсії в рекламні чи інші системи для навчання кампаній чи персоналізованої комунікації з вашими клієнтами (налаштування передачі конверсій та створення аудиторій).

Як ви вже зрозуміли, перш за все вам потрібно буде зареєструватись. Процес не складний, але я все ж опишу його нижче.

Реєстрація в Google BigQuery

1. Перш за все, переходимо на сайт Google Cloud Platform і натискаємо “Get started for free” (Почати безкоштовно).

2. Далі вводимо дані країни та погоджуємося з умовами.

3. Заповнюємо інформацію про вас та вносимо платіжні дані.

4. Натискаємо Start free (Почати безкоштовно).

Після реєстрації у нас автоматично створився новий проєкт “My first project”.

5. Обов’язково змініть назву проєкту в BigQuery на відповідну до вашого сайту або проєкту, для зручності роботи з ним. Зробити це можна в налаштуваннях. Для цього натискаємо Go to project settings (Перейти до налаштувань проєкту).

6. За необхідності ви можете надати також доступ на пошти команди аналітиків чи інших спеціалістів, які будуть працювати з проєктом.
Давайте розберемо як це зробити:

• Переходимо в Меню -> IAM & Admin -> IAM.

• Далі натискаємо на Grant Access (Надати доступ).

• Ну і вибираємо рівень доступу, який хочете надати. Наприклад Basic (Базовий) -> Owner (Власник). Будьте обережні надаючи роль власника, в більшості випадків достатньо буде більш обмеженого доступу.

Наступний крок після створення проекту - налаштувати передачу даних з різноманітних маркетингових та аналітичних систем до Google BigQuery. І тут, як я писав вище, Google пропонує багато готових та ще й безкоштовних інтеграцій. Давайте розберемо найпопулярніші з них.

Інтеграція Google BigQuery з Google Analytics 4

Інтеграція відбувається прямо в інтерфейсі “в 2 кліки”. Передаються всі дані, що збираються на сайті. Зараз покажу вам детальніше:

1. Заходимо на сайт https://console.cloud.google.com/welcome/new та створюємо новий проєкт. Якщо ви читаєте цю статю послідовно, ви вже це зробили. Якщо ж ви одразу перейшли на цей розділ і не знаєте як створити проект прогорніть вище, або просто клікніть - Реєстрація в Google BigQuery.
2. Переходимо в інтерфейс GA4, в Admin -> BigQuery Links.

3. Натискаємо Link (З’єднати)

4. Обираємо потрібний проєкт та натискаємо Confirm (Підтвердити).

5. Data Location (Розташування даних). Насправді немає великої різниці яку країну ви тут поставите, але врахуйте дві деталі:

• Якщо ваш клієнт хоче бачити конкретну локацію чи є якісь юридичні обставини щодо місця збереження інформації, то варто це врахувати. Проте, якщо вам немає різниці, то можете ставити загальний по US або Європі.
• Запам’ятайте яке розташування ви оберете та прослідкуйте, щоб всі наступні дані, які ви будете збирати, включаючи дані Google Ads, CRM і т.д., були відмічені також цією локацією. Це дуже важливо, оскільки, ви не зможете використовувати дані з різних локацій в одному SQL запиті.

6. Data streams and events (Потоки даних та івенти).

• На цьому етапі ви можете обрати потрібні вам Data Streams (Потоки даних), якщо не хочете імпортувати дані з усіх. (Навіть не уявляю, щоб комусь це колись знадобилось, але така можливість є)).
• Є також можливість вибрати інформацію по яким івентам ви хочете експортувати - якщо у вас великий проект з більше ніж 1.000.000 щоденних івентів - рекомендую придивитись до цього налаштування

• Ну і якщо у вас є мобільний додаток, то не забудьте поставити галочку біля налаштування Include advertising identifiers for mobile app streams.

7. Далі налаштовуємо пункт Export type (Тип експорту) для даних події та даних юзера.

• Daily (Щодня) - означає, що дані будуть приходити щодня десь о 5-7 годині ранку за часовим поясом вказаним в налаштуваннях ресурсу GA4. Особисто я вважаю, що це налаштування має бути базовим для GA4 і роблю його всім своїм клієнтам.

• Streaming (Потокове передавання) - передача в режимі реального часу. З мого особистого досвіду затримка була максимум на хвилин 10 і то, швидше за все це виключення, Зазвичай ваші дані відображаються в таблиці стрімінгу протягом хвилини. Ця функція платна, але якщо вам потрібні ріал-тайм звіти або у вас великий проект і ви маєте більше 1.000.000 івентів щодня цей варіант буде виходом з ситуації. Та й ціни насправді не такі щоб і високі - всього 0,01 дол. США за 200 Мб.

8. Ось і все, не забудьте натиснути Submit (Підтвердити). Таблиця з даними щоденного експорту з'явиться в бігквері протягом 48 годин. Таблиця з даними стрімінгу зазвичай з'являється набагато швидше.

Інтеграція Google BigQuery з рекламними системами Google Ads та Facebook Ads

Звісно BigQuery має нативну інтеграцію не тільки з аналітичними системами, але й з іншими, наприклад, рекламними. Ось декілька прикладів практичного використання таких інтеграцій:

• Побудова звіту по наскрізній аналітиці, який включає в себе не тільки дані з GA4 про трафік та дані про дохід з вашої CRM, але й дані про витрати з ваших рекламних кабінетів.
• Налаштування передачі даних про конверсії до рекламних кабінетів. Маю на увазі передачу саме реальних даних, з вашої CRM.
• Створення аудиторій для реклами на основі даних з вашої CRM або внутрішньої бази даних.

Давайте розберемо більш практичніше.

Інтеграція Google BigQuery з Google Ads

Працює в 2 сторони: можна передати дані й до Google BigQuery (лінк) і експортувати з BigQuery до Google Ads (лінк). Звісно, далі ми розберемо обидва варіанти.

Експорт з Google Ads до BigQuery

Давайте спочатку розглянемо як зробити експорт з Google Ads:

1. Переходимо в BigQuery і натискаємо Data transfers (Передача даних) -> Create transfer (Створити трансфер)

2. Тепер обираємо Type Source (Тип джерела) -> Google Ads

3. Тепер починаємо налаштування з блоків Transfer config name (Назва конфігурації трансферу) та Schedule options (Налаштування графіку).

• Display name (Відображувана назва) - назва трансферу, я зазвичай записую “Google Ads та ідентифікатор”
• Repeat frequency (Частота повторення) - з якою періодичністю будуть надсилатися дані. Рекомендую ставити Days (Щодня).
• Вказуємо точний час завантаження, наприклад 3 години ночі по UTC (Врахуйте, що UTC це фактично часовий пояс 0. Тому 3 години ночі по UTC це не 3 години ночі по Києву). Зверніть увагу, що нижче вам покаже час по вашому часовому поясу.
• Обираємо Start now (Почати зараз)

4. Далі переходимо до блоку Destination settings (Налаштування пункту призначення), куди будемо зберігати дані.

5. Найкраще рішення - це створити окремий датасет.

Нам потрібно буде вказати назву нового датасету, зазвичай щось типу google_ads_XXX_XXX-XXXX (де XXX_XXX-XXXX ід вашого рекламного кабінету), та вибрати локацію, де будуть зберігатись ваші дані.

Зверніть увагу! При налаштуванні інтеграції з GA4 ви вже вказували певну локацію, і я зазначив, що в усіх наступних експортах теж треба вказувати ту ж саму. Тому, не забувайте про це. Якщо ви пропустили це пояснення в статті вище, ось швидкий лінк - Інтеграція Google BigQuery з Google Analytics 4.

6. Продовжуємо налаштування у блоці Data source details (Деталі джерела даних):

• Вказуємо Customer ID (Ідентифікатора клієнта), його можна знайти в акаунті Google Ads (цифри в правому верхньому куті, біля вашого мейлу).
• При бажанні можна також обрати Exclude removed/disabled items (Виключити видалені / виключені активності), але я зазвичай це не обираю.
• У полі Table Filter (Фільтрування таблиць) можна вказати таблиці, які ви хочете завантажувати, інакше будуть передані всі таблиці. Якщо у вас маленький проєкт чи ви вперше працюєте з даними експорту, то рекомендую нічого не вказувати і передавати всі таблиці. Якщо ж ви це робите не вперше і точно знаєте, що вам потрібно чи у вас великий бізнес з тисячами рекламних кампаній, то є сенс звернути увагу на це налаштування. Назви потрібних таблиць перерахуйте через кому. Детальніше про цей пункт можете знайти в довідці.
• Conversion Date (Дата вигрузки конверсій) - це старе та вже неактуальне налаштування.
• Include tables new to Google Ads (включити нові таблиці Google Ads). Ті, хто ще пам'ятає старий добрий Google AdWords знає, що різниця між ним та Google Ads досить значна і функціонал змінився та розширився досить сильно. Тому галочка в цьому пункті є обов'язковою інакше ви не отримаєте багато корисних даних.
• Include PMax Campaign Tables (включити таблиці з даними PMax кампаній) - однозначно активуємо. Навіть якщо наразі у вас не має PMax кампаній, щоб коли вони з'являться не шукати довго причину їх відсутності в даних експорту.
• Refresh window (Вікно оновлення) - важливе налаштування, Google Ads може часто змінювати свої дані, наприклад, по витратах через недійсні кліки. Це може вплинути на історичні дані, тому я рекомендую встановити 28 днів.

7. При бажанні ви також можете доєднати Service account. Це службовий обліковий запис Google, що пов’язаний із вашим проєктом на Google Cloud. Якщо ви нічого не зрозуміли з останніх двох речень - не біда, це просто значить, що у вас ще не має в цьому необхідності. Пропустіть це налаштування. Детальніше про цю функцію та можливості можете почитати в довідці за цим посиланням.

8. І як завжди, не забудьте зберегти всі налаштування.

Імпорт в Google Ads з BigQuery

Тепер розберемо як передати дані в Google Ads з BigQuery.

1. Переходимо до акаунту Google Ads та відкриваємо Data Manager (Tools -> Data manager) і вибираємо серед продуктів Google BigQuery.

2. Вказуємо Direct connection (Пряме з’єднання).

3. Далі маємо вибір між надсиланням конверсій чи аудиторій. Давайте розберемо кожен варіант окремо.

Налаштування передачі конверсій з BigQuery до Google Ads

Наразі більшість рекламних кампаній працюють на основі алгоритмів машинного навчання, які в свою чергу навчаються на конверсіях, які ви передаєте до рекламного аккаунту. Тому чим точніші дані про конверсії ми передамо, тим влучнішу аудиторію вони будуть приводити. Цей спосіб дозволяє передати дані прямо з CRM-системи, тобто, фактичні конверсії, які відбулися.

Це дозволяє обійти такі ситуації, коли відвідувач оформив замовлення на сайті, але через певні причини не забрав його. Якщо буде передаватися інформація тільки з сайту, то конверсія зарахується, хоча насправді її не було.

Щоб імпортувати конверсії з BigQuery до Google Ads потрібно зробити наступні кроки:

1. Обираємо конверсії в пункті Use case і підтверджуємо Google, що дані наших відвідувачів зібрані зі згоди користувачів в пункті Customer Data.

2. Обираємо проєкт, датасет та таблицю з якої будемо імпортувати дані.

Дуже важливо, якщо ви обираєте таблицю вперше, треба надати до нього доступ системному аккаунту Google Ads. Для цього потрібно мати права на рівні Owner (власника).

3. Далі співставляємо дані з BigQuery відповідно до полів Google Ads:

• сonversion_event_time - коли відбулось замовлення.
• gclid - значення автопомітки Google (get-параметр gclid), яке показує з якого оголошення відбулося це замовлення. Звісно його потрібно попередньо зібрати під час оформлення замовлення і передати до CRM. Якщо у вас в GTM налаштований Conversion Linker, то найпростіший спосіб взяти значення з куки _gcl_aw.
• conversion_value - сума замовлення.
• currency_code - валюта, в якій вказана сума замовлення.
• order_id - ідентифікатор замовлення.

Після цього натискаємо кнопку Next (Далі).

4. На наступному етапі ми можемо задати основні налаштування нашого імпорту, а саме:

• Connection name (Назва підключення) рекомендую вказати зрозумілу назву підключення (Під зрозумілою, маю на увазі, що буде зрозуміла не тільки вам ;) ).
• Update schedule (Графік оновлення) можемо задати час оновлення.
• Selected data (Обрані дані) - тут за необхідності можете змінити звідки будуть братись дані для імпорту. Цей пункт ми налаштовували раніше.
• Mapped fields (Співставлені поля) - можливість відредагувати мепінг полів, який ми зробили на попередньому кроці.

Якщо все вас влаштовує - натискаємо Finish (Завершити).

5. На останньому етапі не забудьте створити конверсію на основі цих даних, натиснувши Add conversion action в блоці Connected products.

Налаштування передачі аудиторій з BigQuery до Google Ads

Якщо цінність передачі конверсій з CRM до Google Ads всім зрозуміла, то щодо передачі аудиторій, я часто чую фрази типу: “Для чого це нам?”, “Ми можемо аудиторії і на основі даних з GA4 створити” і т.д. Коротка відповідь така - цей функціонал дозволяє вам створювати аудиторії на основі реальних дій користувачів, включаючи навіть дії, які не відбулись на сайті. Наприклад, ви можете створити аудиторію тих хто купував товар після дзвінка або навіть в офлайн магазині. Або використати RFM-сегментацію вашої клієнтської бази і для кожного сегменту продумати окремі маркетингові активності.

Щоб налаштувати імпорт даних для створення аудиторій необхідно виконати наступні кроки:

1. Обираємо Аудиторії та підтверджуємо, що користувачі дали нам згоду на використання їх даних.

2. Select a data type (Виберіть тип даних) є можливість вибрати один з трьох варіантів:

• Emails, phone numbers and/or mail addresses - тобто особисті дані користувачів (мейли, телефонні номери) - варіант, який використовується найчастіше. Персональні дані користувачів зазвичай беруться з CRM.
• User IDs - якщо у вас налаштована передача User ID до GA4 і багато користувачів заходять під своїми аккаунтами на сайті, цей варіант може бути гарною альтернативою першому пункту.
• Device IDs - якщо персональні дані користувачів по якійсь причині використати не можете або не хочете, залишається використовувати Device ID.

3. Select data to import - Як і у випадку з імпортом конверсій обираємо потрібний проєкт, датасет та таблицю, і якщо ви додаєте її вперше, то обов’язково треба буде надати доступ. Ви можете це зробити тільки при наявності відповідних прав доступу на проєкті.

4. Map fields - Теж пункт аналогічний імпорту конверсій: робимо мепінг даних з BigQuery та співставляємо з даними, які хоче отримати Google Ads. Зверніть увагу, що ви, за бажанням, можете обрати тільки одне поле. Наприклад у мене на скріні використовується тільки email. Звісно, чим більше даних ви передасте, тим більша вірогідність, що Google зможе ідентифікувати користувача.

5. У фінальному блоці Review (Огляд) можемо перевірити налаштування та змінити їх за потреби. Детальніше я розбирав кожен з цих пунктів вище в розділі Налаштування передачі конверсій з BigQuery до Google Ads тому нижче досить короткий опис. Зверніть особливу увагу на останній пункт List member update method - цей пункт є унікальним саме для функціоналу імпорту аудиторій:

• У полі Connection name (Назва підключення) можна, відповідно, змінити назву підключення даних.
• У блоці Update schedule (Графік оновлення) можемо задати час оновлення інформації.
• Selected data (Обрані дані) показує ті дані, що ми обрали раніше.
• Mapped fields (Позначені поля) теж подає інформацію, яку ми співставили на минулому кроці.

• List member update method (Спосіб оновлення учасників списку) - саме це налаштування відповідає за спосіб додавання нових учасників до аудиторії. Це можна налаштувати двома способами:
  • Add more customers (Додати нових клієнтів) - означає, що при оновленні нові учасники аудиторії будуть додаватися до існуючих. Приклад використання, ми хочемо мати аудиторію людей, які купили якийсь товар. Вчора у списку було 100 людей, які купили холодильник, а сьогодні його придбали ще 10 клієнтів, якщо використати цей спосіб в аудиторії після імпорту буде 110 учасників.
  • Replace existing list members with a new customer list (Замінити існуючий список учасників новим списком) повністю видаляє минулих клієнтів та записує нових. Цей варіант краще вибирати, якщо потрібно зробити сегментацію користувачів по певному набору характеристик і користувачі щодня можуть змінювати свій сегмент. Цей варіант імпорту буде актуальний наприклад при створенні аудиторій на основі RFM аналізу.

6. Ми завершили налаштування імпорту даних, але не забудьте створити аудиторію, оскільки поки ми просто підвантажили дані до Google Ads.

Налаштування експорту даних з Facebook Ads до BigQuery

Google Ads не єдина рекламна система, яка має нативний експорт даних до Google BigQuery. Звісно між сервісами Google інтеграція працює досить добре, а як щодо інших? Давайте розглянемо як це працює на прикладі Facebook Ads.

1. Як і в минулих випадках, переходимо до налаштувань трансферу в BigQuery, а саме до блоку Data transfers (Передача даних) -> Create transfer (Створити трансфер) -> Type Source (Тип джерела даних) -> Facebook Ads.

2. Почнемо заповнювати основну інформацію з блоку Data source details (Деталі джерела даних).

Для того, щоб отримати Client ID, Client Secret та Refresh Token вам потрібний Facebook Developer App. Якщо у вас його немає, то треба створити новий (так так, це буде ваш перший додаток для Facebook, але не хвилюйтесь, код писати не потрібно) із типом програми Business. Інструкцію по створенню я детально розпишу нижче.

Якщо у вас вже є додаток, то можете одразу перейти до пункту Де знайти Client ID, Client Secret та Refresh Token в Facebook Developer App

Як створити Facebook Developer App

Перш за все, вам треба бути зареєстрованим в Meta developers і мати власний акаунт. Якщо у вас його немає, то виконайте дії за інструкцією нижче. Якщо у вас є акаунт, то можете одразу перейти до 5 пункту з інструкції нижче.

Як зареєструвати Meta Developer акаунт

1. Перейдіть за цим посиланням та натисніть Beginning work (Початок роботи).

2. На цьому етапі ми підтверджуємо, що погоджуємось з умовами, натиснувши Continue (Продовжити).

3. Тепер підтверджуємо пошту. Якщо ви захочете змінити мейл, то треба буде підтвердити його через код, який прийде на введену пошту.

4. Обираємо сферу діяльності, тому оберіть яка з них найкраще описує те, чим ви займаєтесь.

5. Реєстрація завершена і тепер можемо перейти до створення додатку. Для цього натисніть Create an application (Створити додаток).

6. Ви можете одразу під’єднати свій акаунт, але це можна зробити й пізніше.

7. На етапі вибору Use cases (Випадки використання) ми обираємо Others (Інші).

8. Тепер вказуємо тип додатку.

Зверніть увагу, під час написання цієї статті Facebook проводив якісь тести, тому ви можете зустріти два варіанти. Може бути підписаний тип як Company або Business.

9. І останній крок - даємо назву нашому додатку та натискаємо Creating an application (Створення додатку).

Де знайти Client ID, Client Secret та Refresh Token в Facebook Developer App

Для того, щоб отримати Client ID та Client Secret потрібно:

• Перейти на App settings (Налаштування додатку) -> Main (Головні) і там знайдете поля Application ID та Secret of the application. Це саме те, що нам потрібно.

Для того, щоб знайти Refresh Token необхідно:

• Скопіювати посилання під полем для заповнення Refresh Token.

• Перейти до Facebook App dashboard, потім Facebook login for Business Set up -> Facebook login for Business.

• На сторінці Settings введіть скопійовану адресу і натисніть Save.

• Повертаємось до поля Refresh Token в консолі та натискаємо Authorize. Нас перенаправить на сторінку автентифікації Facebook.

• Далі надаємо додатку доступ до бізнес акаунту.

• Зберігаємо налаштування.

• І завершуємо авторизацію.

3. Тепер повернемось до налаштування трансферу, де всі поля вже мають бути заповнені:

4. Нижче ми бачимо ще одне налаштування, поле якого неактивне:

Refresh window (Оновлення вікна) - поки це налаштування не можна змінювати, і автоматично стоїть 1 день, але Google вже для деяких аккаунтів викатив оновлення з можливістю змінювати це налаштування, тому можливо коли ви читатимете цю статю ви вже зможете його змінити. Рекомендую за можливості задати 30 днів.

5. Тепер створюємо новий датасет.

6. Даємо назву нашому трансферу і переходимо до Schedule options (Варіанти графіку).

• Налаштовуємо частоту передачі даних - Daily.
• Вказуємо конкретний час по UTC - наприклад 3.00 ночі, і знизу бачимо адаптацію під наш часовий пояс.
• І починаємо трансфер прямо зараз.

7. Ви також можете доєднати Service account. Це службовий обліковий запис Google, що пов’язаний із вашим проєктом на Google Cloud. Детальніше про цю функцію та можливості можете почитати в довідці за цим посиланням.

8. І основні налаштування завершені, тому можемо зберігати наш трансфер.

Інтеграція Google BigQuery з Google Merchant Center

Так так, Google Merchant Center теж має нативний конектор з BigQuery, а значить дані ви можете отримати досить швидко. Інструкція схожа на попередні.

Як і в минулих випадках переходимо до налаштувань трансферу в BigQuery, обираємо Data transfers -> Create transfer-> Source type -> Google Merchant Center

1. Починаємо основні налаштування з блоків Transfer config name (Назва конфігурації трансферу) та Schedule options (Варіанти графіку):

• Display name (Відображувана назва) - даємо назву нашому трансферу. Щось на зразок Google Merchant Center {{Your Merchant Center account ID}}
• Repeat frequency (Частота повторення) - як часто будуть оновлюватись дані. Я зазвичай вибираю щодня - Days.
• Вказуємо конкретний час по UTC - наприклад 3.00 ночі, і знизу бачимо адаптацію під наш часовий пояс.
• І натискаємо Start now (Почати зараз).

2. У блоці Destination settings (Налаштування пункту призначення) назначаємо куди будемо зберігати дані. Для цього створюємо новий датасет. Не забудьте правильно вибрати локацію (на всяк випадок писав про це вище).

3. Обираємо звіти, які хочемо передавати. Детальніше про кожен звіт можете почитати в довідці за цим посиланням.

4. Також за потреби ви можете додати Service account (Службовий обліковий запис Google). Детальніше про цю функцію можете почитати в довідці.

5. Основні налаштування завершені, тому зберігаємо трансфер.

Інтеграція Google BigQuery з Google Search Console

Якщо ви SEO спеціаліст, то це саме те, що потрібно зробити при старті роботи з проектом. Вам же хочеться накопичувати історичні дані з Google Search Console, а не втрачати їх?

Аби імпортувати дані до BigQuery треба виконати наступні дії:

1. Заходимо в Google Search Console та переходимо в Settings (Налаштування) -> Bulk data export (Масовий експорт даних)

2. Вказуємо Cloud project ID (Ідентифікатор Cloud проєкту), Dataset name (Назва набору даних), тобто куди ми хочемо експортувати дані, та Dataset location (Локація обраного датасету). Тут теж на всяк випадок нагадаю, що вибір локації дуже важливий.

3. Натискаємо Continue (Продовжити) та підтверджуємо експорт.

Інтеграція Google BigQuery з Google Sheets

Як і у випадку з Google Ads є два варіанти інтеграції: ми можемо експортувати дані з Google Sheets до BigQuery та імпортувати їх з BigQuery до Google Sheets. Розберемо ці 2 способи по черзі, і почнемо з експорту.

Експорт даних з Google Sheets до Google BigQuery

Може знадобитись з різних причин, наприклад, ви заповнюєте дані по витратам на SEO в Google таблицю, але хочете ці дані використати в своєму SQL-запиті. Налаштовується все дуже швидко:

1. Для цього заходимо в BigQuery і натискаємо Create table (Створити таблицю).

2. В пункті Create table from (Створити таблицю з) обираємо варіант Drive. Після цього з’явиться додатковий пункт налаштувань File format (Формат файлу), де потрібно вибрати значення Google Sheets.

3. Тепер потрібно вказати Select Drive URI. Для цього перейдіть до Google Drive та натисніть правою кнопкою на потрібному файлі. Далі виберіть Share (Поділитися) > Copy Link (Скопіювати посилання).

4. При експорті не завжди добре визначається тип даних і інколи бувають помилки з визначенням заголовків, тому рекомендую вказати Sheet Range. Зазвичай я вказую без першого рядка і прописую схему самостійно. Звісно, ви можете перевірити свою вдачу і скористатись варіантом Auto detect schema.

5. На Destination (Пункт призначення) особливо не зупиняюсь, так як вже писав багато вище.

Не забудьте натиснути кнопку Create table (Створити таблицю).

Якщо ви плануєте працювати з цією таблицею в BigQuery Studio, то це ніяк не вплине на вашу роботу. Але якщо ви хочете використати ці дані в зовнішній системі, то з такою таблицею можуть виникнути певні проблеми. Наприклад, можуть бути нюанси при оновленні даних з Power Bi чи передачі даних до Google Ads. Тому, інколи доведеться йти трішки складнішим шляхом, наприклад таким, який описує Kopal Garg у своїй статті.

Імпорт даних в Google Sheets з BigQuery

Якщо працювати з даними в BigQuery Studio використовуючи SQL чи Python не ваш варіант - це не значить, що вам потрібно відмовлятись від переваг BigQuery, це значить, що вам потрібно записатись на курс BigQuery for Marketing. Нативочка)))

А якщо серйозно, про курс насправді теж було серйозно, є ще одна альтернатива. Можна працювати в звичних для всіх Google Sheets. Отримати там дані з Google BigQuery досить просто.

1. Заходимо в Google Sheets та обираємо Data (Дані) -> Data connections (Зв’язок даних) -> Connect to BigQuery (Зв’язати з BigQuery)

2. Обираємо проєкт, дані з якого хочемо передати.

3. Вибираємо потрібну таблицю, дані з якої будемо імпортувати.

4. Тут ви можете:

• просто обрати дані з таблиці.
• якщо добре орієнтуєтесь в SQL - написати кастомний код.

5. Натискаємо Get started (Почати).

6. Тепер ваші дані підвантажились, і навіть можна налаштувати графік оновлення, перейшовши до Refresh options (Функції оновлення) -> Schedule refresh (Графік оновлення).

Далі думаю ви вже знаєте що з ними робити.

Як налаштувати передачу даних з інших систем до Google BigQuery

Що робити, якщо ви не знайшли в цій статті інструкції, щодо передачі даних з потрібної вам системи до Google BigQuery? Варіантів подальших дій у вас 4:

• Перш за все рекомендую переглянути список доступних систем в Трансфері, там є багато популярних конекторів, які я не розібрав, наприклад: Cloud Storage, Amazon S3, Google Play, YouTube.
• Якщо перший варіант не допоміг - спробуйте почитати довідку потрібної вам системи або запитайте напряму у підтримки. Багато сервісів пропонують нативну інтеграцію зі своєї сторони. Така інтеграція є наприклад у eSputnik.
• Якщо нативної інтеграції немає, залишається тільки варіант написати свою. Ось один з прикладів такої реалізації - Writing your data connector from Facebook ads to Google BigQuery.
• Ну і ще один можливий варіант - скористатись сервісами, які пропонують готові конекти, одне з кращих рішень, та ще й open source пропонує Airbyte.

Інтеграція Google BigQuery з системами візуалізації даних та бізнес аналітики: Data Studio (Looker Studio) та Power BI

BigQuery містить дані у вигляді таблиць, дивлячись на які важко зробити якісь висновки. Для прийняття рішень хочеться побачити візуалізовані дані, наприклад у вигляді графіку чи діаграми. А то і взагалі у вигляді комплексного репорту. Тому дуже часто маркетологи, ppc- та seo-спеціалісти вивантажують дані в такі системи, як Data Studio (Looker Studio) чи Power BI. Давайте розберемось як це зробити.

Імпорт даних з Google BigQuery до Data Studio (Looker Studio)

1. Заходимо в Data Studio та створюємо новий репорт.

2. Тут нам одразу пропонує обрати дані, і ми вказуємо BigQuery.

3. Тепер нам треба авторизуватися.

4. Додаємо дані, які хочемо підгрузити.

5. Натискаємо Add to report (Додати до звіту), чим підтверджуємо, що додаємо нашу інформацію.

6. Дані з’явилися, і тепер ми можемо ними користуватися.

Імпорт даних з Google BigQuery до Power BI

Якщо вам недостатньо звичайної системи візуалізації даних, і ви хочете будувати складніші звіти, то вам, скоріше за все, знадобиться сервіс бізнес-аналітики, типу Tableau або Power BI. Давайте на прикладі Power BI розберемо як до нього підключати наші дані.

1. Заходимо в Power BI та створюємо новий репорт.

2. Обираємо Get Data (Отримати дані) -> More (Більше)

3. Шукаємо BigQuery та натискаємо Connect (Під'єднати).

4. Тут є Advanced settings (Розширені налаштування), але для базового імпорту вони не потрібні, тому натискаємо OK.

5. Обираємо дані, які хочемо передати і натискаємо Load (Завантажити).

Замість висновку

Звісно, що рішення почати використовувати BigQuery , чи ні - це ваш вибір. BigQuery може здатися складним на перший погляд, але його можливості варті ваших зусиль.

Наостанок хочу підкреслити ще два важливих моменти:

1. Ви, напевно, помітили, що BigQuery має безліч інтеграцій і чим більше ви їх використовуєте, тим більше користі маєте. Налаштувати експорт даних з GA4 до BigQuery - це звісно теж використання цього інструменту, але цінності від цього бізнес отримає не так щоб дуже багато. Проте якщо почати використовувати дані в BigQuery для побудови наскрізної аналітики, імпорту конверсій та аудиторій до рекламних систем, сегментації клієнтів, та інших задач. то бізнес отримає значно більше.
2. BigQuery вже є інструментом інтернет-маркетингу, використання якого надає конкурентні переваги бізнесу і дуже скоро стане must have для маркетологів (і навіть для PPC-спеціалістів). Ви тепер знаєте наскільки BigQuery потужний інструмент і скільки користі він може принести у вашу роботу трішки раніше за інших. Не упустіть можливість використати ці знання ;)

Якщо все-таки вирішите стати на шлях опанування цього інструменту, то вам може допомогти курс BigQuery for Marketing від PROANALYTICS.ACADEMY. У ньому на вас очікує повний гайд по роботі з BigQuery: побудова звітів, воронок, когорт та багато іншого. Робота з даними Google Ads та GA4 і поєднання даних з різних систем теж буде.

Якщо сподобався матеріал, не забудьте поділитись ним із колегами, а якщо виникли питання, то пишіть ваші думки в коментарі.