A/B Testi deneme verilerini Firebase konsolunda görüntülemenin yanı sıra BigQuery'de deneme verilerini inceleyebilir ve analiz edebilirsiniz. A/B Testi'nin ayrı bir BigQuery tablosu bulunmamakla birlikte deneme ve varyant üyelikleri, Analytics etkinlik tablolarındaki her Google Analytics etkinliğinde depolanır.
Deneme bilgilerini içeren kullanıcı özellikleri userProperty.key like "firebase_exp_%"
veya userProperty.key = "firebase_exp_01"
burada 01
, deneme kimliğidir ve userProperty.value.string_value
, deneme kimliğinin (sıfır tabanlı) dizinini içerir. deneme varyantı.
Deneme verilerini ayıklamak için bu deneme kullanıcı özelliklerini kullanabilirsiniz. Bu size deneme sonuçlarınızı birçok farklı şekilde dilimleme ve A/B Testinin sonuçlarını bağımsız olarak doğrulama gücü verir.
Başlamak için aşağıdakileri bu kılavuzda açıklandığı şekilde tamamlayın:
- Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
- BigQuery'yi kullanarak A/B Testi verilerine erişme
- Örnek sorguları keşfedin
Firebase konsolunda Google Analytics için BigQuery dışa aktarımını etkinleştirin
Spark planını kullanıyorsanız Sandbox sınırlarına tabi olarak BigQuery'ye ücretsiz olarak erişmek için BigQuery korumalı alanını kullanabilirsiniz. Daha fazla bilgi için Fiyatlandırma ve BigQuery korumalı alanına bakın.
Öncelikle Analytics verilerinizi BigQuery'ye aktardığınızdan emin olun:
- Firebase konsolundaki > Proje ayarları'nı kullanarak erişebileceğiniz Entegrasyonlar sekmesini açın.
- BigQuery'yi zaten diğer Firebase hizmetleriyle kullanıyorsanız Yönet'i tıklayın. Aksi halde Bağlantı'yı tıklayın.
- Firebase'i BigQuery'ye Bağlama Hakkında'yı inceleyin ve ardından İleri'yi tıklayın.
- Entegrasyonu yapılandır bölümünde Google Analytics geçişini etkinleştirin.
Bir bölge seçin ve dışa aktarma ayarlarını seçin.
BigQuery'ye Bağla'yı tıklayın.
Verileri nasıl dışa aktarmayı seçtiğinize bağlı olarak tabloların kullanılabilir hale gelmesi bir gün kadar sürebilir. Proje verilerini BigQuery'ye aktarma hakkında daha fazla bilgi için Proje verilerini BigQuery'ye aktarma konusuna bakın.
BigQuery'de A/B Testi verilerine erişme
Belirli bir denemeye ilişkin verileri sorgulamadan önce, sorgunuzda kullanmak üzere aşağıdakilerden bazılarını veya tamamını elde etmek isteyeceksiniz:
- Deney Kimliği: Bunu Deneye genel bakış sayfasının URL'sinden alabilirsiniz. Örneğin, URL'niz
https://console.firebase.google.com/project/my_firebase_project/config/experiment/results/25
gibi görünüyorsa deneme kimliği 25'tir . - Google Analytics mülk kimliği : Bu, 9 haneli Google Analytics mülk kimliğinizdir. Bunu Google Analytics'te bulabilirsiniz; proje adınızı Google Analytics etkinlik tablonuzun adını (
project_name.analytics_000000000.events
) gösterecek şekilde genişlettiğinizde BigQuery'de de görünür. - Deneme tarihi: Daha hızlı ve daha verimli bir sorgu oluşturmak için sorgularınızı, deneme verilerinizi içeren Google Analytics günlük etkinlik tablosu bölümleriyle (
YYYYMMDD
son ekiyle tanımlanan tablolar) sınırlamak iyi bir uygulamadır. Dolayısıyla, denemeniz 2 Şubat 2024'ten 2 Mayıs 2024'e kadar yürütüldüyse_TABLE_SUFFIX between '20240202' AND '20240502'
belirtmeniz gerekir. Örnek için bkz. Belirli bir denemenin değerlerini seçme . - Etkinlik adları: Genellikle bunlar, denemede yapılandırdığınız hedef metriklerinize karşılık gelir. Örneğin,
in_app_purchase
etkinlikleri,ad_impression
veyauser_retention
etkinlikleri.
Sorgunuzu oluşturmak için ihtiyaç duyduğunuz bilgileri topladıktan sonra:
- BigQuery'yi Google Cloud konsolunda açın.
- Projenizi seçin ve ardından SQL sorgusu oluştur öğesini seçin.
- Sorgunuzu ekleyin. Çalıştırılacak örnek sorgular için bkz. Örnek sorguları keşfetme .
- Çalıştıra tıkla .
Firebase konsolunun otomatik olarak oluşturulan sorgusunu kullanarak deneme verilerini sorgulama
Blaze planını kullanıyorsanız Denemeye genel bakış sayfası, görüntülemekte olduğunuz denemeye ilişkin deneme adını, varyantları, etkinlik adlarını ve etkinlik sayısını döndüren örnek bir sorgu sağlar.
Otomatik olarak oluşturulan sorguyu edinmek ve çalıştırmak için:
- Firebase konsolundan A/B Testini açın ve Denemeye genel bakışı açmak için sorgulamak istediğiniz A/B Testi denemesini seçin.
- Seçenekler menüsünden BigQuery entegrasyonu altında Deneme verilerini sorgula'yı seçin. Bu, projenizi Google Cloud konsol konsolundaki BigQuery'de açar ve deneme verilerinizi sorgulamak için kullanabileceğiniz temel bir sorgu sağlar.
Aşağıdaki örnek, "Kışı karşılama deneyi" adlı üç değişkeni (taban çizgisi dahil) içeren bir deneme için oluşturulmuş bir sorguyu gösterir. Her bir etkinlik için etkin deneme adını, varyant adını, benzersiz etkinliği ve etkinlik sayısını döndürür. Sorgu oluşturucunun doğrudan projenizin içinde açıldığı için tablo adında proje adınızı belirtmediğini unutmayın.
/*
This query is auto-generated by Firebase A/B Testing for your
experiment "Winter welcome experiment".
It demonstrates how you can get event counts for all Analytics
events logged by each variant of this experiment's population.
*/
SELECT
'Winter welcome experiment' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'Welcome message (1)'
WHEN '2' THEN 'Welcome message (2)'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_000000000.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN '20240202' AND '20240502')
AND userProperty.key = 'firebase_exp_25'
GROUP BY
experimentVariant, eventName
Ek sorgu örnekleri için Örnek sorguları keşfetme bölümüne geçin.
Örnek sorguları keşfedin
Aşağıdaki bölümlerde, Google Analytics etkinlik tablolarından A/B Testi deneme verilerini çıkarmak için kullanabileceğiniz sorgu örnekleri verilmektedir.
Tüm deneylerden satın alma ve deney standart sapma değerlerini çıkarın
Firebase A/B Testi sonuçlarını bağımsız olarak doğrulamak için deneme sonuçları verilerini kullanabilirsiniz. Aşağıdaki BigQuery SQL ifadesi, deneme değişkenlerini, her bir değişkendeki benzersiz kullanıcı sayısını çıkarır ve in_app_purchase
ve ecommerce_purchase
etkinliklerinden elde edilen toplam geliri ve _TABLE_SUFFIX
başlangıç ve bitiş tarihleri olarak belirtilen zaman aralığındaki tüm denemeler için standart sapmaları toplar. Firebase'in sağladığı sonuçların kendi analizinizle eşleştiğini doğrulamak amacıyla, bu sorgudan elde ettiğiniz verileri tek kuyruklu t testleri için istatistiksel anlamlılık oluşturucuyla kullanabilirsiniz.
A/B Testinin çıkarımı nasıl hesapladığı hakkında daha fazla bilgi için bkz. Test sonuçlarını yorumlama .
/*
This query returns all experiment variants, number of unique users,
the average USD spent per user, and the standard deviation for all
experiments within the date range specified for _TABLE_SUFFIX.
*/
SELECT
experimentNumber,
experimentVariant,
COUNT(*) AS unique_users,
AVG(usd_value) AS usd_value_per_user,
STDDEV(usd_value) AS std_dev
FROM
(
SELECT
userProperty.key AS experimentNumber,
userProperty.value.string_value AS experimentVariant,
user_pseudo_id,
SUM(
CASE
WHEN event_name IN ('in_app_purchase', 'ecommerce_purchase')
THEN event_value_in_usd
ELSE 0
END) AS usd_value
FROM `PROJECT_NAME.analytics_ANALYTICS_ID.events_*`
CROSS JOIN UNNEST(user_properties) AS userProperty
WHERE
userProperty.key LIKE 'firebase_exp_%'
AND event_name IN ('in_app_purchase', 'ecommerce_purchase')
AND (_TABLE_SUFFIX BETWEEN 'YYYYMMDD' AND 'YYYMMDD')
GROUP BY 1, 2, 3
)
GROUP BY 1, 2
ORDER BY 1, 2;
Belirli bir denemenin değerlerini seçin
Aşağıdaki örnek sorgu, BigQuery'de belirli bir denemeye ilişkin verilerin nasıl elde edileceğini göstermektedir. Bu örnek sorgu, deneme adını, varyant adlarını (Temel Çizgi dahil), etkinlik adlarını ve etkinlik sayılarını döndürür.
SELECT
'EXPERIMENT_NAME' AS experimentName,
CASE userProperty.value.string_value
WHEN '0' THEN 'Baseline'
WHEN '1' THEN 'VARIANT_1_NAME'
WHEN '2' THEN 'VARIANT_2_NAME'
END AS experimentVariant,
event_name AS eventName,
COUNT(*) AS count
FROM
`analytics_ANALYTICS_PROPERTY.events_*`,
UNNEST(user_properties) AS userProperty
WHERE
(_TABLE_SUFFIX BETWEEN 'YYYMMDD' AND 'YYYMMDD')
AND userProperty.key = 'firebase_exp_EXPERIMENT_NUMBER'
GROUP BY
experimentVariant, eventName