【Google Play ASO】Google Play A/B 测试最佳实践和常见陷阱

转化率优化和关键词优化是 Google Play ASO 策略中最重要的两个部分。 A/B 测试是提高应用商店转化率的绝佳方法。目前，谷歌和苹果应用商店都为开发者和相关方提供类似的免费工具来进行A/B测试。本文将主要讲解如何使用Google Play Store Listing Experiments来精心设计和规划A/B测试以确保访问者在您的应用商店列表页面上获得最佳结果，这是最引人注目的体验继续下载您的应用程序并提高您的转化率。为了在 Google Play 上运行 A/B 测试，本文总结了运行 A/B 测试的 12 种最佳实践以及要避免的误解。现在就开始学习吧！ 注：本文内容较长，部分内容需要练习才能完全理解。建议收藏这篇文章，一一实践。

1。什么是 Google Play 商品详情实验？

Google Play Store Listing Experiments 是 Google 为应用开发者提供的免费工具。开发者可以使用该工具在Google Play应用商店详情页测试其应用的内容，找到用户最喜欢的图片和文字组合，以提高应用下载转化率。

实验类型

对于每个应用程序，您可以一次运行一个标准图像实验，或最多五个针对特定本地化语言的实验。

1。默认图像实验

默认图像实验允许您尝试应用程序默认语言版本的商品详情图像。实验可能包括应用程序图标、功能图形、屏幕截图和宣传视频的变化。

如果您的应用商店列表仅提供一种语言：默认图像实验将向所有用户显示。

如果您添加某种语言的本地化图像资源：以该语言查看您的应用的用户将被排除在应用的默认图像实验之外。例如，如果某个应用程序的默认语言是英语，并且商品详情包含法语本地化的特色图形，则通过法语版本查看该应用程序的用户将被排除在实验之外（即使图标经过测试例外）

创建实验步骤： 1. 登录播放管理中心。 2. 选择一个应用程序。 3. 在左侧菜单中，单击“商店发布”>“产品列表实验”。 4. 单击“新建实验”。 5. 在标准图形下，单击创建。6. 设置实验。商品详情实验的效果可以使用首次安装或一日保留指标来衡量。这些指标每小时报告一次，并且可以选择在实验完成时接收电子邮件警报。

2。本地化实验（文本和图像）

通过本地化实验，您可以尝试最多五种类型的应用程序图标、特色图形、屏幕截图、宣传视频和/或应用程序描述语言版本。只有以您选择的语言查看应用商品详情的用户才能看到实验变体。如果您的应用的商品详情仅以一种语言提供，则本地化实验将仅对以默认语言查看您的应用的用户可见。创建实验步骤： 1. 登录播放管理中心。 2. 选择一个应用程序。 3. 在左侧菜单中，单击“商店发布”>“产品列表实验”。 4. 单击“新建实验”。 5. 在“本地化”下选择语言。 6. 单击“创建”。 7. 设置实验。

3。自定义产品详细信息页面A/B测试

除了上述两种情况外，Google还允许您在自定义产品详细信息页面上运行A/B测试。通过自定义商品详情，您可以定制应用的商品详情，以吸引您选择的国家/地区的特定用户群体。您可以针对自定义产品详细信息页面同时运行最多 50 个实验。但值得注意的是，您可以在自定义商品详情上运行实验，同时在全局主商品详情上运行主动实验。从下图中我们可以看到，在自定义商品详情页面上，我们可以根据用户所在的国家/地区或者用户的来源渠道，为特定用户设置商店页面。

2.12 Google Play A/B 测试的最佳实践和安排

1。提出假设，确定测试目的

营销人员的很多测试动机和测试目的都非常简单粗暴。他们经常出于提高转化率的目的进行 a/b 测试，但此目的通常不是“有效”的实验目的。一般来说，A/B 测试应该从假设开始。例如，“如果我们将应用程序的图标从红色更改为绿色，我们将提高转化率 5%，因为中东用户更喜欢绿色。”在这个例子中，这个假设帮助我们将测试范围限制在应用程序图标上，而不是彻底检查整个应用程序详细信息页面。检验这个假设的目的是看看改变图标颜色是否可以有效提高转化率。但实际上，除了“提高转化率”的最终目标之外，许多 ASO 优化器根本不考虑他们为什么要进行测试。测试的目的是为了验证想法，找到一种分步提高转化的方法，而不是直接一步一步提高转化率。

2。确定您的目标受众并正确选择

App Store 实验需要流量才能获得统计上显着的结果。但它不仅仅是数字 – 他们是与您的应用程序互动的真实用户，测试结果是用户与您的应用程序“交谈”的结果。因此，选择让合适的人来检查您的测试变得至关重要。然而，实际上，我们经常让错误的人看到我们的测试版。例如，许多应用程序或游戏开发者将“EN-US”设置为他们的主要语言（默认语言），然后他们在为该语言创建本地化实验时错误地认为他们的目标受众是美国人。当您仅在美国发布应用程序或使用自定义美国商店详细信息页面时，这适用。但当你在全球范围内营销你的应用程序时，情况会变得更加复杂 – 你的目标受众不仅可以是美国人，还可以是英国人、印度人、菲律宾人和许多其他国家的人。再举一个例子，如果您设置了“法语（法国）-fr-FR”的本地化实验，那么您的用户可能不仅来自法国，还来自许多其他广泛使用法语的国家。如果您想定位特定国家/地区和语言的受众群体，您可以创建自定义商品详情并对该商品详情运行 A/B 测试。使用同一种语言，有时您的应用程序可以覆盖来自不同国家和具有不同文化背景的不同受众。您应该在开始测试之前确定您的目标受众。确保测试与您的目标受众很好地匹配。

3。尽量不要在全球范围内进行测试

如果您在多个国家/地区发布应用程序或游戏，则应该本地化您的应用程序商店列表并执行本地化实验。由于语言和文化背景的差异，不同国家/地区的用户对相同的文本/图像/视频会有不同的反应——通常很难找到适合全世界人民的元素。

4。测试优先级：视觉优于文本

应用商店详情页面上的不同元素对转化率有不同的影响。由于时间和资源有限，我们必须优先测试最有价值的元素。根据我的个人经验和行业专家的意见，大家普遍认为视觉元素（图标、专题图、屏幕截图和宣传视频）比文字（长和短描述）对转化率的影响更大。因此，您通常应该优先考虑测试视觉元素。

5。一次只测试一个元素

A/B测试看似简单，但实际操作中却有很多难以防范的“坑”。如果操作不当，您将很难确定哪些因素会影响应用的转化率。例如，如果您想测试哪个功能最吸引用户，您可以将不同功能的屏幕顺序更改为第一个屏幕。但是，您不应同时更改屏幕的顺序和屏幕的设计元素。否则，你将无法判断是应用程序的功能还是屏幕设计吸引了用户。

6。确保足够的样本量

流量较少意味着很难快速获取具有统计意义的数据。如果您的应用流量不够高，建议仅添加一种变体，并将百分比设置为 50%。在本例中，不是将 90% 的流量分配给原始版本，仅将 10% 的流量分配给测试变体。有人声称 1000 或 2000 个用户就足以进行测试。但以我个人的经验来看，当每个变体的安装量达到至少1万并且测试持续一周以上时，测试结果逐渐开始稳定。因此，为了让你的测试更有效、测试结果更准确，你应该确保你的测试有足够的受众。如果应用程序的每日下载量太低，您可以通过延长测试天数来获得足够的统计数据。为了让开发者有更多的控制权和更详细的统计数据，谷歌去年在 Play 控制台的产品列表实验中添加了三项新功能：

实验参数配置；

估计必要的测试和完成时间的计算器；

现在可以持续监控实验的置信区间。

这对于 ASO 优化器来说是一个令人兴奋的消息，并且受到了好评。 ASO 从业者不再需要第三方工具来计算测试所需的样本量。

7。尽可能选择更高的置信度

以前，Google Play 测试的默认置信度为 90% – 这在 ASO 从业者中是臭名昭著的。因为90%的置信度代表着10%的误差，这个误差太大了。一般来说，A/B 测试的置信度应高于 95%。幸运的是，Google 现在允许您在 90% 到 99% 的置信度之间进行选择。显然，较高的置信水平可以减少误报的机会。然而，虽然置信水平越高越好，但如果您选择 99%，您的测试将比平时花费更长的时间。但无论怎样，我希望你至少选择95%以上的置信度。

在下面的例子中，我们还可以知道，如果选择99%置信度，则所需的样本量比90%置信度大2倍以上。这只是我个人的意见，在情况允许的情况下我应该尝试选择更高级别的信任。毕竟，如果置信度较低导致测试结果不可靠，那么这些测试对我们的业务没有帮助。

8。最小可检测效应 (MDE)

最小可检测效应 (MDE) 是另一个新功能，有助于减少 A/B 测试中的误报。Google 将 MDE 定义为“变体与对照组之间的差异至少达到此数值，以确定哪组表现更好。如果实际差异低于此值，您的实验将被视为平局。”例如，如果您将 MDE 设置为 5%，并且您的本机应用的转化率为 45%，则您的变体的转化率必须至少为 47.25% 才能被宣布为获胜者 (45% x 1.05% = 47, 25% ）。您当前可以选择 0.5% 到 6% 之间的 MDE。 MDE 越小，检测变化所需的样本量就越大。如果您的应用是新应用并且安装次数不多，我们建议将 MDE 设置得更高，因为所需的样本量会更小。如果您有更成熟的应用且下载量较大，我们建议设置较低的 MDE 以获得更准确的结果。

9。测试将持续至少一周

每次您运行实验时，Google Play 通常会在几天后通知您实验已完成。如果您的应用或游戏每天都有大量用户，即使在 24 小时后您也可以获得结果。许多开发者或营销人员在迅速得到积极的测试结果后就迫不及待地“申请”，甚至认为：“这样我们就可以在一个月内测试很多想法并得出很多重要结论。”这种心情和想法是可以理解的。作为开发者或营销人员，我们都渴望快速找到有效的方法并加以应用，以便能够立即提高下载转化率并获得更多的应用安装量。然而，有时这种“仓促”测试可能会让您陷入陷阱。 Google 建议测试至少 7 天。运行一周可以让您捕获工作日和周末不同的用户行为，确保测试结果不受工作日或周末、季节性事件、节假日、市场波动等影响。实验进行的时间越长，收集的数据越多，变化的效果越窄、越准确。当然，如果您的测试连续三天给出明确的阴性结果，您可以简单地停止测试。毕竟不好的变体会降低整体转化率，尤其是当App流量较高时，损失会更大。

10。不要使用Apple App Store上Google Play的获胜测试

为了提高效率，减少测试次数和时间，一些营销人员将Google Play的测试结果使用到了App Store。这是一种比较危险的行为。不得不承认，iOS和Android用户是不同的，对应用程序有着不同的期望和态度，这使得他们的下载意图和习惯有所不同。另外，Google Play和App Store展示应用程序的方式也有很大不同。在 Google Play 上突出显示的项目在 App Store 中可能很难被注意到。因此，您不应使用 App Store 上 Google Play 的获胜测试结果。

11。测试取得积极结果后继续观察对应用下载量的实际影响

虽然 A/B 测试的实验结果表明测试变体表现更好，但实际性能可能仍会有所不同，尤其是当测试结果与红色和绿色间隔。因此，一旦获得积极的测试结果并使用它们，您就需要密切关注对应用安装的实际影响。真正的效果可能和你想象的有很大不同。我们必须注意的是，许多人可能会观察到应用程序的下载量在应用程序获得积极测试结果后的一周内增加，因此认为测试结果是有效的。事实上，应用下载量受到很多因素的影响，比如购买量和自然量之间的相互作用。因此，除了观察安装量外，我建议大家找一些流量相对稳定的渠道来观察实际下载转化率的变化。

12。根据要求测试特征图

自 2018 年 Google Play 应用商店改版以来，特征图不再显示在应用详细信息页面的顶部。当然，如果您的应用详细信息页面有宣传视频，您的专题图片将用作视频的封面。在这种情况下，用户仍然可以在应用商店详情页面看到特征图。那么，我们是否还需要对 Play 商店中不包含视频的应用程序进行 A/B 测试功能图形？许多 ASO 优化者认为我们仍然有理由这样做。因为特征图形还可以出现在Play商店的广告轨道和“推荐”应用轨道中。不过，在我看来，我们可以对特色图形进行 A/B 测试，但如果我们使用 Google Play 商店列表实验对没有视频广告系列的应用进行 A/B 测试特色图形，则没有多大意义。因为在这种情况下，任何进入的用户都将无法看到商店详情页面的大图。我们如何测试用户看不到的东西？

总结：你能相信 Google Play A/B 测试的结果吗？

总体而言，Google Play 产品详细信息实验仍然是 ASO 优化器最常用的 A/B 测试渠道。 对于实验结果，我们可以部分相信。如果您在 Google Play 中做过 A/A、B/A、A/B//B 类型测试，您可能会注意到有时完全相同的实验会产生不同的结果。在下面的例子中，我们可以看到，对于完全相同的应用程序图标，测试结果差异比较大；随着时间的推移，这种差异进一步加强。

导致这种情况的因素主要有4个：

样本量太小。如上图所示，每个测试样本的用户数量均小于1000，这无助于得出有效的结论。

用户下载行为在一周中的不同日子可能会有很大差异。例如，在周末，人们可能更愿意下载新应用程序，而不关心图标或屏幕截图。一些开发人员运行测试的时间少于 7 天，因此他们更有可能得到错误的结果。

Google Play Store Listing 实验置信度设置较低（90%），那么测试结果的可信度为 90%，也就是说有 10% 的机会测试结果不是可能 相信吧。

从至今，我们仍然无法确认Google Play如何“分配”样本，以及用户进入商店详情页面后如何交互，因此我们对测试结果的怀疑将是进一步加深。

那么，如何提高 Google Play 实验的可信度呢？ —— 遵循本文提到的一些 Google Play A/B 测试最佳实践，可以有效提高实验结果的可信度。另外，必须承认，在大多数开发团队中，A/B测试策略都是碎片化、低效且短期的。希望所有开发者和营销人员能够有计划地在Google Play上进行更多的A/B测试，收集经验并分享经验，帮助应用程序更有效地获客。