تست lift ادپیکس: چطور بفهمیم تغییر بودجه واقعا فروش اضافه ساخت

تست lift ادپیکس به یک سوال جواب می‌دهد: آن تغییری که در یک تاریخ مشخص دادید، مثلا بالا بردن بودجه یک کانال، واقعا تبدیل اضافه ساخت یا نه. اقدام و تاریخش را وارد می‌کنید، ادپیکس روی روزهای قبل از آن تاریخ مدل می‌سازد، پیش بینی می‌کند اگر هیچ کاری نکرده بودید چه می‌شد و فاصله واقعیت با این پیش بینی را با بازه اطمینان ۹۵٪ و یک حکم روشن گزارش می‌دهد. تست حدود دو ماه سابقه می‌خواهد، ۷، ۱۴ یا ۲۸ روز طول می‌کشد و از پلن استارتر فعال است. در این مطلب راه اندازی، تنظیماتی که دقت را عوض می‌کنند، خواندن نتیجه و جاهایی که تست lift ابزار درستی نیست را مرور می‌کنیم.

تست lift اندازه گیری اثر افزایشی یک تغییر مارکتینگ است: نتیجه واقعی بعد از تغییر منهای برآوردی از اینکه بدون آن تغییر نتیجه چه می‌شد.

تست lift ادپیکس به چه سوالی جواب می‌دهد؟

تست lift ادپیکس درباره یک اقدام جواب می‌دهد: این تغییر، در این تاریخ، سنجه ای را که برایم مهم است جابه جا کرد یا نه، و چقدر؟ واحد تست یک اقدام است، نه یک کانال. «از ۱۲ اسفند بودجه گوگل ادز را ۳۰٪ بالا بردیم» سوال lift است. «گوگل ادز در طول سال چقدر برمی‌گرداند؟» سوال مارکتینگ میکس مدل است (مستندات ادپیکس: اجرای تست لیفت).

چرا گزارش اتریبیوشن کافی نیست؟ اتریبیوشن اعتبار فروش را بین نقطه های تماسی که خریدار دیده تقسیم می‌کند و معمولا به کانال هایی که تقاضای از قبل موجود را شکار می‌کنند، مثل سرچ برند و ریتارگتینگ، بیش از حق شان سهم می‌دهد. Gordon و همکاران ۱۵ آزمایش تبلیغاتی بزرگ در فیسبوک را با روش های مشاهده ای رایج مقایسه کردند و دیدند برآورد این روش ها حتی با کنترل داده های جمعیتی و رفتاری گسترده، اغلب با اثر واقعی آزمایش جور درنمی‌آید (Gordon و همکاران، ۲۰۱۹). منطق کلی این شکاف در راهنمای تست افزایشی آمده؛ اینجا درباره اجرای تست در ادپیکس است.

تست lift به درد چه تیمی می‌خورد؟

هر تیمی که بودجه را کم و زیاد می‌کند، کمپین روشن و خاموش می‌کند یا کریتیو عوض می‌کند و می‌خواهد بداند آن تغییر صرف کرد یا نه. چون تست فقط حدود دو ماه سابقه لازم دارد، معمولا اولین مطالعه سنجشی است که یک سایت می‌تواند اجرا کند. راهنمای ادپیکس برای انتخاب بین دو مطالعه هم به تیم هایی که تازه شروع کرده اند می‌گوید تقریبا همیشه lift (مستندات ادپیکس: مارکتینگ میکس یا لیفت).

بهترین نتیجه را وقتی می‌گیرید که:

• هر بار یک تغییر روشن می‌دهید و روز اثر کردنش را می‌دانید.
• سنجه هدف هر روز اتفاق می‌افتد، مثل خرید، لید یا ثبت نام، تا داده کافی برای پیش بینی باشد.
• تغییر به اندازه کافی بزرگ است. جابه جایی ۵ درصدی بودجه معمولا در نوسان عادی روزانه گم می‌شود.

روش پشت تست lift چطور کار می‌کند؟

تست lift زمانی یک «پیش بینی خلاف واقع» می‌سازد: برآوردی از سنجه برای روزهای بعد از تغییر که فقط از داده قبل از تغییر ساخته شده است. لیفت افزایشی جمع «واقعی منهای پیش بینی» در دوره اندازه گیری است. Brodersen و همکارانش در گوگل این روش را با مدل های سری زمانی ساختاری بیزی صورت بندی کردند که روند، فصل و سری های کنترلی را که تحت تاثیر تغییر نبوده اند ترکیب می‌کند (Brodersen و همکاران، ۲۰۱۵).

در این نوع تست معمولا دو چیز تعیین کننده است. سابقه قبل از تغییر باید آن قدر بلند و آرام باشد که ریتم هفتگی سنجه را یاد بگیرد، و یک چیز بیرون از اثر تغییر باید نقش کنترل را بازی کند تا نوسان کل بازار، مثلا شلوغی شب عید، به حساب اقدام شما نوشته نشود. جایی که بتوانید مخاطب را تصادفی تقسیم کنید، آزمایش هولدآوت تصادفی هنوز طرح قوی تری است چون به پیش بینی تکیه نمی‌کند؛ تست زمانی راه عملی وقتی است که این تقسیم ممکن نیست.

تست lift ادپیکس را چطور راه اندازی کنیم؟

از منوی «سنجش مارکتینگ» وارد «تست لیفت (Lift Test)» شوید و روی «+ آزمایش جدید» بزنید. همه تعریف های زیر از مستندات ادپیکس است.

1. اقدام را تعریف کنید. نوعش را انتخاب کنید: افزایش یا کاهش بودجه، شروع یا توقف کمپین، اضافه یا حذف کانال، تغییر کریتیو یا موارد دیگر.
2. تاریخ اقدام. روزی که تغییر واقعا اثر کرد. این تنها فیلد اجباری است.
3. کانال و در صورت نیاز کمپین. کانال تعیین می‌کند هزینه کدام بازه برای هزینه هر تبدیل و ROAS افزایشی حساب شود.
4. سنجه هدف را انتخاب کنید، هر رویدادی که سایت ثبت می‌کند یا درآمد، و دوره اندازه گیری ۷، ۱۴ یا ۲۸ روزه.
5. ساخت تست. اگر دوره هنوز تمام نشده باشد، تست در حالت زمان بندی شده می‌ماند و بعد از پایان دوره به علاوه دو روز صبر برای تبدیل های دیرهنگام اجرا می‌شود. امتیازدادن به دوره ناتمام یک لیفت منفی ساختگی می‌سازد.

کدام تنظیمات دقت نتیجه را عوض می‌کنند؟

هر تست جدید یا اجرای دوباره با موتور کالیبره شده با پلاسیبو انجام می‌شود. ادپیکس در طول سال گذشته روی تاریخ هایی که هیچ تغییری نداشته اند تست پلاسیبو اجرا می‌کند تا ببیند روش چقدر اثری می‌بیند که وجود ندارد، و منبع کالیبراسیون را روی نتیجه نشان می‌دهد: «سابقه همین وب سایت»، «داده تجمیعی شبکه» یا «فقط مدل». نتیجه فقط وقتی معنادار حساب می‌شود که p حداکثر ۵٪ باشد و بازه صفر را شامل نشود.

قبل از تغییر بودجه، اندازه تست را چطور حساب کنیم؟

با «بررسی حساسیت». در بخش «حساسیت آزمایش» فرم آزمایش جدید، درصد تغییر هزینه برنامه ریزی شده را وارد می‌کنید و ادپیکس حداقل اثر قابل تشخیص (MDE)، توان آماری تغییر شما (اگر یک اجرای MMM آن کانال را سنجیده باشد) و کوتاه ترین دوره از بین ۷، ۱۴ و ۲۸ روز را که به توان ۸۰٪ می‌رسد برمی‌گرداند.

یک فروشگاه فرضی نشان می‌دهد این قدم چرا مهم است. فرض کنید فروشگاه روزی حدود ۱۳۰ سفارش دارد و کمپین سرچ گوگل ادز روزی ۴ میلیون تومان خرج می‌کند. تیم می‌خواهد از ۱۲ اسفند آن را به ۵ میلیون و ۲۰۰ هزار تومان برساند، یعنی ۳۰٪ افزایش.

• فرض کنید بررسی حساسیت برای دوره ۱۴ روزه MDE را ۶٪ برگرداند. در ۱۴ روز حدود ۱۳۰ × ۱۴ = ۱٬۸۲۰ سفارش انتظار می‌رود، پس تست فقط اثری از حدود ۰٫۰۶ × ۱٬۸۲۰ ≈ ۱۰۹ سفارش اضافه به بالا را می‌بیند.
• هزینه اضافه ۱٫۲ میلیون × ۱۴ = ۱۶٫۸ میلیون تومان است. اگر هر سفارش افزایشی ۴۵۰ هزار تومان درآمد داشته باشد، ۱۰۹ سفارش حدود ۴۹ میلیون تومان است، یعنی ROAS افزایشی حدود ۲٫۹ روی هزینه اضافه.
• اگر ROAS سربه سر فروشگاه ۲ باشد، اثری کوچک تر ولی واقعی، مثلا ۹۰ سفارش (۴۰٫۵ میلیون تومان، ROAS حدود ۲٫۴)، هنوز سودآور است اما ممکن است تست ۱۴ روزه آن را نبیند. راه حل دوره ۲۸ روزه یا تغییر بزرگ تر است، نه امیدوار ماندن.

MDE و توان آماری در راهنمای حجم نمونه تست A/B با جزئیات بیشتر آمده و همان منطق اینجا هم صدق می‌کند.

نتیجه تست lift ادپیکس را چطور بخوانیم؟

به ترتیب سه چیز را بخوانید: حکم، بازه، و بعد درجه کیفیت. حکم بالای نتیجه می‌آید و از بازه ۹۵٪ پیروی می‌کند (مستندات ادپیکس).

کنار حکم، برچسب تشخیص پذیری حداقل اثر قابل تشخیص را نشان می‌دهد: اطمینان بالا زیر ۵٪، متوسط زیر ۱۰٪، پایین با بازه پهن زیر ۲۰٪، و کم توان بالای ۲۰٪. درجه کیفیت از «کیفیت A» (کالیبره، سوگیری پلاسیبوی کم، دوره تمیز، تغییر هزینه جدی) تا «کیفیت D» (غیرقابل اتکا و هرگز به MMM فرستاده نمی‌شود) است. علامت هشدار کنار یک نتیجه معنادار یعنی آن نتیجه در بررسی کشف کاذب بین تست های ۱۸۰ روز اخیر همان سایت رد شده است.

برگردیم به فروشگاه فرضی. بعد از ۱۴ روز، پیش بینی خلاف واقع ۱٬۸۲۰ سفارش است و فروشگاه ۱٬۹۶۰ سفارش ثبت کرده.

• سفارش افزایشی: ۱٬۹۶۰ − ۱٬۸۲۰ = ۱۴۰، یعنی لیفت ۱۴۰ ÷ ۱٬۸۲۰ ≈ ۷٫۷٪.
• هزینه هر سفارش افزایشی روی هزینه اضافه: ۱۶٫۸ میلیون ÷ ۱۴۰ = ۱۲۰ هزار تومان.
• درآمد افزایشی با ۴۵۰ هزار تومان برای هر سفارش: ۱۴۰ × ۴۵۰ هزار = ۶۳ میلیون تومان، پس ROAS افزایشی روی هزینه اضافه ۶۳ ÷ ۱۶٫۸ = ۳٫۷۵ است.
• اگر بازه ۹۵٪ سفارش افزایشی از ۳۰+ تا ۲۵۰+ باشد، کل بازه بالای صفر است و حکم «مثبت» است. ولی سر پایین بازه، ۳۰ سفارش و ۱۳٫۵ میلیون تومان، زیر نقطه سربه سر ROAS ۲ است؛ این را قبل از بزرگ تر کردن بودجه باید بدانید.

کارت های نتیجه «لیفت افزایشی»، درآمد افزایشی، هزینه تبلیغ در دوره، «ROAS افزایشی» و CPA را نشان می‌دهند و نمودار، واقعیت را کنار پیش بینی خلاف واقع با باند ۹۵٪ می‌کشد. برای مقایسه ROAS با حاشیه سودتان، ماشین حساب زیر ROAS سربه سر را هم حساب می‌کند و راهنمای فرمول ROAS حسابش را توضیح می‌دهد.

صفحه سنجش افزایشی چه چیزی به تست lift اضافه می‌کند؟

صفحه سنجش افزایشی تغییرات هزینه ای را می‌سنجد که هیچ وقت برایشان تست نساخته اید. وقتی تشخیص خودکار تغییر هزینه روشن باشد، که پیش فرض است، ادپیکس میانه هزینه روزانه هر کانال و کمپین در دو هفته قبل از هر روز را با هفته بعدش مقایسه می‌کند. تغییر دست کم ۲۰ درصدی که دست کم پنج روز از هفت روز بعد بماند یک «فعالیت» می‌شود، فعالیت ها در دوره های ۱۴ روزه گروه می‌شوند و هر دوره با یک تست lift کالیبره سنجیده می‌شود (مستندات ادپیکس: سنجش افزایشی).

برای هر کانال تبدیل افزایشی روزانه، هزینه هر تبدیل افزایشی میانگین و حاشیه ای، و ضریب K گزارش می‌شود؛ یعنی تبدیل های اتریبیوت شده تقسیم بر تبدیل های افزایشی. K بالای ۱ یعنی اتریبیوشن به آن کانال بیش از حقش اعتبار داده. کانال تا چهار دوره سنجیده شده با سطح هزینه هایی که دست کم ۳۰٪ با هم فرق دارند در حالت یادگیری می‌ماند. توصیه عملی مستندات هم همین است: بودجه را در پله های ۲۰ درصد یا بیشتر عوض کنید و دست کم دو هفته نگه دارید. ردیف هزینه ای که وارد نشده داده گمشده حساب می‌شود، نه هزینه صفر.

تست lift ادپیکس در کدام پلن است؟

سنجش lift کمپین از پلن استارتر فعال است، ماهی ۴۹۹ هزار تومان یا سالی ۴ میلیون و ۹۰۰ هزار تومان، و پلن پرو تحلیل اثر واقعی کمپین (incrementality) را اضافه می‌کند (صفحه قیمت ادپیکس). در پلن رایگان صفحه تست لیفت فقط پیام ارتقای پلن را نشان می‌دهد (مستندات ادپیکس: پلن ها و اختیارات). پلن به وب سایت وصل است، نه به حساب کاربری، و اولین پلن پولی هر سایت با ۱۴ روز آزمایش رایگان شروع می‌شود.

ادپیکس پلتفرم آنالیتیکس وب برای تیم های ایرانی است: گزارش های هم سطح گوگل آنالیتیکس (ریل تایم، منابع ورودی، رفتار کاربران، قیف تبدیل و فروش) به علاوه لایه سنجش مارکتینگ، روی زیرساخت داخل ایران و با داشبورد فارسی. جایگاه تست lift کنار بقیه قابلیت ها در مرور امکانات ادپیکس آمده است.

محدودیت های تست lift چیست و کی باید سراغ ابزار دیگری رفت؟

تست lift نمی‌تواند تغییرهای هم زمان را از هم جدا کند. اگر همان روزی که بودجه سرچ را بالا می‌برید حراج بلک فرایدی یا جشنواره یلدا را هم شروع کنید، لیفت مال هر دو است و تست نمی‌تواند تقسیمش کند. بخش «تغییرات دیگر هزینه در اطراف این تست» در نتیجه، تغییرهای جدی، یعنی دست کم ۱۰٪ هزینه کل روزانه، در دوره یا ۱۴ روز قبل از آن را فهرست می‌کند تا هم پوشانی را ببینید.

سراغ ابزار دیگری بروید وقتی:

• تقسیم کل بودجه را می‌خواهید. lift یک تغییر را می‌سنجد. تقسیم بودجه سالانه بین کانال ها کار مارکتینگ میکس مدل است و نتیجه تست های lift از طریق کارت کالیبراسیون آن را دقیق تر می‌کند.
• تغییر کوچک است یا تبدیل کم است. اگر بررسی حساسیت «کم توان» برگرداند، راه حل تغییر بزرگ تر یا دوره طولانی تر است.
• می‌توانید مخاطب را تصادفی تقسیم کنید. هولدآوت تصادفی کاربری یا جغرافیایی که پلتفرم تبلیغاتی اجرا می‌کند به پیش بینی تکیه ندارد و هر جا ممکن باشد طرح قوی تری است.
• هدف تان روی سایت نیست. به یاد ماندن برند یا فروش حضوری در فروشگاه فیزیکی چیزی نیست که سنجه وب سایت نشان دهد.

یک عادت مفید از مستندات: روی تاریخی که هیچ اتفاقی نیفتاده تست بسازید. نتیجه باید «خنثی» باشد؛ اگر نبود، سنجه برای دوره ای که انتخاب کرده اید زیادی پرنوسان است. راهنمای پرفورمنس مارکتینگ lift، اتریبیوشن و MMM را برای تصمیم بودجه کنار هم گذاشته است.

اولین تست lift را در ادپیکس چطور اجرا کنیم؟

با تغییر بودجه بعدی که به هر حال می‌خواستید بدهید شروع کنید.

1. مطمئن شوید تگ ادپیکس روی سایت است و رویداد تبدیل ثبت می‌شود، و اگر ROAS افزایشی و CPA می‌خواهید، هزینه آن کانال را وارد کنید.
2. «+ آزمایش جدید» را باز کنید، درصد تغییر هزینه را وارد کنید و «بررسی حساسیت» را بزنید.
3. اگر MDE از اثری که انتظار دارید بزرگ تر است، تغییر را بزرگ تر کنید یا دوره ۲۸ روزه را انتخاب کنید.
4. تغییر را اعمال کنید، روزی که اثر می‌کند را «تاریخ اقدام» بگذارید و در طول دوره به چیز دیگری دست نزنید.
5. حکم را با بازه و درجه کیفیتش بخوانید و نتیجه با کیفیت A یا B را به MMM بفرستید.

محاسبه‌گر تست A/B

حجم نمونه و مدت زمان آزمایش بعدی شما. پلن رایگان ادپیکس تا ۱۰۰ هزار رویداد در ماه، بدون کارت بانکی. راه‌اندازی کمتر از پنج دقیقه طول می‌کشد.

شروع رایگانامتحان رایگان