خلاصه مطلب
- اثر افزایشی بخشی از نتیجه است که بدون تبلیغ اتفاق نمی‌افتاد: نتیجه واقعی منهای خط پایه.
- اتریبیوشن می‌گوید چه کانالی سر راه خرید بوده؛ تست اثر افزایشی می‌گوید تبلیغ واقعاً چه چیزی ساخته است.
- نتیجه تست Lift را همیشه با بازه اطمینان بخوانید. نتیجه خنثی یعنی اثر کوچک‌تر از توان تشخیص تست بوده، نه لزوماً صفر.
- تست Lift جواب می‌دهد یک تغییر مشخص اثر داشت یا نه؛ MMM جواب می‌دهد کل بودجه را بین کانالها چطور تقسیم کنید.
- تصمیم بودجه را بر اساس بازده حاشیه‌ای (بازده تومان بعدی) بگیرید، نه بازده میانگین.
اثر افزایشی تبلیغات (Incrementality) یعنی آن بخش از فروش یا لید که بدون یک کمپین یا یک تغییر بودجه اتفاق نمی‌افتاد. برای اندازه‌گیری‌اش اول تخمین می‌زنید اگر تبلیغ نبود چه می‌دیدید، بعد نتیجه واقعی را با آن مقایسه می‌کنید و فاصله را همراه بازه اطمینان می‌خوانید. گزارش‌های اتریبیوشن این کار را نمی‌کنند؛ آن‌ها فقط اعتبار را بین کانال‌هایی که مشتری دیده تقسیم می‌کنند.
اثر افزایشی سهمی از نتیجه مارکتینگ است که واقعاً به خاطر تبلیغ یا تغییر هزینه ایجاد شده؛ یعنی نتیجه واقعی منهای خط پایه‌ای که نشان می‌دهد بدون آن تبلیغ چه اتفاقی میافتاد.
چرا گزارش اتریبیوشن برای سنجش اثر تبلیغ کافی نیست؟
یک مشتری فرضی را در نظر بگیرید. تبلیغ ویدیویی شما را در اینستاگرام می‌بیند و کلیکی ثبت نمی‌شود. سه روز بعد اسم برندتان را در گوگل سرچ میکند، روی تبلیغ برند سرچ کلیک میکند و خرید میکند. گزارش لست‌کلیک کل این فروش را به برند سرچ می‌دهد. سؤال اصلی همان است که گزارش جوابش را ندارد: اگر تبلیغ برند سرچ نبود، این مشتری روی نتیجه ارگانیک درست زیر آن کلیک نمی‌کرد و نمی‌خرید؟
اتریبیوشن به سه دلیل ساختاری کم می‌آورد:
- همه مسیرها دیده نمی‌شوند. مسدودکننده تبلیغ، رد کوکی، چند دستگاه، پست اینفلوئنسر و تبلیغ محیطی ردپای کلیکی ندارند و وارد مدل نمی‌شوند.
- اعتبار به آخرین لمس می‌رسد. کانال‌هایی که تقاضای موجود را برداشت می‌کنند، مثل برند سرچ و ریتارگتینگ، اعتبار جمع می‌کنند و کانال‌هایی که تقاضا می‌سازند، مثل ویدیو و شبکه‌های اجتماعی، ضعیف به نظر می‌رسند.
- همبستگی، علیت نیست. کمپینی که روی مشتریان آماده خرید هدف گرفته، حتی اگر هیچ چیزی را تغییر ندهد، تبدیل زیادی گزارش میکند.
در راهنمای مدل‌های اتریبیوشن دیدیم که همان یک فروش با عوض شدن مدل بین کانالها جابه‌جا می‌شود. تست اثر افزایشی از این بحث بیرون می‌آید. یک نمونه معروف: eBay در یک آزمایش کنترل‌شده تبلیغات کلمات کلیدی برندش را در Yahoo و MSN متوقف کرد. تقریباً همه کلیک‌های پولی ازدست‌رفته به نتایج ارگانیک رایگان خود eBay منتقل شد و پژوهشگران افت معناداری در فروش کوتاه‌مدت پیدا نکردند (Blake، Nosko و Tadelis). اتریبیوشن همه آن فروش‌ها را به حساب همین تبلیغات گذاشته بود.
تست اثر افزایشی چطور کار میکند؟
هر سنجش علّی به یک سؤال جواب می‌دهد: اگر تبلیغ اجرا نمی‌شد، چه می‌دیدیم؟ به این سناریوی فرضی خط پایه یا کانترفکچوال (counterfactual) می‌گویند. خط پایه را هیچ‌وقت مستقیم نمی‌بینید؛ باید آن را بسازید، یا با گروه کنترلی که تبلیغ را ندیده، یا با مدلی که از روی گذشته پیش‌بینی میکند. کیفیت اندازه‌گیری شما دقیقاً به کیفیت همین خط پایه بستگی دارد.
دو فرمولی که لازم دارید کوتاه‌اند:
- اثر افزایشی = نتیجه واقعی − خط پایه
- ROAS افزایشی (iROAS) = درآمد افزایشی ÷ تغییر هزینه
یک مثال فرضی با عدد: فروشگاهی بودجه روزانه اینستاگرامش را برای ۱۴ روز از ۲۰ میلیون به ۲۸ میلیون تومان می‌رساند. مدل خط پایه پیش‌بینی میکند بدون این تغییر روزی ۳۱۲ سفارش می‌گرفت؛ در عمل روزی ۴۰۰ سفارش می‌گیرد.
- سفارش افزایشی در روز: ۴۰۰ − ۳۱۲ = ۸۸
- سفارش افزایشی در کل تست: ۸۸ × ۱۴ = ۱٬۲۳۲
- هزینه اضافه: ۸ میلیون × ۱۴ = ۱۱۲ میلیون تومان
- هزینه هر سفارش افزایشی: ۱۱۲ میلیون ÷ ۱٬۲۳۲ ≈ ۹۱ هزار تومان
- با میانگین سفارش ۵۰۰ هزار تومان، درآمد افزایشی ۶۱۶ میلیون تومان است و iROAS = ۶۱۶ ÷ ۱۱۲ = ۵٫۵
به مخرج دقت کنید: تغییر هزینه (۱۱۲ میلیون)، نه کل هزینه دوره (۳۹۲ میلیون). اگر بر کل هزینه تقسیم کنید، بازده بودجه اضافه را حدود ۳٫۵ برابر کمتر از واقعیت نشان می‌دهید. برای مرور فرمول معمولی و ROAS سربه‌سر، راهنمای فرمول ROAS را ببینید.
کدام نوع تست اثر افزایشی را اجرا کنیم؟
سه طراحی رایج وجود دارد که فرقشان در روش ساختن خط پایه است.
| طراحی | خط پایه چطور ساخته می‌شود | مناسب برای | محدودیت اصلی |
|---|---|---|---|
| گروه کنترل تصادفی (Holdout) | گروهی تصادفی از کاربران تبلیغ را نمی‌بینند | ریتارگتینگ، پیامک و مخاطبانی که در اختیار خودتان است | پشتیبانی پلتفرم لازم دارد و فروش گروه کنترل را از دست می‌دهید |
| تست جغرافیایی (Geo) | بعضی استان‌ها تغییر را می‌گیرند و استان‌های مشابه نه | کانال‌هایی که هدف‌گیری استانی دارند | به تعداد کافی استان قابل مقایسه نیاز دارد |
| تست Lift زمانی | مدلی که روی دوره پیش از تغییر آموزش دیده، دوره بعد را پیش‌بینی میکند | تغییر بودجه، کانال تازه، توقف کمپین | تغییرهای هم‌زمان دیگر می‌توانند نتیجه را آلوده کنند |
آزمایش تصادفی استاندارد طلایی است. پژوهشی روی آزمایش‌های تبلیغاتی بزرگ فیسبوک نشان داد روش‌های مشاهده‌ای رایج اغلب نمی‌توانند اثری را که آزمایش تصادفی اندازه گرفته بازسازی کنند و گاهی فاصله زیادی دارند (Gordon و همکاران، ۲۰۱۹). وقتی تصادفی‌سازی ممکن نیست، طراحی زمانی با خط پایه پیش‌بینی‌شده گزینه عملی است. معروف‌ترین روش این خانواده، CausalImpact گوگل، با یک مدل سری زمانی بیزی پیش‌بینی میکند بدون مداخله چه اتفاقی میافتاد و آن را با واقعیت مقایسه میکند (Brodersen و همکاران، ۲۰۱۵).
تست Lift زمانی چهار مرحله دارد:
- تغییر را ثبت کنید: تاریخ، کانال و نوع تغییر؛ مثلاً کانال تازه، توقف کمپین یا افزایش بودجه.
- مدل از گذشته یاد می‌گیرد: الگوی روزهای هفته، روند و مناسبت‌ها را از دستکم دو هفته پیش از تغییر.
- خط پایه پیش‌بینی می‌شود: اگر تغییری نمی‌دادید در ۷، ۱۴ یا ۲۸ روز بعد چه می‌دیدید.
- مقایسه با بازه اطمینان: واقعی منهای خط پایه، همراه بازه اطمینان و حداقل اثر قابل تشخیص.
نتیجه تست Lift را چطور بخوانیم؟
عدد Lift بدون بازه اطمینان یک حدس است. دو نتیجه فرضی فرق را نشان میدهند.
نتیجه مثبت. همان افزایش بودجه اینستاگرام به‌طور میانگین روزی ۴۰۰ سفارش در برابر خط پایه ۳۱۲ ساخت. بازه اطمینان ۹۵ درصدی اثر مطلق از ۶۶ تا ۱۰۸ سفارش در روز است، یعنی ۲۱ تا ۳۵ درصد نسبت به خط پایه. کل بازه بالای صفر است، پس اثر معنادار است: تغییر حدود روزی ۸۸ سفارش اضافه ساخت.
نتیجه خنثی. یک کمپین تازه در یک شبکه تبلیغات همسان روزی ۲۰۲ سفارش در برابر خط پایه ۱۹۳ داشت. بازه اثر از ۱۲− تا ۳۰+ سفارش در روز است، یعنی ۶− تا ۱۶+ درصد. بازه صفر را شامل می‌شود، پس اثری تشخیص داده نشد.
این جمله آخر عمداً دقیق است. «اثری پیدا نشد» با «اثری نداشت» فرق دارد. هر تست یک حداقل اثر قابل تشخیص (MDE) دارد: کوچک‌ترین اثری که با حجم داده و طول دوره شما از نویز جدا می‌شود. اگر MDE این تست ۱۸ درصد بوده، فقط فهمیده‌اید اثر احتمالاً کوچک‌تر از ۱۸ درصد است. پیش از قطع کمپین، تست را با تغییر بزرگ‌تر یا دوره طولانی‌تر تکرار کنید. منطق تعیین اندازه تست همان منطق حجم نمونه تست A/B است.
یک تست Lift قابل اتکا چه شرایطی دارد؟
پنج قاعده جلوی بیشتر برداشت‌های غلط را می‌گیرد:
- هر بار یک تغییر. در طول تست کانالها و کمپین‌های دیگر را ثابت نگه دارید تا اثرها قاطی نشوند.
- تغییر به اندازه کافی بزرگ. تغییر ۱۰ درصدی بودجه معمولاً در نوسان روزانه گم می‌شود. پیش از شروع MDE را بسنجید.
- دوره قبل تمیز. دستکم ۱۴ روز، بدون تغییر بزرگ دیگر و بدون قطعی ردیابی.
- تقویم را جدی بگیرید. نوروز، رمضان، محرم، یلدا و حراج‌های بزرگ رفتار خرید را عوض می‌کنند. اگر دوره تست یا دوره آموزش با این مناسبت‌ها هم‌پوشانی دارد، باید در مدل لحاظ شوند.
- بازه را بخوانید، نه عدد وسط را. نتیجه خنثی دعوت به تکرار است، نه حکم توقف.
MMM کجای این تصویر است؟
تست Lift جواب می‌دهد یک تغییر اثر داشت یا نه. نمی‌گوید بودجه سال بعد را بین همه کانالها چطور تقسیم کنید. این کار مارکتینگ میکس مدلینگ (MMM) است.
MMM فروش یا لید هفتگی را به اجزایش می‌شکند: پایه‌ای که بدون تبلیغ هم اتفاق میافتاد، روند، فصل و مناسبت‌ها، و سهم هر کانال پولی. ورودی‌اش فقط مجموع هفتگی هزینه و نتیجه است؛ پس به کوکی، کلیک و شناسه کاربر وابسته نیست و کانال‌هایی را هم می‌بیند که ردپای کلیک ندارند، مثل تلگرام و اینفلوئنسرها. مدل‌های متن‌باز مثل Robyn متا و Meridian گوگل اثر تبلیغات را با دو تبدیل توصیف می‌کنند (Robyn):
- اثر ماندگار (Adstock): اثر تبلیغ این هفته، با کاهش تدریجی، در هفته‌های بعد هم ادامه دارد.
- اشباع: هر تومان اضافه در یک کانال بازده کمتری از تومان قبلی دارد.
به خاطر اشباع، مفیدترین خروجی MMM بازده حاشیه‌ای است: بازده تومان بعدی، نه میانگین تومان‌های قبلی. کانالی با ROAS میانگین عالی ممکن است روی بخش صاف منحنی‌اش باشد و کانال کوچکی هنوز روی بخش پرشیب.
خروجی‌های معمول MMM شامل تجزیه نتیجه به عوامل، سهم اثر در برابر سهم هزینه، منحنی پاسخ هر کانال و برنامه‌ریز بودجه است. یک مقایسه فرضی:
| کانال | سهم هزینه | سهم اثر | برداشت |
|---|---|---|---|
| گوگل ادز | ۳۵٪ | ۴۰٪ | کارآمدتر از میانگین |
| اینستاگرام | ۲۵٪ | ۲۲٪ | نزدیک میانگین |
| یکتانت | ۲۰٪ | ۱۹٪ | نزدیک میانگین |
| تپسل | ۱۲٪ | ۷٪ | کم‌بازده‌تر از میانگین |
| تلگرام | ۸٪ | ۱۲٪ | کارآمدتر؛ جای رشد را روی منحنی ببینید |
پیش از اعتماد به مدل، برچسب‌های کیفیتش را ببینید: R² (چه سهمی از نوسان را توضیح می‌دهد)، خطای پیش‌بینی روی هفته‌هایی که در آموزش ندیده، و اینکه هزینه هر کانال به اندازه کافی تغییر کرده تا اثرش جدا شود. تست Lift و MMM همدیگر را تقویت هم می‌کنند؛ مثلاً Meridian امکان کالیبره کردن مدل با نتیجه آزمایش‌ها را می‌دهد (Google Meridian).
اتریبیوشن، تست Lift یا MMM: کدام را استفاده کنیم؟
هر ابزار به سؤالی جواب می‌دهد که بقیه نمی‌توانند و کنار هم تصویر کامل را می‌سازند.
| اتریبیوشن | تست Lift | MMM | |
|---|---|---|---|
| سؤال اصلی | کدام کمپین بهتر است؟ | این تغییر اثر داشت؟ | بودجه را چطور تقسیم کنم؟ |
| افق زمانی | روزانه | ۲ تا ۶ هفته | فصلی و سالانه |
| داده لازم | ردیابی کلیک و تبدیل | هزینه و نتیجه روزانه، دستکم ۱۴ روز قبل | هزینه و نتیجه هفتگی، حدود ۱۸ ماه |
| سطح جزئیات | کلمه کلیدی، آگهی و کریتیو | کانال یا کمپین | کانال |
| نقطه قوت | سریع و جزئی | علّی و ساده برای توضیح | همه کانالها، حتی بدون کلیک |
| محدودیت | علّی نیست | هر بار یک تغییر | داده تاریخی زیاد، جزئیات کم |
یک ریتم عملی: کمپین‌ها را روزانه با اتریبیوشن بهینه کنید، برای هر تغییر بزرگ یک تست Lift اجرا کنید و هر فصل MMM را به‌روز کنید تا تقسیم بودجه بین کانالها مشخص شود.
اثر افزایشی تبلیغات را در ادپیکس چطور بسنجیم؟
سنجش Lift کمپین و مارکتینگ میکس مدلینگ از پلن Starter به بالا در ادپیکس در دسترس است. پلن Pro تحلیل اثر واقعی کمپین (incrementality) و MMM برای سهم هر کانال از فروش را اضافه میکند. جزئیات پلن‌ها در صفحه قیمت‌گذاری ادپیکس آمده است.
برای گرفتن اولین نتیجه مفید این‌ها را لازم دارید:
- تگ ادپیکس روی سایت، با رویداد تبدیل (خرید یا لید) که درست ثبت می‌شود.
- هزینه روزانه تبلیغات به تفکیک کانال و کمپین.
- برای تست Lift: دستکم ۱۴ روز داده پایدار پیش از تغییر و یک تغییر مشخص با تاریخ روشن.
- برای MMM: حدود ۱۸ ماه داده هفتگی هزینه و نتیجه، با تنوع کافی در هزینه هر کانال. کانالی که بودجه‌اش هیچ‌وقت تغییر نکرده قابل اندازه‌گیری نیست.
داده تمیز کانالها مقدم بر همه این‌هاست. لینک‌های کمپین را با راهنمای UTM یکدست تگ کنید و پیش از مقصر دانستن تبلیغ، با تحلیل قیف فروش ببینید کاربران کجا ریزش می‌کنند. بعد بزرگ‌ترین تغییر بودجه‌ای را که برای ماه آینده برنامه دارید انتخاب کنید، اندازه‌اش را با ماشین‌حساب تست A/B بسنجید و آن را به‌عنوان اولین تست Lift اجرا کنید.
محاسبه‌گر تست A/B
حجم نمونه و مدت زمان آزمایش بعدی شما. پلن رایگان ادپیکس تا ۱۰۰ هزار رویداد در ماه، بدون کارت بانکی. راه‌اندازی کمتر از پنج دقیقه طول می‌کشد.
پرسش‌های متداول
اثر افزایشی تبلیغات (Incrementality) یعنی چه؟
یعنی چه تعداد تبدیل یا چه مقدار درآمد واقعاً به خاطر یک تبلیغ یا تغییر بودجه ایجاد شده است. برای اندازه‌گیری‌اش نتیجه واقعی را با خط پایه، یعنی تخمین وضعیت بدون تبلیغ، مقایسه می‌کنند.
اثر افزایشی چه فرقی با اتریبیوشن دارد؟
اتریبیوشن اعتبار تبدیلها را بین نقاط تماس تقسیم میکند. اثر افزایشی سؤال علّی میپرسد: چند تا از این تبدیلها بدون تبلیغ هم اتفاق میافتاد؟ یک کانال میتواند اعتبار زیادی بگیرد و اثر افزایشی کمی داشته باشد.
تست Lift چقدر باید طول بکشد؟
آنقدر که چند هفته کامل را پوشش دهد و اثری را که برایتان مهم است تشخیص دهد. برای تغییر بودجه معمولاً دو تا چهار هفته کافی است، بهعلاوه دستکم دو هفته داده پایدار پیش از تغییر.
iROAS چیست؟
iROAS یا ROAS افزایشی، درآمد افزایشی تقسیم بر تغییر هزینهای است که آن را ساخته. معمولاً از ROAS گزارششده پلتفرم کمتر است، چون فروشهایی را که بدون تبلیغ هم میآمد حساب نمیکند.
اگر تست Lift اجرا میکنم، باز هم به MMM نیاز دارم؟
این دو به دو سؤال متفاوت جواب میدهند. تست Lift هر بار یک تغییر را میسنجد؛ MMM با داده هفتگی طولانی سهم و منحنی پاسخ همه کانالها را تخمین میزند و برای تقسیم بودجه سالانه ابزار بهتری است.
منابع و روش
همه اعداد کمپین‌ها، نتایج تست و خروجی‌های مدل در این مقاله فرضی‌اند و برای ساده شدن محاسبه انتخاب شده‌اند. یافته‌های پژوهشی به مقاله‌های اصلی ارجاع داده شده‌اند.
- Blake, Nosko & Tadelis, Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment (NBER Working Paper 20171; published in Econometrica, 2015)
- Gordon, Zettelmeyer, Bhargava & Chapsky (2019), A comparison of approaches to advertising measurement: evidence from big field experiments at Facebook, Marketing Science
- Brodersen et al. (2015), Inferring causal impact using Bayesian structural time-series models, Annals of Applied Statistics
- Robyn (Meta open-source MMM): Key features, adstock and saturation
- Google Meridian: open-source marketing mix model
این مطلب با کمک هوش مصنوعی نوشته شده و پیش از انتشار توسط تیم ادپیکس بازبینی شده است. سیاست تحریریه
