وضعیت آزمایش: طرح روش؛ هنوز Dataset برچسب‌خورده و نتیجه واقعی در سایت موجود نیست.
مسئله
Ruleهایی مثل «افت مشخص Click» ساده‌اند، اما برای همه URLها یکسان عمل نمی‌کنند. صفحه پرتقاضا و فصلی با صفحه Evergreen کم‌نمایش نویز متفاوتی دارد. Threshold ضعیف یا صف را پر از False Positive می‌کند یا افت‌های مهم را از دست می‌دهد.
فرضیه
ترکیب حداقل داده، افت چندسیگناله و آستانه متناسب با نوسان تاریخی هر خوشه، از یک درصد ثابت قابل‌اعتمادتر است. این فرضیه باید با برچسب انسانی و داده همان سایت آزموده شود.
Workflow دستی
- نمونه‌ای از URLها در چند نوع Template انتخاب کنید.
- بازه‌های قابل‌مقایسه بسازید.
- هر مورد را بدون دیدن امتیاز الگوریتم، انسانی برچسب بزنید.
- Ruleهای مختلف را روی همان Sample اجرا کنید.
- False Positive و False Negative را جداگانه بررسی کنید.
روش آزمایش
سه Baseline قابل‌مقایسه‌اند: درصد ثابت، درصد ثابت همراه حداقل Impression و آستانه مبتنی بر توزیع تغییرات تاریخی. معیار انتخاب فقط Accuracy نیست؛ هزینه بررسی اشتباه و هزینه ازدست‌دادن افت مهم باید وزن متفاوت داشته باشند.
مثال عملی
یک URL با Click کم ممکن است با تغییر چند کلیک، درصد افت بزرگی نشان دهد. Rule حداقل Impression آن را از صف قطعی خارج می‌کند و در «نیازمند داده» می‌گذارد. برای صفحه فصلی، مقایسه سال‌به‌سال از دوره قبلی مناسب‌تر است.
اتوماسیون
Pipeline می‌تواند Baselineها را محاسبه، URLها را بر اساس Template یا Traffic Band گروه‌بندی و Thresholdها را نسخه‌بندی کند. هر تغییر Rule باید در Experiment Log ثبت شود تا خروجی دوره‌های مختلف قابل‌مقایسه بماند.
ابزارها
- Search Console API/Export
- Notebook یا Sheet برای Confusion Matrix
- Crawler برای Template و وضعیت فنی
- بازبینی انسانی برای Ground Truth موقت
خروجی
خروجی آزمایش شامل Rule Version، Sample Definition، تعداد موارد قابل‌ارزیابی، False Positive/Negative و مثال‌های مرزی است. بدون Dataset واقعی، عددی در این صفحه گزارش نمی‌شود.
نتیجه فعلی
برنده‌ای تعیین نشده است. این صفحه Concept آزمون است. پیاده‌سازی پیشنهادی ابزار در Content Decay Detector و Workflow پایه در راهنمای Search Console مستند شده است.
محدودیت‌ها
برچسب انسانی نیز خطا دارد و تعریف Decay میان تیم‌ها متفاوت است. تغییر Algorithm، SERP و Seasonality توزیع تاریخی را جابه‌جا می‌کند؛ Threshold نیازمند بازتنظیم دوره‌ای است.
چه زمانی این روش مناسب نیست
وقتی Sample کوچک، تاریخچه کوتاه یا کیفیت Export نامطمئن است، مقایسه Threshold نتیجه محکمی نمی‌دهد. ابتدا داده جمع کنید.
جمع‌بندی عملی
از درصد ثابت به‌عنوان Baseline شروع کنید، حداقل داده اضافه کنید و سپس Rule متناسب با نوسان بسازید. اتوماسیون دوره‌ای در Automations قابل طراحی است.
CTA: پیش از انتخاب Threshold، هزینه دو نوع خطا را برای تیم خود مشخص کنید.