محدودیت گوگل در باز کردن لینک‌های نتایج جستجو از طریق ریدایرکت‌ها

طبق گزارش DataForSEO و Serper، گوگل در حال محدود کردن سرعتی است که افراد می‌توانند از طریق ریدایرکت‌های (google.com/goto) برای نتایج جستجو در هر صفحه استفاده کنند. هر دوی این شرکت‌ها دسترسی به API نتایج جستجوی گوگل را می‌فروشند. به دلیل این محدودیت، داده‌های رتبه‌بندی ارائه شده توسط این سرویس‌ها ممکن است به جای URL های واقعی، حاوی URL های ریدایرکت گوگل باشند.

به گفته DataForSEO ، این محدودیت‌ها به این معناست که آن‌ها مشاهده کرده‌اند برخی از حالت‌های درخواستشان تنها بخشی از URL های مقصد را حل (resolve) می‌کنند. صفحه وضعیت Serper اولین بار در ساعت ۱:۳۰ صبح UTC در تاریخ ۳۰ اکتبر به این موضوع اشاره کرد. SerpApi ، فروشنده دیگر داده‌های جستجو نیز در همان تاریخ لینک‌های goto را برای نتایج ارگانیک ثبت کرد. نه DataForSEO و نه Serper به اطلاعیه‌ای از سوی گوگل در رابطه با این محدودیت لینک نداده‌اند و اظهارات زیر از وب‌سایت‌های خود آن‌ها استخراج شده است.

نحوه عملکرد این محدودیت

DataForSEO در مقاله مورخ ۲ نوامبر خود اعلام کرد که وقتی چندین لینک را از یک صفحه نتایج با فاصله زمانی بسیار کم باز می‌کنید، گوگل شروع به محدود کردن (throttle) بازگشت‌ها (redirects) می‌کند. هر لینک حاوی یک شناسه بر اساس صفحه نتایجی است که از آن منشأ گرفته است.

زمانی که گوگل بازگشت‌های شما را محدود می‌کند، به جای ارسال مستقیم درخواست‌های شما برای حل شدن به مقصد، صفحه‌ای را همراه با یک دکمه «Continue» باز می‌گرداند. آن دکمه تنها پس از یک دوره انتظار فعال خواهد شد. مدت زمانی که دکمه continue غیرفعال می‌ماند، با افزایش سرعت باز شدن لینک‌های قبلی، بیشتر می‌شود.

برای مثال، صفحه‌ی نتایجی را در نظر بگیرید که شامل ۱۸ لینکِ مستقیم به وب‌سایت‌های دیگر است. اگر هر ۱۸ لینک با توالی سریع درخواست شوند، ممکن است گوگل اجازه دهد ۵ تا ۶ لینک اول بلافاصله باز شوند. با این حال، ممکن است برای لینک هفتم، پیش از دسترسی به وب‌سایت، ۱ ثانیه انتظار لازم باشد. سپس ممکن است باز کردن لینک هشتم ۳ ثانیه طول بکشد. این فرآیند تا لینک پانزدهم ادامه می‌یابد، جایی که ممکن است پیش از دسترسی به آن وب‌سایت، ۴۰ ثانیه انتظار وجود داشته باشد. DataForSEO گزارش داده است که مواردی داشته‌اند که برای ۱ URL تا ۱۲۰ ثانیه منتظر مانده‌اند.

این محدودیت بر اساس صفحه‌ی نتایج است و نه بر اساس آدرس IP یا عبارت جستجو شده. همچنین، DataForSEO گزارش می‌دهد که صرفاً تغییر دادن آدرس‌های IP یا عبارت‌های جستجو، کمکی به دور زدن این محدودیت نخواهد کرد. علاوه بر این، این گزارش می‌گوید حتی اگر پیش از باز کردن تمام لینک‌ها، یک ساعت یا بیشتر صبر کنید، گوگل همچنان از همان محدودیت‌های صفحه‌ی نتایج استفاده می‌کند.

ارائه‌دهندگان داده‌های SERP چه می‌کنند

حالت Standard Priority در DataForSEO اکنون تمام URL های goto را حل می‌کند، هرچند تأخیرهای اضافه ممکن است به این معنا باشد که فرآیند اجرا زمان بیشتری می‌برد. این شرکت می‌گوید در حالت‌های High Priority و Live ، حدود نیمی از URL های goto حل می‌شوند.

صفحه وضعیت Serper بیان می‌کند که گوگل «تعداد لینک‌های نتیجه /goto را که می‌توان در هر صفحه نتایج دنبال کرد، محدود می‌کند.» اولین اصلاحیه آن‌ها سه لینک ارگانیک اول را حل کرد و نتایج چهار تا ۱۰ را به صورت لینک‌های goto بازگرداند که به گفته Serper ، حدود ۳۰ ثانیه پس از جستجو کار می‌کنند. آن‌ها یک نقطه پایانی (endpoint) به نام /resolve برای دریافت باقی‌مانده لینک‌ها اضافه کردند.

در ۳۱ اکتبر، Serper اعلام کرد که راه دیگری برای به‌دست آوردن URL های واقعی پیدا کرده است و تمام لینک‌های نتایج دوباره شامل آن‌ها هستند. این شرکت این وضعیت را «احتمالاً موقتی» نامید.

صفحه وضعیت SerpApi رویدادی مربوط به ۳۰ اکتبر را نمایش می‌دهد که نشان می‌دهد Google Search API آن، به‌جای لینک‌های معمولی برای نتایج جستجوی ارگانیک، لینک‌های goto را بازگردانده است؛ در این صفحه ذکر شده که آن‌ها این مشکل را تا ۲ نوامبر برطرف کرده‌اند. با این حال، حادثه دومی در ۳ نوامبر گزارش شده است که از بروز مشکلات متناوب با همان مسئله خبر می‌دهد. هیچ‌کدام از این دو حادثه، علت وقوع را مشخص نمی‌کنند.

چگونه لینک‌های goto به اینجا رسیدند

DataForSEO انتقال گوگل به لینک‌های www.google.com/goto در نتایج جستجو را به اواخر اوت نسبت می‌دهد. این منبع می‌گوید که این لینک‌ها قابل رمزگشایی نیستند و بنابراین، یک ابزار باید هر لینک را دنبال کند تا متوجه شود به کجا ختم می‌شود. بخش دنبال کردن لینک همان چیزی است که محدودیت جدید سرعت آن را کاهش می‌دهد.

چرا این موضوع اهمیت دارد

برخی از سرویس‌های ردیابی رتبه و همچنین گزارش‌های داخلی که از صفحات فرود برای گزارش‌دهی در سطح URL استفاده می‌کنند، ممکن است از حدود ۳۰ اکتبر به بعد، بسته به ارائه‌دهنده سرویس و نحوه ارسال درخواست‌ها، به جای آدرس‌های مقصد واقعی، ریدایرکت‌های گوگل (google.com/goto) را نمایش دهند. اگر یک URL خاص در گزارش سطح URL موجود نیست، ممکن است همچنان در یک جایگاه رتبه‌بندی نمایش داده شود و در آن آدرس، یک ریدایرکت حل‌نشده داشته باشد. پیش از گزارش کاهش در سطح URL ، بررسی کنید که آیا URL ذخیره‌شده یک ریدایرکت گوگل است یا خیر؛ همچنین با ارائه‌دهنده سرویس خود تماس بگیرید و مشخص کنید که از چه روشی برای جمع‌آوری داده‌ها استفاده شده است.

نگاه به آینده

طبق بررسی من در ۴ نوامبر، گزارش حادثه SerpApi در مورد لینک‌های goto مربوط به ۳ نوامبر، همچنان در وضعیت Identified (شناسایی‌شده) قرار دارد. Serper اعلام کرده است که در صورتی که گوگل نیز بر روش مورد استفاده خود برای بازیابی URL های واقعی محدودیت اعمال کند، این سرویس به حالت بازگشت خواهد کرد تا به‌طور خودکار سه نتیجه اول را Resolve کند و پس از تقریباً ۳۰ ثانیه، از /resolve برای دریافت مابقی نتایج استفاده نماید. DataForSEO نیز اظهار داشت که به تنظیم فرآیند پردازش خود بر اساس مشاهداتش از نحوه برخورد گوگل با Resolve کردن لینک‌های goto ادامه خواهد داد.

گزارش‌های مربوط به چند روز پایانی اکتبر تا اوایل نوامبر، باید در زمانی که ارائه‌دهندگان نحوه مدیریت Resolve کردن لینک‌های goto را تعیین کردند، مجدداً بررسی شوند.