رفتن به محتوای صفحه
BLOG

راهنمای کامل اتصال Screaming Frog به ChatGPT با MCP

آموزش عملی اتصال Screaming Frog SEO Spider به ChatGPT با MCP و OpenAI Secure Tunnel در ویندوز؛ از آماده‌سازی Database و MCP Server تا ساخت Bridge، عیب‌یابی و اجرای اولین Crawl.

تصویر شاخص اتصال Screaming Frog به ChatGPT با MCP و OpenAI Secure Tunnel

هدف این راهنما این است که کاربر تازه‌کار فقط با دنبال‌کردن مراحل، بدون نیاز به شناخت قبلی از MCP یا Tunnel، بتواند Screaming Frog محلی خود را به ChatGPT متصل کند. علاوه بر مسیر موفق، خطاهای واقعی‌ای که در حین راه‌اندازی رخ داد نیز توضیح داده شده‌اند تا کاربر بداند چه زمانی باید روش Direct HTTP را کنار بگذارد و از Bridge استفاده کند.

نکته درباره تصاویر: در این نسخه، تا جای ممکن از اسکرین‌شات‌های واقعی همان راه‌اندازی و تصاویر رسمی Screaming Frog استفاده شده است. تصاویر حساب OpenAI و ChatGPT از مسیر واقعی همین اتصال گرفته شده‌اند. فقط دیاگرام‌ها و چند تصویر آموزشی که اسکرین‌شات واقعی مناسبی برای آن‌ها در دسترس نبود با عنوان «نمای راهنما» باقی مانده‌اند.

فهرست مسیر راه‌اندازی

  • ۱ پیش‌نیازها و معماری اتصال
  • ۲ آماده‌سازی Screaming Frog و فعال‌کردن MCP Server
  • ۳ فعال‌کردن Developer mode و مجوزهای Tunnel در OpenAI
  • ۴ ساخت Tunnel و Runtime API Key
  • ۵ دانلود tunnel-client و تنظیم امن کلید در PowerShell
  • ۶ تست Direct HTTP و تشخیص خطای OAuth metadata
  • ۷ ساخت Bridge با mcp-remote و ساخت Profile نهایی
  • ۸ Doctor، اجرای Tunnel و Health Check
  • ۹ ساخت Custom MCP Server در ChatGPT و اتصال Tunnel
  • ۱۰ Tool Discovery و اولین Crawl
  • ۱۱ عیب‌یابی خطاهای واقعی
  • ۱۲ تنظیمات Crawl حرفه‌ای و تحلیل داده‌ها
  • ۱۳ امنیت، Workflow روزانه و چک‌لیست نهایی

مسیر کوتاه برای کسی که فقط می‌خواهد وصل شود

اگر عجله داری، ترتیب کار این است: Screaming Frog را روی Database بگذار؛ MCP Server را Start کن؛ Developer mode و دسترسی Tunnels را آماده کن؛ Tunnel و Runtime Key بساز؛ tunnel-client را اجرا کن؛ اگر Direct HTTP در Doctor به OAuth metadata گیر کرد، Bridge را با mcp-remote بساز؛ سپس Custom MCP را در ChatGPT با Connection = Tunnel و Authentication = No authentication ایجاد کن؛ در یک New Chat اتصال را از Tools انتخاب کن و ابتدا Tool Discovery را تست کن.

پیش‌نیازهای اتصال Screaming Frog MCP به ChatGPT
چهار پیش‌نیاز اصلی قبل از شروع

۱- پیش‌نیازها

  • Screaming Frog SEO Spider با لایسنس پولی و نسخه‌ای که MCP را پشتیبانی می‌کند. طبق مستند رسمی Screaming Frog، MCP در نسخه رایگان فعال نیست.
  • Storage Mode روی Database. این حالت برای MCP لازم است.
  • Node.js و ابزارهای npm و npx در ویندوز، چون مسیر Bridge این راهنما از mcp-remote استفاده می‌کند.
  • حساب OpenAI با Developer mode و دسترسی لازم به Tunnels در Platform organization.
  • اینترنت پایدار برای ارتباط tunnel-client با api.openai.com و دسترسی Screaming Frog به سایت مقصد.
  • PowerShell ویندوز و دسترسی برای اجرای فایل tunnel-client.exe.

برای کاربر تازه‌کار پیشنهاد این راهنما استفاده از رابط گرافیکی Screaming Frog در حالت Streamable HTTP است؛ چون هم Crawl را روی صفحه می‌بینی و هم اگر Spider وارد وضعیت نامناسب شود سریع‌تر متوجه مشکل می‌شوی.

۲ آماده‌سازی Screaming Frog

۲.۱ Storage Mode را روی Database بگذار

  1. از File وارد Settings شو.
  2. Storage Mode را باز کن.
  3. Database را انتخاب کن.
  4. اگر نرم‌افزار Restart خواست، Restart را انجام بده و دوباره Screaming Frog را باز کن.
تنظیم Storage Mode روی Database در Screaming Frog
اسکرین‌شات رسمی Screaming Frog از File → Settings → Storage Mode و انتخاب Database

Database بودن Storage Mode فقط یک پیشنهاد عملکردی نیست؛ Screaming Frog آن را در الزامات MCP ذکر کرده است. ضمن اینکه Crawlهای ذخیره‌شده و کار با Crawlهای قبلی نیز در این حالت پایدارتر است.

۲.۲ MCP Server را روشن کن

  1. به File → Settings → MCP Server برو.
  2. دایرکتوری مجاز فایل‌های MCP را بررسی کن. آن را روی پوشه‌ای محدود و اختصاصی نگه دار.
  3. Node.js Runtime Environment را فقط اگر به ابزارهای Node و پردازش فایل نیاز داری و به مدل اعتماد داری، فعال کن.
  4. روی Start MCP Server بزن. اگر دکمه به Stop MCP Server تبدیل شده، Server روشن است.
MCP Server فعال در Screaming Frog و آدرس Local MCP
اسکرین‌شات واقعی از MCP Server روشن در همین راه‌اندازی؛ آدرس Reachable at در سمت راست دیده می‌شود
تنظیم MCP Server و فعال‌سازی Node.js Runtime در Screaming Frog
اسکرین‌شات رسمی Screaming Frog؛ Start MCP Server و اجازه Node.js Runtime Environment در همان صفحه

در تست واقعی این راهنما آدرس محلی MCP برابر با http://127.0.0.1:11435/mcp بود. پورت سیستم تو ممکن است متفاوت باشد؛ همیشه همان URL را استفاده کن که خود Screaming Frog در Reachable at نمایش می‌دهد.

بررسی آدرس محلی MCP Server در Screaming Frog
نمای راهنما؛ چیزی که باید از صفحه MCP Server یادداشت کنی

۲.۳ بازکردن URL در مرورگر معیار کامل سلامت نیست

اگر URL محلی MCP را مستقیم در مرورگر باز کنی ممکن است خطایی درباره Accept header، text/event-stream یا mcp-session-id ببینی. این لزوماً به معنی خراب بودن MCP نیست؛ مرورگر یک MCP Client واقعی نیست و درخواست لازم را با handshake و headerهای درست نمی‌فرستد. معیار اصلی، اتصال با یک MCP Client یا تست mcp-remote است.

Example message you may see in a browser:
text/event-stream required in Accept header; Session ID required in mcp-session-id header

۳ آماده‌سازی حساب OpenAI

۳.۱ Developer mode را فعال کن

در ChatGPT وارد Settings شو، سپس Security and login را باز کن و Developer mode را فعال کن. طبق مستند رسمی OpenAI، دسترسی Developer mode جدا از مجوزهای Tunnel است؛ یعنی روشن‌بودن یکی، دیگری را تضمین نمی‌کند.

فعال‌کردن Developer Mode در تنظیمات ChatGPT
اسکرین‌شات واقعی ChatGPT از Settings → Security and login؛ Developer mode فقط برای حساب یا Workspace دارای مجوز نمایش داده می‌شود

اگر Developer mode در همین صفحه دیده نمی‌شود، برای Enterprise/Edu ابتدا باید Workspace admin دسترسی Developer mode را بدهد. طبق مستند رسمی OpenAI، این دسترسی از Permissionهای Platform Tunnel جداست.

۳.۲ مجوزهای Tunnel را بررسی کن

برای ساخت یا ویرایش Tunnel به Tunnels Read + Manage نیاز است. برای اجرای tunnel-client یا انتخاب Tunnel هنگام ساخت اتصال در ChatGPT به Tunnels Read + Use نیاز داری. این مجوزها در سطح Platform organization اعمال می‌شوند.

تنظیم مجوز Read و Use برای OpenAI Tunnels
اسکرین‌شات واقعی تنظیم Permission برای Tunnels؛ Read و Use برای استفاده از Tunnel انتخاب شده‌اند

۳.۳ Workspace درست را به Tunnel مرتبط کن

یکی از رایج‌ترین علت‌های اینکه Tunnel داخل ChatGPT نمایش داده نمی‌شود این است که Tunnel فقط به Platform organization مرتبط شده اما ChatGPT workspace هدف در association آن نیست. هنگام ساخت یا ویرایش Tunnel، workspaceای را که قرار است Custom MCP را در آن بسازی نیز اضافه کن.

۴ ساخت Tunnel و Runtime API Key

۴.۱ Tunnel را بساز

به صفحه Tunnels در Platform برو. یک Tunnel با نام واضح مثل Screaming Frog MCP بساز، توضیح کوتاهی برای کاربردش بنویس و associationهای لازم را انتخاب کن. بعد از ساخت، یک tunnel_id دریافت می‌کنی که با tunnel_ شروع می‌شود.

صفحه Tunnels در OpenAI Platform
اسکرین‌شات واقعی صفحه Tunnels قبل از ساخت اولین Tunnel
فرم ساخت Tunnel برای Screaming Frog MCP در OpenAI
اسکرین‌شات واقعی فرم ساخت Tunnel با نام، توضیح، Organization و ChatGPT workspace
Tunnel ساخته‌شده برای Screaming Frog MCP در OpenAI Platform
اسکرین‌شات واقعی Tunnel ساخته‌شده در لیست Platform

Tunnel ID کلید محرمانه محسوب نمی‌شود، اما بهتر است آن را هم بی‌دلیل در فایل‌های عمومی پخش نکنی. Runtime API Key که در مرحله بعد ساخته می‌شود محرمانه است.

۴.۲ Runtime API Key بساز

از بخش Organization API Keys یک Runtime API Key برای tunnel-client بساز. Runtime Key را با Admin API Key اشتباه نگیر. برای کار این راهنما، کلید باید مجوز لازم برای Tunnels را داشته باشد.

فرم ساخت Runtime API Key در OpenAI Platform
اسکرین‌شات واقعی فرم ساخت API Key در Platform؛ برای کلید Runtime پروژه و Permissionها را محدود نگه دار
تنظیم مجوز Read و Use برای OpenAI Tunnels
در همین راه‌اندازی Permission مربوط به Tunnels روی Read و Use قرار گرفته است

هشدار امنیتی: کلید را داخل Prompt، اسکرین‌شات، GitHub، فایل آموزشی یا متن دستور ذخیره نکن. اگر کلیدی جایی افشا شد، آن را Revoke کن و کلید جدید بساز.

۵ دانلود و آماده‌سازی tunnel-client در ویندوز

OpenAI توصیه می‌کند tunnel-client را از صفحه Tunnel یا آخرین Release عمومی GitHub دانلود کنی. در تست این راهنما نسخه Windows AMD64 استفاده شد، اما بهتر است همیشه Latest Release را بگیری و مقاله را به شماره نسخه خاص قفل نکنی.

فایل‌های tunnel-client استخراج‌شده در ویندوز
اسکرین‌شات واقعی پوشه Extract شده tunnel-client روی ویندوز؛ فایل tunnel-client Application باید دیده شود

بعد از Extract، PowerShell را در همان پوشه باز کن و نسخه را بررسی کن:

.\tunnel-client.exe --version
بررسی نسخه tunnel-client در PowerShell
اگر شماره نسخه چاپ شود، فایل اجرایی سالم است

۵.۱ Runtime Key را امن وارد PowerShell کن

به‌جای قراردادن کلید داخل command history، ابتدا آن را به‌صورت SecureString بگیر و سپس فقط داخل متغیر محیطی همین نشست PowerShell قرار بده:

$secureKey = Read-Host "Paste Runtime API Key" -AsSecureString
$env:CONTROL_PLANE_API_KEY = [System.Net.NetworkCredential]::new('', $secureKey).Password
واردکردن امن Runtime API Key در PowerShell
روش امن‌تر واردکردن Runtime API Key در PowerShell

اشتباه رایج: متن خود کلید را داخل رشته Read-Host یا داخل اسکرین‌شات قرار نده. عبارت Paste Runtime API Key فقط Prompt نمایشی است؛ کلید را بعد از Enter و به‌صورت مخفی وارد می‌کنی.

۶ تست Direct HTTP و تصمیم برای استفاده از Bridge

از نظر معماری، tunnel-client می‌تواند مستقیم به یک MCP Server HTTP وصل شود. بنابراین یک تست منطقی این است که Profile مستقیم HTTP بسازی. اگر Doctor نتیجه RESULT ok بدهد، می‌توانی Bridge را حذف کنی و همین مسیر ساده‌تر را نگه داری.

.\tunnel-client.exe init --sample sample_mcp_remote_no_auth --profile screaming-frog --tunnel-id tunnel_xxx --mcp-server-url http://127.0.0.1:11435/mcp
.\tunnel-client.exe doctor --profile screaming-frog --explain
تست Direct HTTP Profile برای Screaming Frog MCP
تست اختیاری Direct HTTP قبل از رفتن به Bridge

۶.۱ خطای واقعی OAuth metadata

در تست واقعی این راهنما، mcp_server_reachable موفق بود اما Doctor روی oauth_metadata شکست خورد و پیام protected resource metadata missing resource داد. یعنی خود Endpoint قابل دسترسی بود، ولی metadata موردانتظار مسیر OAuth برای این حالت با چیزی که tunnel-client می‌خواست هماهنگ نبود.

خطای OAuth Metadata در تست tunnel-client
نمونه الگوی خطا؛ Reachability می‌تواند PASS باشد ولی OAuth metadata FAIL شود
خروجی واقعی دستور Doctor در tunnel-client
اسکرین‌شات واقعی PowerShell از یکی از تست‌های Doctor؛ برای تشخیص مشکل همیشه سطرهای PASS، SKIP، FAIL و بخش What to do next را بخوان

در این وضعیت لازم نیست تنظیمات Screaming Frog را بی‌دلیل دست‌کاری کنی. Bridge با mcp-remote راهی تمیز برای تبدیل Streamable HTTP محلی به STDIO است؛ tunnel-client سپس STDIO را به‌عنوان Target می‌بیند و مرحله OAuth discovery برای Target محلی اجرا نمی‌شود.

۶.۲ خطاهای رایج هنگام انتخاب Sample

خطا علت راه‌حل
sample_mcp_stdio_local requires –mcp-command Sample مخصوص STDIO را با –mcp-server-url استفاده کرده‌ای برای HTTP از sample_mcp_remote_no_auth استفاده کن یا Bridge را با –mcp-command بساز
oauth discovery invalid metadata Direct HTTP به metadata مورد انتظار Doctor نرسیده اگر Reachability درست است، Bridge با mcp-remote را اجرا کن
profile_load FAIL مرحله init کامل نشده و فایل Profile ساخته نشده ابتدا init را بدون خطا تمام کن، بعد Doctor را اجرا کن

۷ ساخت Bridge با mcp remote

۷.۱ اول Node و npx را چک کن

node --version
npx --version
بررسی نصب Node.js و npx در PowerShell
اگر node و npx نسخه چاپ کنند، پیش‌نیاز Bridge آماده است

اگر npx شناخته نشد، Node.js LTS را از منبع رسمی نصب کن و PowerShell جدید باز کن. embedded Node.js داخل Screaming Frog الزاماً به این معنی نیست که npx در PATH ویندوز در دسترس است.

۷.۲ mcp remote را مستقل تست کن

قبل از اینکه Bridge را داخل Profile Tunnel قرار بدهی، آن را مستقیم اجرا کن. این تست دو چیز را ثابت می‌کند: MCP HTTP خود Screaming Frog پاسخ می‌دهد و mcp-remote می‌تواند یک STDIO server محلی روی آن بسازد.

npx -y mcp-remote@latest http://127.0.0.1:11435/mcp --allow-http --transport http-only
تست mcp-remote Bridge برای Screaming Frog MCP
سه پیام Connected، Local STDIO server running و Proxy established نشانه موفقیت Bridge هستند

اگر این پنجره روی Press Ctrl+C to exit متوقف شد، رفتار طبیعی است؛ Process در حال سرویس‌دادن است. برای ادامه تست Ctrl+C بزن تا برگردی به Prompt.

۸ ساخت Profile نهایی Bridge

حالا tunnel-client را طوری تنظیم می‌کنیم که به‌جای اجرای مستقیم CLI خود Screaming Frog، cmd.exe را اجرا کند و داخل آن mcp-remote به MCP HTTP محلی وصل شود. این روش در تست واقعی هم مشکل Quote شدن مسیر Program Files و هم خروج غیرمنتظره CLI در حالت Spawn شده را دور زد.

.\tunnel-client.exe init --sample sample_mcp_stdio_local --profile screaming-frog-bridge --tunnel-id tunnel_xxx --mcp-command 'cmd.exe /d /s /c npx -y mcp-remote@latest http://127.0.0.1:11435/mcp --allow-http --transport http-only'
ساخت Profile نهایی screaming-frog-bridge در tunnel-client
ساخت Profile نهایی با نام screaming-frog-bridge

tunnel_xxx را با Tunnel ID خودت جایگزین کن. آدرس 127.0.0.1:11435/mcp را هم فقط در صورتی عیناً نگه دار که Screaming Frog همین URL را در سیستم تو نشان داده باشد.

۸.۱ چرا Direct STDIO خود Screaming Frog را پیشنهاد اصلی نکردیم

در تست واقعی، اجرای مستقیم ScreamingFrogSEOSpiderCli.exe –mcp-stdio-server در PowerShell به‌صورت دستی باز می‌ماند، اما همان command وقتی توسط tunnel-client Spawn می‌شد با exit status 1 خارج می‌شد. علاوه بر آن، مسیر Program Files (x86) باعث خطاهای quoting شد. استفاده از mcp-remote این دو مسئله را حذف کرد و مسیر نهایی پایدارتر شد.

Example symptoms:
stdio MCP command exited — exit status 1
stdio MCP executable "C:/Program" was not found

۹ Doctor و اجرای Tunnel

۹.۱ Doctor را اجرا کن

.\tunnel-client.exe doctor --profile screaming-frog-bridge --explain

در Profile Bridge انتظار داری config_source، profile_load، tunnel_id، control_plane_api_key، mcp_target، mcp_command_executable، health_listener و ui وضعیت درست داشته باشند. برای STDIO طبیعی است که تست network reachability یا oauth_metadata با SKIP نمایش داده شود. معیار مهم این است که انتهای خروجی RESULT ok باشد.

نتیجه موفق Doctor برای Profile Bridge
خروجی موردانتظار Doctor برای Profile Bridge

۹.۲ Tunnel را اجرا کن

.\tunnel-client.exe run --profile screaming-frog-bridge
اجرای Tunnel Client با Profile Screaming Frog Bridge
این پنجره باید هنگام استفاده از ChatGPT باز و در حال اجرا بماند

در خروجی موفق معمولاً هم پیام tunnel-client started را می‌بینی و هم پیام‌های mcp-remote مثل Connected to remote server، Local STDIO server running و Proxy established successfully. اگر این Process بسته شود، Tool Discovery و Tool Callهای ChatGPT دیگر به MCP محلی نمی‌رسند.

۹.۳ Health UI اختیاری ولی مفید

tunnel-client یک رابط محلی برای سلامت اجرا دارد. در تنظیم پیش‌فرض تست ما آدرس http://127.0.0.1:8080/ui بود. این صفحه برای تشخیص سریع Running، Readiness و Profile مفید است.

رابط Health UI محلی tunnel-client
نمای راهنما از Health UI محلی tunnel-client

۱۰ ساخت Custom MCP Server در ChatGPT

این مرحله را فقط زمانی انجام بده که tunnel-client در حال اجراست. OpenAI هم در مستند رسمی تأکید می‌کند App discovery و MCP tool calls به Client در حال اجرا وابسته‌اند.

۱۰.۱ Create custom MCP server

  1. در ChatGPT وارد Plugins شو.
  2. از Add یا علامت + گزینه Create custom MCP server را انتخاب کن.
  3. نام را مثلاً Screaming Frog MCP و توضیح را روشن و کوتاه وارد کن.
گزینه Create custom MCP server در ChatGPT Plugins
اسکرین‌شات واقعی ChatGPT Plugins؛ از Add گزینه Create custom MCP server را بزن

۱۰.۲ Connection را روی Tunnel بگذار

  1. در بخش Connection تب Tunnel را انتخاب کن.
  2. Tunnel ساخته‌شده را از لیست انتخاب کن یا tunnel_id معتبر را وارد کن.
  3. اگر Tunnel در لیست نیست، workspace association و مجوز Tunnels Read + Use را دوباره بررسی کن.
فرم Create custom MCP server در ChatGPT
اسکرین‌شات واقعی فرم Create custom MCP server قبل از تکمیل تنظیمات
انتخاب Tunnel برای اتصال Screaming Frog MCP در ChatGPT
اسکرین‌شات واقعی پس از انتخاب Connection = Tunnel و واردکردن Tunnel

۱۰.۳ Authentication را روی No authentication بگذار

در مسیر Bridge ما احراز هویت اپلیکیشن در MCP محلی نداریم؛ tunnel-client با Runtime Key خودش به Control Plane وصل است. بنابراین هنگام ساخت Custom MCP، Authentication را روی No authentication بگذار، پیام اعتماد را بخوان و تأیید کن.

تنظیم No authentication برای Custom MCP در ChatGPT
اسکرین‌شات واقعی Authentication = No authentication و پیام اعتماد Custom MCP

۱۰.۴ Connect را بزن

بعد از Create ممکن است یک Dialog با عنوان Connect Screaming Frog MCP ببینی. روی Connect بزن. اگر فقط پیام موفقیت ظاهر شد و صفحه جدیدی باز نشد، طبیعی است؛ اتصال ثبت شده و مرحله بعد استفاده از آن داخل یک Conversation جدید است.

تایید اتصال Screaming Frog MCP در ChatGPT
اسکرین‌شات واقعی Dialog اتصال؛ روی Connect Screaming Frog MCP بزن. بعد از موفقیت بازشدن صفحه جدید لازم نیست

۱۰.۵ اتصال را به یک New Chat اضافه کن

طبق راهنمای رسمی OpenAI، برای تست Tool Selection یک Conversation جدید بساز و MCP connection را از Tools menu اضافه کن. این نکته مهم است؛ چتی که قبل از ساخت Connection باز بوده ممکن است ابزار جدید را نبیند.

  1. New chat بساز.
  2. کنار Composer منوی Tools یا + را باز کن.
  3. Screaming Frog MCP را انتخاب کن و مطمئن شو Badge یا نام اتصال در Composer دیده می‌شود.
اضافه کردن Screaming Frog MCP به گفت‌وگوی جدید ChatGPT
اضافه‌کردن Screaming Frog MCP به گفت‌وگوی جدید

۱۱ Tool Discovery و اولین Crawl

۱۱.۱ اول تست Read Only بده

اولین Prompt بهتر است هیچ Crawlی شروع نکند؛ فقط از مدل بخواه Toolهای Screaming Frog را ببیند. اگر مدل ابزارهایی مثل sf_crawl، sf_crawl_progress، sf_list_crawls، sf_url_info یا Exportها را تشخیص داد، Discovery موفق است.

از Screaming Frog MCP استفاده کن و بگو چه ابزارهایی از Screaming Frog در اختیارت هست. فعلاً هیچ Crawl جدیدی شروع نکن.

تست Tool Discovery برای Screaming Frog MCP
تست امن Tool Discovery قبل از هر عملیات تغییردهنده

۱۱.۲ اولین Crawl را شروع کن

برای تست اولیه یک دامنه کوچک یا پروژه‌ای که اجازه Crawl آن را داری انتخاب کن. URL را کامل و با https:// بده و در Prompt مشخص کن فعلاً فقط Crawl شروع شود و چیزی حذف یا متوقف نشود.

با Screaming Frog MCP سایت https://example.com/ را Crawl کن. بعد از شروع فقط وضعیت Crawl را گزارش کن و فعلاً چیزی را پاک یا متوقف نکن.

اجرای اولین Crawl از ChatGPT با Screaming Frog MCP
مسیر اولین Crawl از Prompt تا sf_crawl_progress

در اجرای موفق، sf_crawl پیام شروع موفق برمی‌گرداند. سپس sf_crawl_progress می‌تواند وضعیت SpiderActiveState و تعداد Completed و Waiting را گزارش کند. بالا و پایین‌شدن Waiting حین Discovery طبیعی است؛ Spider ممکن است URLهای جدیدی پیدا کند و Queue بزرگ‌تر شود.

۱۲ خطای واقعی IllegalStateException

یکی از ارزشمندترین نکات تجربه عملی این اتصال این بود که Tool Discovery و Tunnel هر دو درست کار می‌کردند، اما sf_crawl خطای زیر می‌داد:

IllegalStateException: Tool cannot be called currently. Please check the state of the Spider

علت واقعی Tunnel نبود. پنجره Settings → MCP Server هنوز باز مانده بود؛ بنابراین رابط Screaming Frog داخل یک Dialog قرار داشت و Spider برای شروع Crawl آماده نبود. با زدن OK و برگشتن به صفحه اصلی، همان sf_crawl بدون تغییر Profile یا Tunnel موفق شد.

خطای Spider Not Ready هنگام بازماندن Settings در Screaming Frog
اگر Settings باز مانده باشد، Spider ممکن است Tool را رد کند

قاعده عملی: روشن‌بودن MCP Server مساوی Ready بودن همه Toolها نیست. قبل از Tool Call تغییردهنده، مطمئن شو هیچ Settings، File dialog یا Modal روی Screaming Frog باز نیست.

۱۲.۱ از روی Console بفهم خطا در کدام لایه است

وقتی ChatGPT Tool Call می‌فرستد، در Console Tunnel باید نشانه‌ای از tools/call یا forwarded command to MCP server ببینی. اگر هیچ Tool Call به Tunnel نمی‌رسد، سمت ChatGPT/Plugin را بررسی کن. اگر Tool Call می‌رسد ولی Spider خطا می‌دهد، مشکل به‌احتمال زیاد در MCP/Spider یا وضعیت Crawl است.

۱۳ ابزارهای مهم Screaming Frog MCP

دسته ابزار نمونه کاربرد
شروع Crawl sf_crawl شروع Crawl از یک Start URL
وضعیت sf_crawl_progress Active، Completed، Waiting و پیشرفت
کنترل sf_pause_crawl / sf_resume_crawl Pause و Resume کردن Crawl
Crawlهای قبلی sf_list_crawls / sf_load_crawl فهرست و بارگذاری Crawlهای ذخیره‌شده
SEO Export sf_export_seo_element_urls Response Code، Title، H1، Canonical و سایر عناصر
گزارش sf_generate_report ساخت Report از Crawl بارگذاری‌شده
Bulk Export sf_generate_bulk_export خروجی‌های Bulk Export
URL sf_url_info اطلاعات فنی یک URL مشخص
لینک‌ها sf_url_links Inlink و Outlink و Unique links
محتوا sf_url_content HTML یا محتوای ذخیره‌شده URL
Screenshot sf_get_url_screenshot دریافت Screenshot ذخیره‌شده URL در Crawl
فایل/Node File tools / Node tools پردازش فایل و اسکریپت در محدوده مجاز
Workflow اصلی Screaming Frog MCP از Crawl تا گزارش
Workflow رایج از شروع Crawl تا گزارش نهایی

نام و تعداد Toolها ممکن است در نسخه‌های بعدی تغییر کند. همیشه Tool Discovery همان Connection را معیار قرار بده و Prompt را براساس ابزارهایی بنویس که واقعاً در همان جلسه قابل مشاهده‌اند.

۱۴ تنظیمات Crawl حرفه‌ای قبل از Audit

MCP فقط کانال کنترل و دسترسی به داده را فراهم می‌کند؛ کیفیت Audit هنوز به Configuration خود Crawl وابسته است. قبل از Crawl واقعی باید Scope، Rendering، Discovery و Limits را متناسب با معماری سایت مشخص کنی.

  • JavaScript Rendering: برای سایت‌هایی که لینک‌ها یا محتوای اصلی را سمت Client می‌سازند.
  • Crawl All Subdomains: فقط اگر واقعاً قصد Crawl همه Subdomainها را داری.
  • Crawl Linked XML Sitemaps: اگر URLهای Sitemap باید وارد Discovery شوند.
  • Structured Data Extraction و Validation: برای Auditهای Schema.
  • Store HTML یا Rendered HTML: وقتی قصد داری بعداً Content/DOM را از طریق MCP تحلیل کنی.
  • Crawl Depth، Query String و URL Limits: برای جلوگیری از Trap در Faceted Navigation، Calendar یا Parameterهای بی‌نهایت.
  • User Agent، Rate Limit و WAF: برای سایت‌هایی که روی Botها محدودیت دارند.
تنظیمات ضروری قبل از Crawl حرفه‌ای در Screaming Frog
قبل از Audit حرفه‌ای ابتدا Scope و Rendering را درست کن، بعد سراغ تحلیل خروجی برو
انتخاب List Mode در Screaming Frog
اسکرین‌شات رسمی از رابط واقعی Screaming Frog و منوی Mode؛ برای کارهای لیستی می‌توان از List mode استفاده کرد

۱۵ بعد از Crawl چه چیزهایی از ChatGPT بخواهیم

  • 4xx و 5xxها را استخراج کن و با توجه به Inlink و اهمیت صفحه اولویت‌بندی کن.
  • Redirectها و Redirect Chainها را گزارش کن و Source URLهای لینک‌دهنده را پیدا کن.
  • Title و Meta Descriptionهای Missing، Duplicate، کوتاه یا بلند را دسته‌بندی کن.
  • H1/H2، Canonical، Noindex، Robots Directive و Indexability را تحلیل کن.
  • صفحات با Crawl Depth بالا و Unique Inlink کم را برای Internal Linking پیدا کن.
  • تصاویر Missing Alt یا فایل‌های حجیم را برای اصلاح اولویت‌بندی کن.
  • Structured Data validation را در صورت فعال‌بودن Extraction بررسی کن.
  • برای یک URL خاص، URL Info، Inlink، Outlink و HTML را کنار هم تحلیل کن.

نمونه Promptهای کاربردی

سایت https://example.com/ را Crawl کن. بعد از کامل‌شدن Crawl، 4xx و 5xxها، Redirectها، Canonicalهای مشکل‌دار، صفحات Noindex و مشکلات Title و H1 را بر اساس اثر SEO اولویت‌بندی کن.

از Crawl فعلی فقط URLهای HTML دارای 200 را بررسی کن و صفحاتی را پیدا کن که Crawl Depth بالاتر و Unique Inlink کمتری دارند. قبل از نتیجه‌گیری داده‌های واقعی Crawl را استخراج کن.

برای URL مشخص‌شده اطلاعات URL، Inlinkها و Outlinkهای Hyperlink را بگیر و توضیح بده آیا مشکل Internal Linking دارد یا نه.

Crawl فعلی را متوقف یا پاک نکن. فقط Progress را بررسی کن و تعداد Completed، Waiting و State را بگو.

۱۶ عیب‌یابی لایه به لایه

ترتیب عیب‌یابی Screaming Frog MCP، Tunnel و ChatGPT
همیشه عیب‌یابی را از Spider شروع کن و بعد به MCP، Tunnel و ChatGPT برو
نشانه احتمال بیشتر اقدام
بخش MCP Server نیست نسخه یا لایسنس نامناسب نسخه سازگار و لایسنس را بررسی کن
MCP خاموش است Server Start نشده Start MCP Server را بزن
Browser خطای header/session می‌دهد مرورگر MCP Client نیست با mcp-remote یا MCP Client تست کن
Doctor: profile_load FAIL Profile ساخته نشده init را بدون خطا کامل کن
Doctor: key FAIL Runtime Key در Environment نیست کلید را در همان PowerShell ست کن
Doctor: oauth_metadata FAIL Direct HTTP metadata ناسازگار به Bridge mcp-remote برو
mcp-remote وصل نمی‌شود MCP URL/Server مشکل دارد آدرس Reachable at و Start MCP Server را چک کن
Tunnel در ChatGPT نیست Association یا Use permission Workspace و Tunnels Read + Use را بررسی کن
ابزارها دیده نمی‌شوند Connection به Chat اضافه نشده New Chat و انتخاب Plugin از Tools
tools/call نمی‌رسد سمت ChatGPT/Tunnel Plugin و Client running را بررسی کن
tools/call می‌رسد ولی Crawl خطا دارد Spider آماده نیست Modalها را ببند و State را بررسی کن
403 در Crawl WAF یا Bot protection User Agent، Rate و Ruleهای WAF را چک کن

۱۷ امنیت و حریم خصوصی

Screaming Frog صراحتاً هشدار می‌دهد که با فعال‌کردن MCP باید مطمئن شوی نرم‌افزار توسط کسی غیر از کاربر دارای لایسنس استفاده نمی‌شود و مسئولیت داده‌ای که از طریق MCP ارسال یا خوانده می‌شود با خود کاربر است. Node Tools نیز اجرای اسکریپت و نصب Package را ممکن می‌کنند و باید فقط در محیط مورد اعتماد فعال شوند.

مرزهای امنیتی اتصال Screaming Frog MCP
چیزهایی که نباید منتشر شوند و بخش‌هایی که باید محدود بمانند
  • Runtime API Key را در Secret/Environment نگه دار؛ داخل مقاله، چت عمومی یا Screenshot نگذار.
  • Allowed MCP directory را به یک مسیر محدود و مخصوص خروجی‌های SEO محدود کن.
  • Node Tools را فقط زمانی فعال کن که واقعاً به آن‌ها نیاز داری و مدل/محیط مورد اعتماد است.
  • به نقش‌ها فقط مجوز موردنیاز Tunnel را بده؛ از Permission گسترده غیرضروری پرهیز کن.
  • اگر یک Key افشا شد، Revoke و Rotate کن. حذف پیام یا Screenshot به‌تنهایی کافی نیست.

۱۸ Workflow روزانه بعد از یک‌بار راه‌اندازی

بعد از اینکه Tunnel و Profile ساخته شدند، لازم نیست هر روز همه مراحل را تکرار کنی. برای استفاده روزمره کافی است Screaming Frog و MCP Server را آماده کنی، Runtime Key را در محیط در دسترس داشته باشی، tunnel-client run را اجرا کنی و در ChatGPT یک Conversation جدید با Screaming Frog MCP بسازی.

چک‌لیست روزانه اتصال Screaming Frog MCP به ChatGPT
پنج کار روزانه برای شروع یک جلسه جدید

۱۹ چک لیست نهایی اتصال موفق

  • □ Screaming Frog دارای لایسنس و نسخه سازگار با MCP است.
  • □ Storage Mode روی Database است.
  • □ MCP Server روشن است و Reachable at یک URL محلی نشان می‌دهد.
  • □ node و npx در ویندوز قابل اجرا هستند.
  • □ Tunnel در Platform ساخته شده و Workspace درست به آن مرتبط است.
  • □ Runtime API Key با مجوز لازم ساخته شده و افشا نشده است.
  • □ mcp-remote به URL محلی وصل می‌شود و Proxy established successfully می‌دهد.
  • □ Profile screaming-frog-bridge ساخته شده است.
  • □ Doctor با RESULT ok تمام می‌شود.
  • □ tunnel-client run باز و در حال اجراست.
  • □ Custom MCP در ChatGPT با Connection = Tunnel و No authentication ساخته شده است.
  • □ در New Chat اتصال Screaming Frog MCP از Tools انتخاب شده است.
  • □ Tool Discovery موفق است.
  • □ هیچ Settings/Dialog مسدودکننده در Screaming Frog باز نیست.
  • □ یک Crawl آزمایشی با sf_crawl شروع و با sf_crawl_progress مانیتور می‌شود.

۲۰ جمع‌بندی

اتصال Screaming Frog به ChatGPT را بهتر است یک زنجیره چهارلایه ببینی: Spider باید Ready باشد؛ MCP Server محلی باید فعال باشد؛ tunnel-client باید درخواست OpenAI را به Target محلی برساند؛ و ChatGPT باید Connection را در همان Conversation داشته باشد. مسیر Bridge این راهنما یک لایه mcp-remote بین HTTP محلی و tunnel-client اضافه می‌کند تا مشکل OAuth metadata در Direct HTTP و ناسازگاری‌های اجرای مستقیم CLI در ویندوز دور زده شود.

وقتی این زنجیره برقرار شود، ChatGPT دیگر فقط درباره SEO توضیح نمی‌دهد؛ می‌تواند Crawl واقعی را شروع کند، وضعیت را بخواند، Export بگیرد، Inlink/Outlink یک URL را بررسی کند و داده فنی Screaming Frog را وارد Workflow تحلیلی کند. بااین‌حال تصمیم درباره Scope Crawl، اولویت مشکل و اقدام نهایی SEO همچنان باید بر اساس هدف کسب‌وکار و قضاوت متخصص انجام شود.

منابع رسمی و لینک های به روز

OpenAI Secure MCP Tunnel

OpenAI Platform Tunnels

OpenAI tunnel-client latest release

ChatGPT Plugins

Screaming Frog SEO Spider User Guide — MCP Server

Screaming Frog SEO Spider FAQ

تاریخ بازبینی این نسخه: ۵ اکتبر ۲۰۲۶. چون MCP و Tunnel سریع تغییر می‌کنند، برای دانلود tunnel-client و نام منوهای ChatGPT همیشه مستند رسمی و رابط فعلی حساب خودت را معیار قرار بده.