安全性與可用性
5xx、防火牆誤擋爬蟲、Cloudflare 規則
安全性與可用性像店面的鐵門與消防通道——平常沒人注意，出事那天決定一切；而防火牆設太敏感，把送貨員（爬蟲）也擋在外面。
03為什麼是現在學
5xx 頻發會讓 Google 降低爬取、甚至暫時除名；過度防禦的 WAF/CDN 規則會誤擋 Googlebot 與 AI 爬蟲——兩種都是「無聲的流量殺手」。
04白話理解（對客戶簡報可直接引用）
三個檢查面：①穩定性——5xx 比例、尖峰時段的回應（GSC 潛審統計＋監控服務）②防火牆誤擋——Cloudflare 等的 Bot Fight/挑戰規則是否放行已驗證的搜尋引擎爬蟲 ③安全標頭——HSTS、X-Content-Type-Options 等基本盤（本站快篩有掃）。被駭的站會被掛安全警告，日常防護就是 SEO 防護。
05工具箱
- ▸GSC 潛審統計＋主機監控（UptimeRobot 等） — 5xx 與回應時間的雙保險
- ▸CDN/WAF 的 bot 規則與紀錄 — 查 Googlebot/AI 爬蟲有沒有被挑戰或封鎖
- ▸securityheaders.com — 安全標頭一鍵體檢
06怎麼做 · SOP 3 步（每步標產出物）
- 1檢查 GSC 潛審統計的 5xx 與回應時間趨勢→ 穩定性基準
- 2WAF 規則盤點：已驗證爬蟲白名單放行→ 規則修正紀錄
- 3安全標頭補齊（HSTS/nosniff/frame-options）→ 標頭設定紀錄
07場景應用（實戰經驗）
- ◆開了 Cloudflare「Under Attack」模式忘了關——所有爬蟲對著 JS 挑戰頁空轉一個月，收錄與 AI 能見度同步下滑。
08⚠️ 常見誤區
- ✕把「有裝 WAF」當成「設定正確」——防禦規則每次調整都要想到爬蟲這個合法訪客。
口訣
「門要防賊，不要防郵差。」
10里程碑 · 完成標準（可驗證）
- ☐5xx 無異常趨勢
- ☐已驗證爬蟲不被挑戰
- ☐安全標頭基本盤齊
學習者勾自己的進度；顧問勾客戶專案的交付——同一份標準，兩種用法。
12檢核方式與依據出處
程式自動判定：輸入網址，掃描引擎自己爬、自己打 API、自己判定。
- 🟢 官方明文Google：HTTP 網路錯誤對爬取的影響 ↗
- 🟢 官方明文OWASP：安全標頭建議 ↗
依據等級決定計分權重（🟢×3／🔵×2／⚠️×1）——權重量的是「依據有多硬」， 不是「我們覺得多重要」。查無權威文件的判準，誠實標「業界慣例」。