AIO 指南 · 2026 年 11 月

Shopify robots.txt.liquid 怎麼設定 AI 爬蟲?讓 ChatGPT、Perplexity、Claude 搜尋抓得到你的商店(賣美國、歐盟,2026 版)

LEVERAFE LAB 團隊 · 約 6 分鐘閱讀 · Read in English →

先說結論:大多數 Shopify 商店其實本來就允許 AI 搜尋爬蟲——Shopify 預設的 robots.txt 以 User-agent: * 開頭,並用 Allow: / 開放公開頁面[1]。真正讓商店在 ChatGPT、Perplexity、Claude 搜尋裡「消失」的,通常是舊的 robots.txt.liquid 自訂、整份改成純文字的檔案,或擋在前面的代理/防爬設定。檢查 /robots.txt,讓 OAI-SearchBot、PerplexityBot、Claude-SearchBot 照預設規則抓取[3][4][5];如果只想拒絕 AI 模型訓練,就只封鎖 GPTBot、ClaudeBot 和 Google-Extended[3][5][6]。

為什麼賣美國、歐盟的品牌要管 robots.txt?

對美國、英國、歐盟消費者來說,問 AI 助理已經是查商品的一個步驟,而 AI 能引用哪些網站,有一部分取決於你的 robots.txt。OpenAI 寫得很直接:封鎖 OAI-SearchBot 的網站「不會出現在 ChatGPT 搜尋答案中」,頂多以導覽連結出現[3]。Perplexity 表示 PerplexityBot 用於在搜尋結果中呈現與連結網站,不用來訓練基礎模型[4];Anthropic 則說停用 Claude-SearchBot 可能降低你在搜尋結果中的能見度[5]。換句話說,一行多出來的 Disallow: /,可能讓你同時在三個答案引擎少掉被引用的機會。

Shopify 商店該放行、該封鎖哪些 AI 爬蟲?

User agent所屬公司與用途我們對美國/歐盟商店的預設建議
OAI-SearchBotOpenAI:讓網站出現在 ChatGPT 搜尋[3]放行(沿用預設規則)
GPTBotOpenAI:抓取可能用於模型訓練的內容[3]自行決定;封鎖不影響 ChatGPT 搜尋[3]
ChatGPT-UserOpenAI:使用者觸發的造訪,robots.txt 可能不適用[3]不需處理
PerplexityBotPerplexity:搜尋結果,不用於模型訓練[4]放行
Claude-SearchBotAnthropic:提升搜尋結果品質[5]放行
ClaudeBotAnthropic:可能用於訓練的內容[5]自行決定
Google-ExtendedGoogle:Gemini 訓練與 grounding;不影響 Google 搜尋收錄與排名[6]自行決定(封鎖可能減少 Gemini App 的引用)

怎麼檢查商店目前的規則?(4 個步驟)

  1. 用主網域打開 https://你的網域/robots.txt[1],搜尋 User-agent: * 或任何 AI 爬蟲名稱底下,是否有單獨一行的 Disallow: /。
  2. 到 Shopify 後台 線上商店 → 佈景主題 → ⋯ → 編輯程式碼,找 templates/robots.txt.liquid[1]。沒有這個檔案,就代表你用的是 Shopify 預設版本。
  3. 如果有,確認它仍保留 robots.default_groups 迴圈,還是被整份換成純文字。Shopify「強烈不建議」純文字,因為規則會過時[1];舊範本也可能留著現行預設已拿掉的規則,例如 Disallow: /policies/[1]。
  4. 拿掉擋在商店前面的代理或第三方防爬設定:Shopify 已在網路層處理機器人管理,也不建議在 Shopify 前面加代理[1]。

AI 爬蟲用的 robots.txt.liquid 範本怎麼寫才安全?

保留 Shopify 的 Liquid 迴圈,預設規則才會自動更新[1][2];只有要封鎖的爬蟲,才在迴圈下方加自訂群組[2]:

{% for group in robots.default_groups %}
  {{- group.user_agent }}
  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}
  {%- if group.sitemap != blank -%}
    {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

# Optional: opt out of AI model training only
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

如果你不介意內容被用於訓練,把下面三個選用群組刪掉即可。也不要「保險起見」加上 User-agent: OAI-SearchBot + Allow: /:爬蟲只會套用最符合自己的那一組規則,專屬群組也不會和 * 合併[7],結果反而讓它無視 Shopify 對購物車、結帳和篩選系列頁的 Disallow。記得存在已發布的佈景主題——從後台上傳佈景主題不會帶入 robots.txt.liquid[1]。

robots.txt 能控制 ChatGPT、Copilot 上的 Shopify 購物嗎?

不能,這也是最多店家搞錯的地方。Shopify 說明,如果你透過 ChatGPT、Microsoft Copilot 等代理式店面銷售,商品資料是經由 Shopify Catalog 同步,與 /robots.txt 無關;封鎖爬蟲只影響開放網路上的能見度[1]。可以這樣分工:robots.txt 決定你能不能在 AI 答案裡被引用,代理式店面設定決定你能不能在裡面被購買。

AI 訓練偏好訊號接下來會怎麼變?

Anthropic 表示自 2026 年 10 月 30 日起,開始採用以 IETF aipref 工作為基礎、機器可讀的「不用於 AI 訓練」偏好訊號,但直接點名 ClaudeBot 的規則仍優先[5]。Google 則表示預計 2027 年初支援 AIPREF 訓練偏好訊號[6]。在那之前,直接寫明 user agent 的規則仍是最可預期的做法。

實用重點

  • 今天就打開 /robots.txt,確認沒有任何 AI 搜尋爬蟲被封鎖。
  • 不要把 Liquid 迴圈換成純文字,自訂群組一律加在迴圈下方。
  • 只有確定要拒絕訓練時才封鎖訓練爬蟲,也別替搜尋爬蟲另開 Allow: / 群組。
  • ChatGPT/Copilot 的商品同步請到代理式店面設定管理,不是 robots.txt。

FAQ

Shopify 預設的 robots.txt 會擋 ChatGPT 或 Perplexity 嗎?

不會。Shopify 預設檔案以 User-agent: * 群組開頭並允許公開頁面,所以除非自訂範本或 App 另外加了封鎖,OAI-SearchBot、PerplexityBot、Claude-SearchBot 都能抓商品、系列與部落格頁。

要不要在 robots.txt 加「User-agent: OAI-SearchBot / Allow: /」?

通常不用。為某個爬蟲建立專屬群組後,它就不再套用 * 群組,會失去 Shopify 對購物車、結帳與篩選頁的 Disallow。專屬群組只在要封鎖時才加,或把預設規則一起複製進去。

能不能拒絕 AI 訓練,但保留 AI 搜尋曝光?

可以。OpenAI、Anthropic、Google 都把訓練與搜尋分成不同代號:封鎖 GPTBot、ClaudeBot、Google-Extended,讓 OAI-SearchBot、Claude-SearchBot、PerplexityBot 照預設規則抓取即可。

封鎖 AI 爬蟲,商品會從 ChatGPT 的代理式結帳消失嗎?

不會。Shopify 說明代理式店面(agentic storefronts)的商品資料是透過 Shopify Catalog 同步,與 robots.txt 無關;要控制請到代理式店面設定。

改完 robots.txt,ChatGPT 或 Perplexity 多久會生效?

OpenAI 表示搜尋結果約需 24 小時調整;Perplexity 表示最多 24 小時。Shopify 端的檔案修改則是立即生效。

想請我們檢查你的 Shopify robots.txt 與 AI 搜尋能見度(美國、英國、歐盟市場)?來信 ypeasystore@gmail.com,或到我們的聯絡頁面留言。English readers: read the English version.

資料來源

  1. Shopify Help Center — Editing robots.txt.liquid (incl. “Controlling AI crawler access”)
  2. Shopify.dev — Customize robots.txt
  3. OpenAI — Overview of OpenAI Crawlers
  4. Perplexity — Perplexity Crawlers
  5. Claude Help Center — Does Anthropic crawl data from the web, and how can site owners block the crawler?
  6. Google Crawling Infrastructure — Google’s common crawlers (Google-Extended)
  7. Google Search Central — How Google interprets the robots.txt specification

不確定 AI 搜尋看不看得到你的商店?

把商店網址寄給我們,我們會回覆一份簡短的 AIO 檢查:robots.txt 與佈景主題範本、AI 爬蟲存取狀況,以及哪些頁面最有機會被 ChatGPT、Perplexity、Claude 引用。