OpenAI 現在最知名的服務就是：ChatGPT
不管詢問問題、資料蒐集等等，最基本的 Crawler(Bot) 都還是需要的，而且現在來的量越來越兇，稍微紀錄一下有哪些~
OpenAI 的 Crawler Bot User Agent
OpenAI 的 Crawlers List 官方文件：Overview of OpenAI Crawlers - OpenAI API
OennAI 目前的 Crawler 有分下面幾個：
- OAI-SearchBot：OAI-SearchBot is for search. 搜尋用的 Search engine bot
- Full user-agent string will contain： OAI-SearchBot/1.0; +https://openai.com/searchbot
- IP: https://openai.com/searchbot.json
- 遵守 robots.txt
- ChatGPT-User：ChatGPT-User is for user actions in ChatGPT and Custom GPTs. 使用者問問題(問 ChatGPT 或 CustomGPT 問題)後，他會幫忙造訪網頁，將資料整理回給使用者
- Full user-agent string： Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
- IP: https://openai.com/chatgpt-user.json
- GPTBot：GPTBot is used to make our generative AI foundation models more useful and safe. 爬資料回去做 train data 的 Bot
- Full user-agent string：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot
- IP: https://openai.com/gptbot.json
相關網頁
