35.網路爬蟲在訪問網站之前，會檢查網站根目錄下的哪個檔案來獲取網站允許爬取或禁止爬取的規則？
(A) robots.txt
(B) index.html
(C) htaccess
(D) sitemap.xml

答案：登入後查看
統計： A(0), B(1), C(0), D(0), E(0) #3807051