1、robots.txt可以告訴百度您網(wǎng)站的哪些頁面可以被抓取，哪些頁面不可以被抓取。 2、您可以通過Robots工具來創(chuàng)建、校驗(yàn)、更新您的robots.txt文件，或查看您網(wǎng)站robots.txt文件在百度生效的情況。 3、Robots工具暫不支持https站點(diǎn)。 4、Robots工具目前支持48k的文件內(nèi)容檢測(cè)，請(qǐng)保證您的robots.txt文件不要過大，目錄最長(zhǎng)不超過250個(gè)字符。
閩公網(wǎng)安備35020302001614號(hào)
閩ICP備2021011570號(hào)-1
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證：閩B2-20220125
