新聞中心

• 運營(yíng)知識 | 網(wǎng)站的根目錄下的robots.txt文件有什么作用？

  　　在網(wǎng)站建設過(guò)程中我們會(huì )有一部分內容不希望被搜索引擎抓取到或者不希望其在互聯(lián)網(wǎng)中出現，那么要怎么辦呢?我要怎么跟搜索引擎說(shuō)你不要抓取我的xx內容呢?這時(shí)候robots就派上用場(chǎng)了。

  　　Robots.txt是存放于網(wǎng)站根目錄下用于規定搜索引擎對網(wǎng)站內容抓取范圍的文本文件，就這么一句話(huà)可以解釋robots.txt是什么，但是我們需要注意的幾點(diǎn)：

  　　1.robots.txt必須存放在網(wǎng)站的根目錄下。

  　　2.其命名必須為robots.txt

  　　3.Robots.txt是搜索引擎訪(fǎng)問(wèn)網(wǎng)站的第一個(gè)頁(yè)面

  　　4.Robots.txt中必須指明user-agent