<code id="9lhv9"></code>
<strike id="9lhv9"></strike>
    <th id="9lhv9"><video id="9lhv9"><span id="9lhv9"></span></video></th>
  1. <tr id="9lhv9"></tr>

    <code id="9lhv9"></code>

      <strike id="9lhv9"><sup id="9lhv9"><acronym id="9lhv9"></acronym></sup></strike>

      1. <code id="9lhv9"><nobr id="9lhv9"><track id="9lhv9"></track></nobr></code>
        1. <tr id="9lhv9"></tr>
          歡迎光臨鄭州動力無限網絡技術有限公司官方網站!
          聯系人:馮經理
          電 話:0371-60266306
          手 機:15670578472
          地 址:新鄉市衛濱區平原路華彬陽光廣場18樓1809室
          您現在所在的位置:網站首頁>>網站建設問題

          robots寫法

          2015-04-11 10071次瀏覽 分類:網站建設問題

          robots是站點與spider溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。

           robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:
                  "<field>:<optional space><value><optionalspace>"

           在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干DisallowAllow,詳細情況如下:
                  User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 DisallowAllow行的限制。

                  Disallow:
          該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。

                  Allow:
          該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。

                  使用"*"and"$"
          Baiduspider支持使用通配符"*""$"來模糊匹配url。
                  "*" 匹配0或多個任意字符
                   "$" 匹配行結束符。

          最后需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。

          下一篇:Baiduspider IP是多少 上一篇:除robots外其它禁止百度收錄的方法
          【文章來源:新鄉網絡推廣】【打印本頁】【關閉窗口

          <code id="9lhv9"></code>
          <strike id="9lhv9"></strike>
            <th id="9lhv9"><video id="9lhv9"><span id="9lhv9"></span></video></th>
          1. <tr id="9lhv9"></tr>

            <code id="9lhv9"></code>

              <strike id="9lhv9"><sup id="9lhv9"><acronym id="9lhv9"></acronym></sup></strike>

              1. <code id="9lhv9"><nobr id="9lhv9"><track id="9lhv9"></track></nobr></code>
                1. <tr id="9lhv9"></tr>
                  男同GAY18禁视频无码视频_引诱我的爆乳丰满老师_女人被男人爽到呻吟的视频_三级4级全黄