1. <dd id="t8ofn"><noscript id="t8ofn"><dl id="t8ofn"></dl></noscript></dd>
          <dd id="t8ofn"><track id="t8ofn"><dl id="t8ofn"></dl></track></dd>
        1. <button id="t8ofn"><acronym id="t8ofn"><cite id="t8ofn"></cite></acronym></button>

                <rp id="t8ofn"></rp>

                  <ol id="t8ofn"><object id="t8ofn"><blockquote id="t8ofn"></blockquote></object></ol><rp id="t8ofn"></rp>
                    <tbody id="t8ofn"><pre id="t8ofn"></pre></tbody>
                  1. <th id="t8ofn"><pre id="t8ofn"></pre></th>
                    <th id="t8ofn"></th>
                    
                    

                        <span id="t8ofn"></span>
                        <span id="t8ofn"></span>
                      1. <nav id="t8ofn"><big id="t8ofn"></big></nav>
                        <em id="t8ofn"></em>

                        1. <button id="t8ofn"><object id="t8ofn"></object></button>
                          1. <tbody id="t8ofn"><p id="t8ofn"></p></tbody>

                            <li id="t8ofn"><tr id="t8ofn"></tr></li>
                            <rp id="t8ofn"></rp>

                          2. <legend id="t8ofn"><noscript id="t8ofn"><dl id="t8ofn"></dl></noscript></legend>

                            <tbody id="t8ofn"><p id="t8ofn"></p></tbody>

                            <s id="t8ofn"><object id="t8ofn"><listing id="t8ofn"></listing></object></s>

                            seo行業資訊

                            spider抓取過程中涉及的網絡協議

                            發布日期:2013-08-14 瀏覽次數:2582
                            搜索引擎與資源提供者之間存在相互依賴的關系,其中搜索引擎需要站長為其提供資源,否則搜索引擎就無法滿足用戶檢索需求;而站長需要通過搜索引擎將自己的 內容推廣出去獲取更多的受眾。spider抓取系統直接涉及互聯網資源提供者的利益,為了使搜素引擎與站長能夠達到雙贏,在抓取過程中雙方必須遵守一定的 規范,以便于雙方的數據處理及對接。這種過程中遵守的規范也就是日常中我們所說的一些網絡協議。以下簡單列舉:
                              http協議:超文本傳輸協議,是互聯網上應用最為廣泛的一種網絡協議,客戶端和服務器端請求和應答的標準??蛻舳艘话闱闆r是指終端用戶,服務器端即指網 站。終端用戶通過瀏覽器、蜘蛛等向服務器指定端口發送http請求。發送http請求會返回對應的httpheader信息,可以看到包括是否成功、服務 器類型、網頁最近更新時間等內容。
                              https協議:實際是加密版http,一種更加安全的數據傳輸協議。
                              UA屬性:UA即user-agent,是http協議中的一個屬性,代表了終端的身份,向服務器端表明我是誰來干嘛,進而服務器端可以根據不同的身份來做出不同的反饋結果。
                              robots協議:robots.txt是搜索引擎訪問一個網站時要訪問的第一個文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網站根目錄下,且文件名要小寫。詳細的robots.txt寫法可參考 http://www.robotstxt.org 。百度嚴格按照robots協議執行,另外,同樣支持網頁內容中添加的名為robots的meta標 簽,index、follow、nofollow等指令。

                            相關文章

                            ·SEO你除了技術還剩下什么
                            ·細說360搜索引擎的最新動態
                            ·網站優化要堅持四大更新規律
                            ·分析百度算法調整 展望SEO未來
                            ·立足用戶與搜索引擎定位站點Title的價值
                            ·網站關鍵詞如何利用流量點擊做上去
                            ·淺析網站要做好用戶體驗的核心在哪里
                            ·如何輕松實現所寫文章被各大論壇推薦呢?
                            ·百度從自身做起 用戶體驗擺第一
                            ·什么因素會對網站關鍵詞的排名有影響
                            国产亚洲h网综合h网_国产成人精品_高挑人妻无奈张开腿_俄罗斯真人性做爰