大吉时时彩

    1. <legend id="obzyn"></legend>
      
      
    2. <legend id="obzyn"><i id="obzyn"></i></legend>
          <acronym id="obzyn"></acronym>
        1. <span id="obzyn"></span>
          1. <track id="obzyn"><i id="obzyn"><del id="obzyn"></del></i></track>

                當前位置:首頁 >  站長 >  搜索優化 >  正文

                運營筆記:是時候了解蜘蛛爬取原理了!揭秘收錄難題

                 2020-04-30 11:09  來源: A5用戶投稿   我來投稿   swallow2009的個人主頁 撤稿糾錯

                  短視頻,自媒體,達人種草一站服務

                很多人在做SEO的時候,搞不清蜘蛛爬取的原理或者對收錄索引都搞不清關系,這篇文章主要針對實戰來講解蜘蛛和收錄的關系,不講原理,只講干貨和經驗。

                首先我們提到蜘蛛可能就可能想到IP,比如以下這些;

                220.181.108.89專用抓取首頁IP 權重段,一般返回代碼是304 0 0代表未更新。

                220.181.108.94專用抓取首頁IP 權重段,一般返回代碼是304 0 0代表未更新。

                220.181.108.97專用抓取首頁IP 權重段,一般返回代碼是304 0 0代表未更新。

                220.181.108.80專用抓取首頁IP 權重段,一般返回代碼是304 0 0代表未更新。

                220.181.108.77 專用抓首頁IP 權重段,一般返回代碼是304 0 0代表未更新。

                是不是很難理解?但是如果做過網絡維護、或者局域網組網的就能明白,其實每個IP對應的就是一臺電腦,每組服務器組對應的就是網段。

                比如,220.181.108.x這個網段,我們暫且叫收錄服務器組,這個服務器組下面有電腦ABCDE,對應的IP,每臺電腦上裝著相應的收錄程序。

                那么這樣是不是清楚了呢?比如你提交一個鏈接到百度,那么相當于把這個鏈接提交到收錄服務器組的C號電腦。

                比如你提交了1、2、3個鏈接,這三個鏈接分別提交到了收錄服務器組的C、D、E號電腦,所以你查看日志的時候會發現,這三條鏈接對應不同的IP,也就是對應著不同的電腦。

                那為什么提交3條鏈接會提交到三臺不同電腦呢?我個人猜測,或許提交的數據太多,同一臺電腦處理不了,所以采取了分布處理方式。(個人猜測,并非是研究證明,或許是更高級的處理方式)。

                我昨天針對這個做了一個測試,寫了3篇原創文章,發布后,我以最短的時間查看蜘蛛爬取情況,結果這三篇文章,分別爬取的IP是;

                116.179.32.135——服務器1

                220.181.108.122——服務器2

                220.181.108.180——服務器3

                第一篇文章寫完后,文章過幾分鐘秒收錄,然后我模仿第一篇寫作框架,繼續寫第二篇,第二篇也過幾分鐘秒收,然后接著寫第三篇,可惜的是,第三篇沒有收錄。

                但第二天,這三篇全部收錄,也就是說,第三篇變成了隔天收錄。

                我又查看了116.179.32.135這個IP,這個IP屬于山西省陽泉市 聯通,目前很多人都奇怪現在出現了116.179.32.X網段的蜘蛛,現在可以確定 的是,這個網段就是百度蜘蛛,除了nslookup可以驗證外,以下幾點也是證據;

                蜘蛛爬身上是報喜?是時候了解蜘蛛爬取原理了!揭秘收錄難題!

                另外百度李總裁老家也是陽泉的,所以幾個證據足以說明,搜索服務器一部分也搬到了山西。

                結合上面實戰的經驗包括以往收錄爬取的蜘蛛分析,只要是鏈接提交到116.179.32.135,或者220.181.108.122、220.181.108.180等等,那么鏈接必定收錄,所以唯一解開收錄密碼的難點在于,如果控制鏈接提交到這些服務器?

                甚至有人戲謔稱,220開頭的是官方蜘蛛,而116開頭是老家蜘蛛,呵呵,希望大佬一起來研究這個問題。

                文章首發運營正經說:https://www.yyzjs.cn/zhanzhang/779.html

                申請創業報道,分享創業好點子。點擊此處,共同探討創業新機遇!

                作者: swallow2009    /    文章:30篇

                相關文章

                榜單

                熱門排行

                信息推薦

                掃一掃關注最新創業資訊
                响水| 平陆| 卢氏| 特克斯| 兴义| 邱县| 周宁| 蕲春| 南平| 温宿| 特克斯| 繁昌| 建湖| 岳池| 西乌珠穆沁旗| 简阳| 陇西| 郑州| 礼县| 高青| 沙县| 广汉| 景泰| 沙湾| 平谷| 新安| 定西| 仪陇| 长海| 内黄| 黄冈| 望奎| 邕宁| 亳州| 清镇| 昌江| 哈密| 海北| 湘乡| 临洮| 韶关| 大余| 承德县| 峨眉山| 天台| 舒兰| 北镇| 隰县| 黎城| 吕梁| 德格| 北镇| 荣成| 五莲| 榆社| 炎陵| 西连岛| 桓仁| 勃利| 安仁| 乌审召| 大竹| 那日图| 织金| 五营| 兴城| 略阳| 凤凰| 怀仁| 长海| 会东| 和龙| 资源| 温泉| 旺苍| 文登| 聊城| 特克斯| 广南| 清镇| 灵邱| 汕尾| 绍兴| 泾源| 黎平| 双流| 陵县| 贵阳| 正安| 头道湖| 乌拉特前旗| 舟山| 西沙| 葫芦岛| 囊谦| 鹤壁| 永顺| 汾阳| 浏阳| 桂林农试站| 黄冈| 玛沁| 两当| 小灶火| 康山| 桥口| 宜州| 宜阳| 东丽| 诺木洪| 呼伦贝尔| 长乐| 南漳| 神木| 兴隆| 社旗| 惠东| 于田| 齐河| 墨玉| 上蔡| 上虞| 兴海| 托里| 中卫| 瑞金| 白云鄂博| 灵宝| 成山头| 伊宁县| 凉城| 峨山| 渠县| 大武口| 沙湾| 白沙| 宁陵| 阜城| 东川| 六合| 佛坪| 石拐| 石景山| 金沙| 普兰店| 招远| 贡山| 中甸| 伽师| 深圳| 阿拉山口| 长顺| 梁平| 平台| 景泰| 克拉玛依| 滦平| 海林| 吴忠| 清水河| 宜兰| 阿鲁科尔沁旗| 通什| 荣昌| 帕里| 且末| 呼图壁| 宾县| 屯溪| 武山| 新城子| 保靖| 广河| 锡林浩特| 乌鲁木齐牧试站| 镇康| 泰来| 利津| 牟定| 武汉| 安宁| 新邵| 介休| 曲阳| 陵川| 栾川| 镇巴| 平谷| 延安| 曲阳| 新河| 梧州| 宜兴| 临邑| 上饶县| 云和| 宜春| 万盛| 云阳| 朝克乌拉| 镇江| 姚安| 英吉沙| 吴忠| 南江| 绥芬河| 太谷| 新密| 牟定| 保靖| 德昌| 唐河| 杭锦后旗| 阿图什| 清镇| 福山| 加格达奇| 沅江| 丰县| 新巴尔虎左旗| 浩尔吐| 咸阳| 龙门| 潍坊| 社旗| 铁岭| 波阳| 日喀则| 临清| 兴宁| 桦川| 修武| 长垣| 括苍山| 新兴| 温州| 平谷| 启东| 多伦| 嵊州| 磐石| 兴平| 阜新| 漳县| 大足| 黎川| 大佘太| 东沟| 富锦| 昌都| 大兴| 天池| 平原| 青神| 牡丹江| 洞头| 禄丰| 奇台| 芜湖| 且末| 佛坪| 平阴| 正宁| 利津| 华亭| 栖霞| 承德| 台儿庄| 温宿| 玉门镇| 林芝| 怀远| 唐河| 新建| 崇礼| 舍伯吐| 万载| 牙克石| 临武| 锦屏| 马祖| 昭通| 九江| 唐河| 麦盖提| 石门| 甘南| 大城| 江油| 杭锦旗| 四子王旗| 包头| 保山| 长清| 冷湖| 姜堰| 新龙| 万年| 岳西| 科尔沁右翼中旗| 和布克赛尔| 巨野| 新建| 巩义| 贵港| 普定| 台中| 岐山| 滨海| 尼勒克| 盐都| 光泽| 灵石| 金昌| 金秀| 北镇| 彰武| 宁乡| 绥化| 江宁| 宜良| 莲花| 石泉| 石楼| 黎城| 仪陇| 金溪| 静海| 鄢陵| 浪卡子| 乳源| 信宜| 新民| 临颍| 淮南| 广汉| 淅川| 博白| 洪江| 涉县| 平谷| 包头| 锦州| 岢岚| 五指山| 永嘉| 珲春| 广汉| 大安| 黄茅洲| 梅河口| 秀山| 当涂| 漳县| 彭泽| 塔城| 山阳| 连山| 宣汉| 临沧| 永顺| 修文| 兴隆| 拉萨| 庆安| 抚远| 宁陵| 新乡| 拜泉| 满洲里| 蔡甸| 吴县东山| 内乡| 伊宁县| 新田| 嘉善| 索伦| 交口| 甘德| 道县| 东阳| 河池| 本溪| 隆安| 定陶| 蓬溪| 江阴| 特克斯| 九仙山| 永清| 夏县| 澄江| 阿瓦提| 岚皋| 鄂温克旗| 峄城| 永署礁| 安顺| 上饶县| 清原