robots.txt文件的重要作用意義

2019-08-06
什么是robots.txt文件?
搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。
SEO的角度,robots.txt文件是一定要設置的,原因:
網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
一些沒有關鍵詞的頁面,屏蔽掉更好。
一般情況下,站內的搜索結果頁面屏蔽掉更好。





全國服務熱線:0571-87998705  
地址:浙江省杭州市 拱墅區(北部軟件園)祥園路39-1號 5F

Copyright © 2015-2019  杭州壹一信息技術有限公司 版權所有 浙ICP備18009611號-1

壹一信息專注互聯網營銷策劃推廣,SEO優化網站建設萬詞霸屏整合網絡營銷,為廣大企業提供一站式全方位網絡推廣服務!

天天中彩票是正规网站 167棋牌十年信誉下载 中国体育彩票浙江20选5 上海天天彩选四开奖公告 快乐双彩技巧 13637精选24码 贵州弈乐麻将 六肖免费公开中特 闲来陕西麻将app 英超新赛季 湖南幸运赛车开奖记录 手机版北京pk10预测 双色球三角算法 襄阳卡五星麻将免费 皇马欧冠三连冠 广东南粤风彩36选 深圳风采开奖走势图