|
泰安网站优化蜘蛛爬行策略时间：2021-06-15 泰安网站优化蜘蛛爬行策略
1、深度优先（策略）：一直往前爬，直到没有链接，再返回第一层爬向下一个入口 2、广度优先（策略）:先把这一层所有入口爬完，再爬下一层。 3、吸引蜘蛛： 1）搜索引擎认为重要的页面爬行深度高，会有更多页面被收录 2）页面更新度，有规律 3）、导入链接数量0（导入到自己网站页面的链接） 4）、与首页点击距离 5）、c结构(链接比较好) 4、地址库：为了避免重复查询或抓取网址，搜索引擎会建立一个地址库记录已经被发现、但还没被抓取的页面，以及被抓取的页面。 1）来源、人工录入的种子网站。 2）、蜘蛛抓取页面后，从HTML中解析出新的链接URL，与地址库中的数据库相比，如果是地址库中没有的网址，就存入待访问的的地址库。 3）、站长通过搜索引擎页面提交表格提交进来的网址 4）、站长通过XML网站地图、站长平台提交的网址 |
