文档简介
标签：
搜索引擎增量式搜集的实现与评测
针对传统的周期性集中式搜索(Crawler)的弱点和增量式Crawler的难点，提出预测更新策略，给出判别网页更新的MD5算法、URL调度算法和URL缓存算法，描述系统各个模块的分布式构架的实现，建立测试集数据对算法进行评测。该系统在北大天网搜索引擎上运行半年多，更新周期缩短了20天，变化预测命中率达到79.4%，提高了时效性、扩展性和稳定性。关键词：增量式搜集；网页变化预测；搜索引擎
评论
加载更多
推荐下载
查看更多
精选文集
相关视频
-
RISC-V嵌入式系统开发
-
SOC系统级芯片设计实验
-
云龙51单片机实训视频教程（王云，字幕版）
-
2022 Digi-Key KOL 系列: 你见过1GHz主频的单片机吗？Teensy 4.1开发板介绍
-
TI 新一代 C2000™ 微控制器：全方位助力伺服及马达驱动应用
-
MSP430电容触摸技术 - 防水Demo演示
推荐帖子
精选电路图
-
简洁的过零调功器电路设计与分析
-
单稳态控制电路设计与分析
-
IGBT模块通过控制门极阻断过电流
-
开关电源的基本组成及工作原理
-
基于M66T旋律发生器的电路图解析
-
一个简单的红外耳机电路
