zhaoxiaohui / httpcrawler Goto Github PK

输入 如： ./siteanalyzer http://xxx.xxx.xxx.xxx/techqq/index.html check.dat [80]

Args

• 初始入口网址
• 执行完爬行之后，需要检查的URL，每行一条，最终将检查结果存放在checkresult.dat文件
• 网站端口，默认为8080

• 抓取网站链接，计算每个连接的PR(pagerank)，并建立倒排索引
• 生成PR最高的前十URL
• 指定查询URL，输出PR值等信息

本程序的结构分为三块：主运行模块、webgrap模块、urlqueue模块、urlhash模块、network模块、http_client模块、link_parse模块、crawler_http模块。八个模块完成的具体功能如表1下：

• 主运行模块
  • 负责对各个模块的调用，等待网页分析结束，并通知分析线程销毁自己，之后通知webgrap生成各个输出结果。
• webgrap模块
  • 记录网页的结点和链接关系，并能有效进行插入标记等等的操作，最后能够根据链接情况生成入度累计分表、计算Pagerank值等等功能。
• urlqueue模块
  • 记录当前分析出的网页链接，以便用于之后的链接分析。
• urlhash模块
  • 此模块主要用来对当前分析的URL进行hash计算，便于数据的存储访问。
• network模块
  • 负责socket链接的打开和关闭功能。
• http_client模块
  • 主要用来对打开的链接发送请求，取得返回内容并能分析返回结果。
• link_parser模块
  • 根据当前取得的网页内容，分析出对于本次实验有效的网页链接。
• crawler_http模块
  • 此模块主要通过线程池对urlqueue中的链接进行并行的访问，并存储link_parser的分析结果。实际上就是对其他模块的多线程控制。

运行完之后系统会打印 calculating done字样，并在同文件夹下 生成indcdf.dat top10.dat checkresult.dat文件

[email protected]