你那是网页404了吧

from webcollector.

不是， 你可以看一下这个网页，是正常的http://36kr.com/p/5043670.html

from webcollector.

1.有些正常的网页爬取会直接出现FileNotFoundException,如http://36kr.com/p/5043670.html
2.上述网页正文的标题并不在<title>,

等标签中,而是在中,如果能访问的话, 应该也不能获取到正确的标题吧
3.获取到网页正文后,过滤出时会出现有些没有获取到,如http://www.huxiu.com/article/121959/1.html, 过滤出正文的,里面没有得到

标签里的.这个img应该是包含在正文中的

from webcollector.

FileNotFoundException麻烦贴一下日志，最好能看到异常所在行，谢谢

from webcollector.

1）标题抽取现在是简单启发规则，还没有用比较稳定的算法。
2）目前封装的正文抽取算法目前是尽量保证正文文本被包含，应用场景主要是舆情和搜索。你可以根据自己的业务调整算法，例如你希望做转载，就可以调整参数，或者加入启发式规则，让这种图片尽量被包含。

from webcollector.