知-乎-爬-取-与-存-档-程-序

该项目使用 selenium 模拟浏览器提取问题和回答信息，并在本地 存档，以及记录它们的版本；由于使用模拟浏览器的方式，它的效 率并不支持用于爬取用于大数据分析的材料；但您可以使用它相对 高效且有条理地记录您的阅读。

• 以 markdown 存储单个回答与问题的文本, 并用 git 进行管理；
• 问题与回答使用 sqlite3 关系型数据库管理，同时数据库管理 它们的历史版本，以 hexsha 的形式对应 git commit；
• 使用库文件夹保存这些数据，您可以转移您的库文件夹；不久 将实现多个仓库的合并；

git log 管理版本:

在 obsidian 中查看回答：

该项目基于 python, 关键依赖如下：

beautifulsoup4==4.12.2
GitPython==3.1.40
PyYAML==6.0.1
selenium==2.52.0
ipykernel==6.25.1 # 如果你要使用 jupyter

详细依赖请见requirements.txt。
注意：其中 selenium 的版本要求较为严格，这里使用的是旧版； 由于使用最新版 (4.14.0; 4.15.0) 时出现了一些尚难以解决的错 误，且 selenium 在更新时涉及兼容性的改动较多同时没有及时针 对改动更新文档，因此使用了相对稳定的旧版本；
这里使用的旧版本是 2.52.0，这一版本不在 conda 源中，建议使 用 pip 安装这一依赖；

除了安装 python 环境依赖，还需要：

• 安装 git
• 准备 webdriver
• 在 src/config.py 中作必要的配置，以使得程序可以找到您 电脑的路径，以及其他

git 是一个版本管理工具，这个项目使用它的 python binding， 以实现网络内容的版本管理；如果您还没有安装 git，请在您的计算机上安装它；

各大浏览器都有相应的 webdriver，这是一个可执行程序，以可 调试的方式运行浏览器；selenium 通过运行 webdriver 来查看网 站；
可以参考链接 进行下载

必要配置为修改字典 drivers 中的 webdriver 路径为其真实所 在路径；其他配置请见自定义

使用命令行调用 python 脚本:
正在实现 使用 jupyter notebook:

• 运行 src/controller.ipynb

.
├── README.md
└── src
    ├── common.py  # 通用的数据类型
    ├── config.py  # 配置
    ├── controller.ipynb  # 程序 jupyter 入口
    ├── controller.py     # 程序 .py 入口
    ├── data_handler      # 管理数据的部分
    │   ├── database.py   # 数据库操作
    │   ├── initialization.py  # 创建仓库
    │   ├── __init__.py   
    │   ├── master.py     # 协调数据库与 git
    │   └── vcs.py        # git 操作
    ├── util              # 工具函数
    │   ├── db.py
    │   ├── file_rendering.py
    │   ├── logger.py
    │   ├── time.py
    │   └── web_util.py
    └── web_parser        # 爬取部分
        ├── answer_parser.py  # 答案爬取器
        ├── __init__.py   
        └── question_parser.py # 问题爬取器

该项目分为两个主要部分，分别是爬取部分和管理部分；
其中爬取部分分为问题爬取器和答案爬取器，每个爬取器对象 会使用一个 webdriver 并单独占据一个进程，在爬取时会使用 进程队列multiprocess.Queue进行通信；这其中涉及两个队列 ————一个任务队列和一个结果队列； 问题爬取器会把当前问题下的回答简要信息送入任务队列，回答 爬取器会根据它查找回答； 问题爬取器和回答爬取器爬取当前问题/回答本身的信息后都会将 这些信息送入结果队列，这些内容将由管理数据的部分处理，并 根据它们更新仓库；
仓库的主要部分包括一个 sqlite3 数据库，和一个 git 仓库； 问题和回答的富文本，以及它们的 metadata 会组织成 markdown 的形式写入文件并由 git 提交。每次提交都对应一个单独的文件 的更新。
数据库中由六张表，分别包括问题，问题版本，回答，回答版本， 评论， 以及当前的 git head；git head 以及各版本的 hexsha 会被存入 数据库.

• Questions (问题表)

• Answers (回答表)

• QuestionsVCS (问题版本管理)

• AnswersVCS (回答版本管理)

• Comments (评论表)

• GitHead (提交头，仅有一个 record)

在 src/config.py 中进行配置；
您的提交标识： 该项目的存档是设计为由个人管理，并可 以互相合并；当合并者众多后，爬取的来源和可靠性可能 会变得混杂而使整个大存档的置信度降低；您可以通过在 填充自己的存档时标记来源，来增加辨识度；

# 这部分将作为 git 提交时的 commiter 信息，用于标
# 识内容的记录者；同时，所爬取的回答的作者将作为
# git 提交时的 author 的信息；
default_owner_name = "me" # 修改为您的昵称
default_owner_email = "me@email" # 修改为您的邮箱

回答爬取器的进程数量： 该项目使用多个进程同时爬取 问题和回答，目前已经实现支持的是单个问题爬取进程和 多个回答爬取进程；

nr_answer_parsers = 3  # 修改回答进程的数量
# 总共的进程数为 2 + nr_answer_parsers,
# 除此之外还有一个问题爬取进程和一个读取爬取结果并
# 写入存档进程

仓库的结构： 默认的仓库结构如下，

.  # 仓库
├── sqlite_database.db  # 数据库文件
├── vcs/   # 存档版本管理文件夹
│    ├── .git/
│    └── ... # 问题和回答的内容文本
└── config.yaml #配置文件

更改仓库结构，可以修改get_vcs_path(),get_db_path(), get_config_path()的返回路径，例如如果希望把存档直接放在 仓库之下，而不使用下一级文件夹，即：

.  # 仓库
├── sqlite_database.db  # 数据库文件
├── .git/
├── ... # 问题和回答的内容文本
└── config.yaml #配置文件

则可以定义：

def get_vcs_path(archiv_repo_path: str) -> str:
    return archiv_repo_path 

问题和回答文本的命名格式： 在question_file_format(), answer_file_format() 中定义。

• 改为使用事件在爬取与存档进程间通信
• 解决同时运行 parser 和管理进程的死锁问题
• 存档合并的实现
• 对操作失败需要回退情形的测试
• 滚动读取
• 支持 xpath 的配置，加强可拓展性
• 为存档 Master 设置 logger
• 存储图片
• 创建用于保存评论的 table 并读取评论
• 设置更加完善的滚动策略，并提供配置