MoocSpider
写这个爬虫的初心,是希望能够把mooc上的题目放到自己的flashcard模版里,为了能够更好的掌握和记忆知识,尽管有一个自己的题库可以更好更方便的应付考试,但我还是想靠自己去完成。
本人技拙,因为分析mooc并且写这个爬虫,导致了两次网课都忘记完成……希望接下来的时间里靠我自己的大脑弥补损失,抵制通过题库搜题过考试的行为。
接下来是一些程序相关的内容:
Preview
DirectoryTree
├─ convertData2Csv.py # Dict转CSV
├─ cookie.py # Cookie异常类
├─ cookie.txt # Cookies字符串读取文件
├─ exercise.py # 目前已无用
├─ main.py # 爬虫
├─ quiz.csv # 生成的csv文件
├─ README.md
├─ util.py # 工具类,诸如cookie字符串转为dict之类的功能
└─ __pycache__
├─ cookie.cpython-37.pyc
├─ exercise.cpython-37.pyc
└─ util.cpython-37.pyc
PS
图片上传图床工具使用的是PicGo
目录树生成工具使用的是directory-tree-generator(忘了项目地址了)
Using
需要在根目录下创建一个cookie.txt文件夹,并且粘入cookie字符串,程序会自动解析成dict形式。 需要传入课程号(url里的tid),MongoDB的colleciton名称,db默认是tmp。