爬虫

• Scrapy
• Requests
• Xpath
• MongoDB
• ElasticSearch

特征工程、召回层模型、排序层模型

• Pandas
• Numpy
• Matplotlib
• TensorFlow2
• Gensim
• TesorFlow Serving
• Docker

1. 启动MongoDB

2. 启动Redis

   redis-server "D:\Program Files\Redis-x64-5.0.9\redis.windows.conf"

3. 启动ElasticSearch

4. 全量爬取动画数据

   scrapy crawl anime

5. 将所有的动画数据导入ElasticSearch

   mongodb-to-elasticsearch.py

6. 全量爬取用户“看过”的动画

   scrapy crawl user

7. 全量爬取用户“抛弃”的动画

   scrapy crawl user_dropped

8. 全量爬取网站的动画标签

   scrapy crawl tag

9. 实时增量爬取用户用户“看过”的动画

   scrapy crawl timeline

1. 特征工程，生成训练集、测试集到CSV文件，生成用户特征、动画特征到Redis

   FeatureEng.py

2. 召回层，生成用户和动画的Embedding向量

   embedding.py

3. 排序层，训练模型

   WideNDeep.py

   使用TensorBoard

   tensorflow2 tensorboard可视化使用

   tensorboard.exe --logdir=D:\python_project\bangumi_spider\bangumi_spider\resources\tensorboardlog
   
   http://localhost:6006/ 

4. 模型上线

   # 1. 拉取镜像
   docker pull tensorflow/serving
   # 2. 运行容器
   docker run -t --rm -p 8501:8501 -v "D:\IDEA\bangumi-recommend-system\src\main\resources\model\neuralcf:/models/recmodel" -e MODEL_NAME=recmodel tensorflow/serving