petergss / python Goto Github PK

题目名 日志模式训练

问题描述 业务中经常需要对日志中api的访问情况进行监控。 现需要实现一个日志监控程序，现提供：

1，训练文件train.jsonl.gz，文件是gzip压缩文件（python gzip包可以直接读取）， 每一行都是一个json;其中文件字段说明如下： （1）路径：请求的路径; （2）view_name：访问路径对应视图的名称 一个view_name对应多个路径）;

2，测试文件test.txt，里面有大量路径

3，对解析路径的部分有极高的性能需求，最低性能要求每分钟处理20万以上的数据。

实现目标 需要编写一个程序，完成如下任务： 1，训练模型脚本： 根据train.jsonl.gz里的view_name和路径， 训练路径的模式，将相似的路径训练并聚合，

2，测试脚本 读取test.txt文件中的路径，用上一步训练模型计算出其所属view_name，并输出训练结果result.txt。