lujiaying / movietaster-open Goto Github PK

从模型训练来看，我没有找到什么地方用了movie_0804_09.json这个数据，只是用了电影的名字，也就是说最后出来的向量其实是根据豆列里面的相似电影名称，只是用了名称，训练出来的向量？

README里面写的利用fasttext工具训练，没涉及到变长窗口和shuffle，对吗？

譬如 ./fasttext skipgram -input ./datas/doulist_0804_09.movie_id -output ./models/fasttext_model_0804_09_skipgram -minCount 5 -epoch 50 -neg 100
报错：
'.' 不是内部或外部命令，也不是可运行的程序
或批处理文件。

我在https://www.douban.com/tag/%E5%BD%B1%E8%A7%86/doulist#1
这个网址上查看豆列,最多只能查看20页,没有你获取的数据多,能否告知一下你爬取数据的网址。

process2corpus() 方法keyerror

movie_name_id_dict is 130206 from [doulist_0804_09.json]
total movie is 130206 from [doulist_0804_09.json], [movie_0804_09.json]

KeyError Traceback (most recent call last)
in ()
1 if name == 'main':
----> 2 process2corpus()

1 frames
in (.0)
7 doulist_dict = json.loads(line.strip())
8 doulist_movies = [.encode('utf8') for _ in doulist_dict['movie_names']]
----> 9 doulist_movie_ids = [str(movie_name_id_dict[]) for _ in doulist_movies]
10 fwrite.write('%s\n' % ('\t'.join(doulist_movies)))
11 fwrite_1.write('%s\n' % (' '.join(doulist_movie_ids)))

KeyError: b'\xe7\x9b\x96\xe6\x96\x87\xc2\xb7\xe6\x96\xaf\xe9\x80\x9a\xe5\xa4\x8d\xe6\xb4\xbb'

movie_0849_09.json文件里一部电影只有一种类型，但实际上一部电影有好几种类型，有这种数据集吗，想要跑跑精度，但是类型不全

i have tried your keras code, looks like it can not get good model.
1.would you mind to post some keras model results?
2.did you cut the doulist if it contains few movies. this OP may be useful?
thx in advance.