内存使用太大、模型需要压缩

Question

内存使用太大

model文件没有做压缩，太大
内存使用太大：一下子申请很大内存。

可以考虑对

qinghua2016 · Answer

<p dir="auto">请问你是怎么对cws_dat文件进行压缩的?<a class="user-mention notranslate" data-hovercard-type="user" d

alexlee728 · Answer

我是用压缩软件测试的。你可以做个开关，训练模型时候对二进制文件压缩成N个包，用到哪个解压哪个。这样能保证非服务器应用也能用。

alexlee728 · Answer

<p dir="auto">另外内存过大是应为开始就申请了模型那么大的数据。我觉得要综合考虑，不一定为了快就要全部加载到内存。一般不会有人去对几M以上文本分词，至少说大多数不会。所以可以配置成服务器版

qinghua2016 · Answer

<p dir="auto">谢谢 <a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="

gzp9595 · Answer

非常感谢您的意见，我们也会考虑这样的做法，尽量减少一开始占用的内存~

内存使用太大、模型需要压缩 about thulac HOT 5 OPEN