Mã nguồn này được phát triển dựa trên bài viết tại đây. So với bài viết trên, tác giả đã thay đổi:

• Sử dụng dữ liệu từ wiki + báo cáo y tế.
• Thêm metric + code test.
• Thêm code tiền/hậu xử lý cho chuỗi đầu vào.
• Khảo sất độ chính xác model và tốc độ với các tham số khác nhau.

Ở đây chúng ta không dùng tokenizer tạo từ các tập data trên mà dùng word list từ vietnamese-wordlist để tạo bộ tokenizer bằng cách split các từ trong word list và chọn lại các từ đơn. Các từ không nằm trong word list sẽ được gán thành 'unknown'. Điều này làm giảm đi rất nhiều kích thước model và làm tăng độ chính xác.

Triển khai model 2grams và 3grams.

python train.py train.tone 2gram_model.pkl --ngram 2

python train.py train.tone 3gram_model.pkl --ngram 3

python test_2gram.py val.notone val.tone 2gram_model.pkl

python test_3gram.py val.notone val.tone 3gram_model.pkl