ysenarath / sinling Goto Github PK

Performance of the POS tagger is too low on the OOV words in sentences.

No documentation provided. Add function level documentation.

Input text = "ශ්‍රී ලංකන් ගුවන් සේවය පිළිබඳව අධ්‍යයනය කර වාර්තාවක් සැපයීම සඳහා වරාය හා ගුවන් සේවා අමාත්‍යවරයා විසින් පත් කළ ජේ.සී. වැලිඅමුණ කමිටුව සිය වාර්තාව අග්‍රාමාත්‍ය රනිල් වික්‍රමසිංහ වෙත ඊයේ භාරදුන්නා. ඒ අරලියගහ මන්දිරයේ පැවති උත්සවයකදියි."

Output text = "ශ්රී ලංකන් ගුවන් සේවය පිළිබඳව අධ්යයනය කර වාර්තාවක් සැපයීම සඳහා වරාය හා ගුවන් සේවා අමාත්යවරයා විසින් පත් කළ ජේ.සී. වැලිඅමුණ කමිටුව සිය වාර්තාව අග්රාමාත්ය රනිල් වික්රමසිංහ වෙත ඊයේ භාරදුන්නා
ඒ අරලියගහ මන්දිරයේ පැවති උත්සවයකදියි"

The highlighted words in the input are changed in the output text.

Hi there, I was exploring the library. Trying to install it via pip with conda env. and I'm getting ModuleNotFoundError

ModuleNotFoundError: No module named 'nltk'

version : sinling 0.3.5
environment : conda
os : BSD

Thank you for the library 👍

When the content contains names like එම්. ඩබ්. ඒ. ඒ. විජේසූරිය, the sentences are broken in the middle of the names.
As an example when the following content in used as the input,

`මධ්‍යම ආරක්‍ෂක සේනා මූලස්ථානය යටතේ සේවයෙන් නියුතු යුද්ධ හමුදා නිලධාරින් සඳහා ‘අන්තර් ජාතික මානූෂිය නීතිය’ පිළිබඳ වැඩමුළුවක් බදාදා (31) වන දින දියතලාව ස්වේච්ඡා බලසේනා පුහුණු පාසල (VFTS) හිදී පැවැත්විය. ඒ සඳහා 112 වන බලසේනාවේ බළසේනාධිපති බ්‍රිගේඩියර් එම්. ඩබ්. ඒ. ඒ. විජේසූරිය සහ 121 වන බලසේනාවේ බළසේනාධිපති බ්‍රිගේඩියර් එන්. සී. සෝමවීර ඇතුළු යුද්ධ හමුදා නිලධාරීන් 20 ක් මෙම වැඩමුළුව සඳහා සහභාගී වුහ. මෙම වැඩමුළුව රතු කුරුස සංවිධානයේ කලාපීය සහ ආරක්‍ෂක හමුදා නියෝජිතයා වන ජැක් ලෙමා මහතා (Mr Jacques Lemay) සහ රතු කුරුස සංවිධානයේ සන්නිවේදන නිලධාරි චන්න ජයවර්ධන යන මහත්වරුන් විසින් මෙහෙයවනු ලැබීය."`

the output is,

['මධ්යම ආරක්ෂක සේනා මූලස්ථානය යටතේ සේවයෙන් නියුතු යුද්ධ හමුදා නිලධාරින් සඳහා ‘අන්තර් ජාතික මානූෂිය නීතිය’ පිළිබඳ වැඩමුළුවක් බදාදා (31) වන දින දියතලාව ස්වේච්ඡා බලසේනා පුහුණු පාසල (VFTS) හිදී පැවැත්විය. ඒ සඳහා 112 වන බලසේනාවේ බළසේනාධිපති බ්රිගේඩියර් එම්. ඩබ්', 'ඒ. ඒ. විජේසූරිය සහ 121 වන බලසේනාවේ බළසේනාධිපති බ්රිගේඩියර් එන්. සී. සෝමවීර ඇතුළු යුද්ධ හමුදා නිලධාරීන් 20 ක් මෙම වැඩමුළුව සඳහා සහභාගී වුහ', 'මෙම වැඩමුළුව රතු කුරුස සංවිධානයේ කලාපීය සහ ආරක්ෂක හමුදා නියෝජිතයා වන ජැක් ලෙමා මහතා (Mr Jacques Lemay) සහ රතු කුරුස සංවිධානයේ සන්නිවේදන නිලධාරි චන්න ජයවර්ධන යන මහත්වරුන් විසින් මෙහෙයවනු ලැබීය.']

Incorrect tokenizer returns with \u200d.

Input text = 'ගුඩ් මෝනින් ෆ්‍රෙන්ස්!'
tokenizer return = ['ගුඩ්', 'මෝනින්', 'ෆ්\u200dරෙන්ස්', '!']

The issue occurs with other words such as 'ප්\u200dරකාශක', 'සාමාන්\u200dය', 'සත්\u200dය'.