ysenarath / sinling Goto Github PK

View Code? Open in Web Editor NEW

46.0 7.0 16.0 45.46 MB

A collection of NLP tools for Sinhalese (සිංහල).

Home Page: https://sinling.ysenarath.com

License: Apache License 2.0

Python 15.98% Jupyter Notebook 84.02%

sinhala nlp tool toolkit morphological-analyser tokenizer splitter sinhala-tokenizer joiner natural-language-processing

sinling's Introduction

A language processing tool for Sinhalese (සිංහල).

Update 2020.11.01: Fixed pypi package. Use 'pip install sinling' to install sinling directly from repository.

Update 2020.08.16: Add pypi package @ https://pypi.org/project/sinling/.

Update 2020.08.16: Integrated Part of speech tagger and stemmer tool.

Update 2019.07.21: This tool no longer requires java to run sinhala tokenizer. All java code is ported to Python implementation for convenience.

Installation

Run the following command in your virtualenv to install this package.

pip install sinling

How to use

Sinhala Tokenizer

from sinling import SinhalaTokenizer

tokenizer = SinhalaTokenizer()

sentence = '...'  # your sentence

tokenizer.tokenize(sentence)

Sinhala Stemmer (Experimental)

from sinling import SinhalaStemmer

stemmer = SinhalaStemmer()

word = '...'  # your sentence

stemmer.stem(word)

Please cite sinhala-stemmer if you are using this implementation.

Part-of-Speech Tagger

from sinling import SinhalaTokenizer, POSTagger

tokenizer = SinhalaTokenizer()

document = '...'  # may contain multiple sentences

tokenized_sentences = [tokenizer.tokenize(f'{ss}.') for ss in tokenizer.split_sentences(document)]

tagger = POSTagger()

pos_tags = tagger.predict(tokenized_sentences)

Word Joiner (Morphological Joiner)

from sinling import preprocess, word_joiner

w1 = preprocess('මුනි')
w2 = preprocess('උතුමා')
results = word_joiner.join(w1, w2)
# Returns a list of possible results after applying join rules ['මුනිතුමා', ...]

Word Splitter (Morphological Splitter) / corpus based - experimental

from sinling import word_splitter

word = '...'
results = word_splitter.split(word)
# Returns a dict containing debug information, base word and affix

Visit here to see some sample splits.

Contributions

Contact [email protected] if you would like to contribute to this project.

License

Apache License Version 2.0, January 2004 http://www.apache.org/licenses/

sinling's People

Contributors

Stargazers

Watchers

Forkers

aquiire maleeshakumarage sajithdherath lahirusen maduranga95 janakasandaruwan udeshathukorala chamaka456 thejanpasindu binguni19edirisuriya asanka9 deshanharshana 9vimu9 ishangavidusha prabha-99 200007thilakna

sinling's Issues

Add POS Tagger

Performance of the POS tagger is too low on the OOV words in sentences.

Sentence splitter changes some letters in the text

Input text = "ශ්‍රී ලංකන් ගුවන් සේවය පිළිබඳව අධ්‍යයනය කර වාර්තාවක් සැපයීම සඳහා වරාය හා ගුවන් සේවා අමාත්‍යවරයා විසින් පත් කළ ජේ.සී. වැලිඅමුණ කමිටුව සිය වාර්තාව අග්‍රාමාත්‍ය රනිල් වික්‍රමසිංහ වෙත ඊයේ භාරදුන්නා. ඒ අරලියගහ මන්දිරයේ පැවති උත්සවයකදියි."

Output text = "ශ්රී ලංකන් ගුවන් සේවය පිළිබඳව අධ්යයනය කර වාර්තාවක් සැපයීම සඳහා වරාය හා ගුවන් සේවා අමාත්යවරයා විසින් පත් කළ ජේ.සී. වැලිඅමුණ කමිටුව සිය වාර්තාව අග්රාමාත්ය රනිල් වික්රමසිංහ වෙත ඊයේ භාරදුන්නා
ඒ අරලියගහ මන්දිරයේ පැවති උත්සවයකදියි"

The highlighted words in the input are changed in the output text.

Sentence splitter splits sentences in a false manner

When the content contains names like එම්. ඩබ්. ඒ. ඒ. විජේසූරිය, the sentences are broken in the middle of the names.
As an example when the following content in used as the input,

`මධ්‍යම ආරක්‍ෂක සේනා මූලස්ථානය යටතේ සේවයෙන් නියුතු යුද්ධ හමුදා නිලධාරින් සඳහා ‘අන්තර් ජාතික මානූෂිය නීතිය’ පිළිබඳ වැඩමුළුවක් බදාදා (31) වන දින දියතලාව ස්වේච්ඡා බලසේනා පුහුණු පාසල (VFTS) හිදී පැවැත්විය. ඒ සඳහා 112 වන බලසේනාවේ බළසේනාධිපති බ්‍රිගේඩියර් එම්. ඩබ්. ඒ. ඒ. විජේසූරිය සහ 121 වන බලසේනාවේ බළසේනාධිපති බ්‍රිගේඩියර් එන්. සී. සෝමවීර ඇතුළු යුද්ධ හමුදා නිලධාරීන් 20 ක් මෙම වැඩමුළුව සඳහා සහභාගී වුහ. මෙම වැඩමුළුව රතු කුරුස සංවිධානයේ කලාපීය සහ ආරක්‍ෂක හමුදා නියෝජිතයා වන ජැක් ලෙමා මහතා (Mr Jacques Lemay) සහ රතු කුරුස සංවිධානයේ සන්නිවේදන නිලධාරි චන්න ජයවර්ධන යන මහත්වරුන් විසින් මෙහෙයවනු ලැබීය."`

the output is,

['මධ්යම ආරක්ෂක සේනා මූලස්ථානය යටතේ සේවයෙන් නියුතු යුද්ධ හමුදා නිලධාරින් සඳහා ‘අන්තර් ජාතික මානූෂිය නීතිය’ පිළිබඳ වැඩමුළුවක් බදාදා (31) වන දින දියතලාව ස්වේච්ඡා බලසේනා පුහුණු පාසල (VFTS) හිදී පැවැත්විය. ඒ සඳහා 112 වන බලසේනාවේ බළසේනාධිපති බ්රිගේඩියර් එම්. ඩබ්', 'ඒ. ඒ. විජේසූරිය සහ 121 වන බලසේනාවේ බළසේනාධිපති බ්රිගේඩියර් එන්. සී. සෝමවීර ඇතුළු යුද්ධ හමුදා නිලධාරීන් 20 ක් මෙම වැඩමුළුව සඳහා සහභාගී වුහ', 'මෙම වැඩමුළුව රතු කුරුස සංවිධානයේ කලාපීය සහ ආරක්ෂක හමුදා නියෝජිතයා වන ජැක් ලෙමා මහතා (Mr Jacques Lemay) සහ රතු කුරුස සංවිධානයේ සන්නිවේදන නිලධාරි චන්න ජයවර්ධන යන මහත්වරුන් විසින් මෙහෙයවනු ලැබීය.']

Documentation [Code]

No documentation provided. Add function level documentation.

Issue with \u200d zero width joiner in tokenizer

Incorrect tokenizer returns with \u200d.

Input text = 'ගුඩ් මෝනින් ෆ්‍රෙන්ස්!'
tokenizer return = ['ගුඩ්', 'මෝනින්', 'ෆ්\u200dරෙන්ස්', '!']

The issue occurs with other words such as 'ප්\u200dරකාශක', 'සාමාන්\u200dය', 'සත්\u200dය'.

NLTK package missing

Hi there, I was exploring the library. Trying to install it via pip with conda env. and I'm getting ModuleNotFoundError

ModuleNotFoundError: No module named 'nltk'

version : sinling 0.3.5
environment : conda
os : BSD

Thank you for the library 👍