[BUG] kobert를 Colab에서 구현할 때, tokenizer 사용시, nbest_size 오류 등이 발생 about kobert HOT 11 CLOSED

@bage79

다시 git pull 하고 실행해보니 정상적으로 작동하였습니다. 감사합니다.

from kobert.

저도 같은 에러가 납니다. 어제까지 잘 돌아갔는데, dataset을 구축하는 과정에서 같은 에러가 났습니다.

from kobert.

저도 몇일전까지 잘 돌아갔는데 같은 에러가 났습니다.

from kobert.

제가 이 repo에 포함된 아래 두 개의 nsmc 예제를 돌려 보았는데, 모두 정상 실행이 되네요.

• https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_gluon_kobert.ipynb
• https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_pytorch_kobert.ipynb

python 3.7.0 환경에서 실행하였습니다.

@KangYunPark @Kisooofficial @DongGeun123 님

• 혹시 python 버전 몇에서 실행하셨나요?
• 실행하셨던 py 또는 ipynb 파일 공유 부탁드립니다.

from kobert.

안녕하세요!
저 역시도 https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_pytorch_kobert.ipynb 이 링크에 해당하는 코드를 돌려보았는데

같은 에러가 발생하였습니다. @bage79 님

from kobert.

@bage79 님

https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_gluon_kobert.ipynb

위에 올려주신 파일을 똑같이 colab에서 실행한결과 같은 오류가 났습니다 파이썬 버전은 3.7.13 입니다

from kobert.

@bage79 님께
https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_gluon_kobert.ipynb
동일한 문제를 겪고 있습니다 현 python version은 3.7.0 입니다.

from kobert.

@KangYunPark @Kisooofficial @herokim97 @DongGeun123 @testbeta12 님,
저도 동일한 오류가 재현되는 것을 확인하였습니다.
아마도 며칠 전 sentencepiece 패키지가 업데이트 되면서, 다른 패키지들도 업데이트 되면서 오류가 발생한 것으로 보입니다.

각 패키지 버전의 최대치를 제한하여 커밋하였습니다. 47a69af
python 3.7.0 기준으로 두 노트북이 실행되는것을 확인하였습니다.

• https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_gluon_kobert.ipynb
• https://github.com/SKTBrain/KoBERT/blob/master/scripts/NSMC/naver_review_classifications_pytorch_kobert.ipynb

git pull 받으신 후에 다시한번 확인 부탁드립니다.

from kobert.

동일한 오류 발생했는데, sentencepiece 버전을 requirements 버전에 맞춰서 설치했을 시 정상 작동하는 것 확인했습니다. 아마 sentencepiece 먼저 pip를 통해 기존 버전 설치한 이후 작동시키면 정상 작동할 것 같습니다.

from kobert.

동일한 문제에 런타임 재시작과 sentencepiece 버전을 동일화 시키니 문제가 해결되었습니다 감사합니다.

from kobert.

다들 좋은 답변 감사합니다. 문제 해결이 되었으니 클로즈 시키겠습니다.

from kobert.