웹페이지에서 텍스트 상의 혐오 표현을 단계에 따라 판별하여 필터링하는 크롬 확장 프로그램입니다.

KoELECTRA의 혐오 표현 판별 모델에 대한 Fine Tuning을 진행하여 모델을 구축했습니다. 추가적으로 수집한 1784개의 인터넷 뉴스/커뮤니티 댓글 데이터를 Fine Tuning에 이용했습니다.

│  .gitignore
│  README.md
│
└─word-embedding
    |  cli_model_test.py
    │  data_preprocessing.py
    │  hate_speech_dataset.py
    │  hate_speech_detector_pretrained.py
    │  test_model.py

word-embedding는 혐오 표현 판별 모델에 대한 폴더입니다.

data_preprocessing.py과 hate_speech_dataset.py 파일은 이전 LSTM 모델을 구축할 때 사용한 코드로, 데이터 호출과 전처리를 수행합니다.

hate_speech_detector_pretrained.py은 사전 학습된 모델을 Fine Tuning하며, test_model.py은 Fine Tuning이 진행된 모델의 정확도를 데이터 레이블별로 계산하여 정리합니다.

한편, 테스트 데이터로의 검증은 눈에 잘 보이지 않기 때문에, cli_model_test.py를 이용해 직접 문장을 입력하고 결과를 확인할 수 있습니다.

└─word-embedding
    ├─dictionary-generator
    ├─history
    ├─model-structure
    └─saved-models

KoELECTRA 전이학습 모델 적용 이전 개발했던 다양한 신경망 모델을 구축하여 실험했습니다. history, model-structure, saved-models 폴더에 관련 내용이 저장되어 있습니다.

dictionary-generator는 단어 사전 구축 과정에서 사용한 코드입니다.