-
BM25 기반의 Elasticsearch 7.9.3 검색 모델을 활용
-
Korpora/kowikitext 기반 데이터셋 구성
-
Kakaobrain/pororo 제공 MRC Task 적용
1. Environment Setup
- elasticsearch 7.9.3 다운로드
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.3-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.9.3-linux-x86_64.tar.gz- 라이브러리 설치
pip install -r requirements.txt2. Elasticsearch Engine 구동
./elasticsearch-7.9.3/bin/elasticsearch3. Korpora/kowikitext 다운로드 후 인덱싱
python 1_indexing.py4. Test Query 검색
python 2_test_query.py -query '{Input_Query}' -searchsize {Search_Result_Size}- 데이터 집합에 BM25 기반 검색 수행 후 결과 도출
5. MRC Task Query 검색
python 3_mrc_query.py -query '{Input_Query}' -searchsize {Search_Result_Size}- 데이터 집합에 BM25 기반 검색 수행 후 MRC Task 적용
6. Pseudo Relevance Feedback + MRC Task Query 검색
python 4_mrc_query_prf.py -query '{Input_Query}' -searchsize {Search_Result_Size} -expansionsize {Pseudo_Relevance_Feedback_Ratio_Size}-
데이터 집합에 BM25 기반 검색 수행 후 MRC Task 검색 수행
-
Pseudo Relevance Feedback 적용
MRC Task Query 검색
- Query: 2차 세계대전은 언제 종전되었는가?
- Query: 모나리자를 그린 사람은?
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent