netcrazy / elasticsearch-jaso-analyzer Goto Github PK
View Code? Open in Web Editor NEWKorean Jaso Analyzer for Elasticsearch
License: MIT License
Korean Jaso Analyzer for Elasticsearch
License: MIT License
소스를 오픈했다고 오픈소스가 되는것이 아니라
명시적으로 이 소스는 오픈소스임을 명시해야만 오픈소스가 되요.
라이센스 명시가 없으면
소스를 공개해도 여전히 개인 소스가 되어서요.
MIT 나 Apache 같은 라이센스 명시해주시면 좋을 듯 해요.
Elasticsearch 8.5.3 버전을 쓰고 있는데 플러그인을 사용 할 수 있는 방안이 있을까요?
아니면 플러그인 버전 업그레이드 될 때까지 기다려야 할까요?
ES 7.4.2를 쓰고 있는데, 플러그인 버전과 ES 버전을 동일하게 맞춰야만 사용이 가능할까요?
안녕하십니까.
해당 오픈소스를 사용하려고 생각중입니다.
그러던중 사소한 버그 등을 발견 해서 문의드립니다.
es상에서 검색한 토큰의 위치를 가르키는 offset의 기능이 있는데요. 이는 토큰의 시작과 끝을 가르키는 기능입니다.
highlight 기능을 사용하게 되면 해당 토큰이 있는 위치에 태그를 추가해서 리턴해주는데요.
jaso 플러그인의 동작 방식이 한영 변환, 자소 변환 등의 토큰도 추가해서 동작하며, 두개의 추가된 토큰도 offset에 영향을 주는듯 합니다.
예를 들어서 hello
라는 데이터가 들어갔을 경우 hello
, ㅗ디ㅣㅐ
두개의 토큰이 생성되어 offset에도 영향을 주고 있습니다.
혹시 이에 대하여 제가 버그를 수정해봐도 될지 문의 드립니다.
jaso-analyzer-plugin-6.4.0.0-plugin.zip
#3 에서 만들어주신 소스를 빌드해서 얻은 plugin 파일입니다.
아래 도커파일로 설치가 잘 됨을 확인했습니다.
FROM docker.elastic.co/elasticsearch/elasticsearch:6.4.0
COPY /path/to/jaso-analyzer-plugin-6.4.0.0-plugin.zip /jaso-analyzer-plugin-6.4.0.0-plugin.zip
RUN bin/elasticsearch-plugin install file:///jaso-analyzer-plugin-6.4.0.0-plugin.zip
네이버 자동완성 부럽지 않은 기능이네요.
제 블로그 에 기능 구현해서 올려봤는데...
자모 단위 자동완성, 한영자판오류에 대해서도 검색이 되고...
정말 좋네요.
6.3.x 부터 발생하는것으로 보이는 플러그인 설치시 오류발생
This plugin was built with an older plugin structure. Contact the plugin author to remove the intermediate "elasticsearch" directory within the plugin zip.
현재 데이터가
사과, 바나나사과, 사과바나나 이렇게 저장되어있으면
사과로 검색하는 경우 사과랑 사과바나나가 이렇게 뜹니다.
시작하는 단어가 아닌 포함하는 단어도 출력하는 싶은 경우 어느 부분을 수정해야할까요
설치 후 이렇게 kibana에서 쿼리날려봤는데 안되네요 따로 jaso_tokenizer를 설치해야되나요?
요청
PUT kengdic
{
"settings":{
"analysis":{
"filter": {
"suggest_filter": {
"type": "edge_ngram",
"min_gram": 1,
"max_gram": 50
}
},
"tokenizer":{
"nori-user-dict":{
"type":"nori_tokenizer",
"decompound_mode":"mixed",
"user_dictionary":"userdict_ko.txt"
},
"jaso_search_tokenizer": {
"type": "jaso_tokenizer",
"mistype": true,
"chosung": false
},
"jaso_index_tokenizer": {
"type": "jaso_tokenizer",
"mistype": true,
"chosung": true
}
},
"analyzer":{
"analyzer-kor":{
"type":"custom",
"tokenizer":"nori-user-dict"
},
"analyzer-eng":{
"type":"custom",
"tokenizer":"standard",
"filter":[
"lowercase"
]
},
"kor-suggest_search_analyzer": {
"type": "custom",
"tokenizer": "jaso_search_tokenizer"
},
"kor-suggest_index_analyzer": {
"type": "custom",
"tokenizer": "jaso_index_tokenizer",
"filter": [
"suggest_filter"
]
}
}
}
},
"mappings":{
"logs":{
"properties":{
"word":{
"type":"text",
"store":true,
"analyzer":"kor-suggest_index_analyzer",
"search_analyzer":"kor-suggest_search_analyzer"
},
"def":{
"type":"completion",
"analyzer":"analyzer-eng"
}
}
}
}
}
응답
{
"error": {
"root_cause": [
{
"type": "illegal_argument_exception",
"reason": "Unknown tokenizer type [jaso_tokenizer] for [jaso_search_tokenizer]"
}
],
"type": "illegal_argument_exception",
"reason": "Unknown tokenizer type [jaso_tokenizer] for [jaso_search_tokenizer]"
},
"status": 400
}
현재 8.6.2까지 적용이 되던데 8.7.1버전은 아직 없을까요..
안녕하세요! 혹시 8.2.2 버전에서도 작동이 될까요?
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.