架构师_程序员_码农网

 找回密码
 注册[Register]

QQ登录

只需一步,快速开始

查看: 6683|回复: 1

【实战】elasticsearch-6.5.2安装elasticsearch-analysis-ik教程

[复制链接]
发表于 2018-12-13 10:21:21 | 显示全部楼层 |阅读模式
elasticsearch官方默认的分词插件,对中文分词效果不理想。比如,我现在,拿个具体实例来展现下,验证为什么,es官网提供的分词插件对中文分词而言,效果差。
参考文档:

https://www.elastic.co/guide/en/ ... ting_analyzers.html
https://www.elastic.co/guide/en/ ... ndices-analyze.html


我们向分析接口提交一段数据,如下:

http://ip:9200/_analyze POST请求

{
  "analyzer": "standard",
  "text":     "架构师http://www.itsvse.com,漂亮"
}
QQ截图20181213095205.jpg

如果直接使用Elasticsearch的朋友在处理中文内容的搜索时,肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字,当用Kibana作图的时候,按照term来分组,结果一个汉字被分成了一组。

好在国内有medcl大神(国内最早研究es的人之一)写的两个中文分词插件,一个是ik的,一个是mmseg的,下面只介绍ik的用法。


IK Analysis插件将Lucene IK分析器集成到elasticsearch中,支持自定义词典。

elasticsearch-analysis-ik项目地址:https://github.com/medcl/elasticsearch-analysis-ik

安装elasticsearch-analysis-ik

首先,先停止elasticsearch运行,jps找到进程id,用kill -9 进程id 杀掉即可!(具体用不用停,我也没测试,反正停掉安装比较稳妥一些)

使用elasticsearch-plugin进行安装(从v5.5.1版本支持):



注意:替换6.3.0为您自己的elasticsearch版本

我服务器安装的elasticsearch是6.5.2版本,所以,命令如下:




安装报错如下:

Exception in thread "main" java.nio.file.FileSystemException: /usr/local/elasticsearch-6.5.2/config/analysis-ik: Operation not permitted
QQ截图20181213100141.jpg

elasticsearch安装插件需要用root身份运行,所以,我们用su root切换到管理员身份下,重新执行安装,成功,如下图:

QQ截图20181213100342.jpg

我们重新向接口提交post请求来测试,post内容如下:

{
  "analyzer": "ik_max_word",
  "text": "架构师http://www.itsvse.com,漂亮"
}
QQ截图20181213101750.jpg QQ截图20181213101758.jpg

发觉能正常理解我们的语义,把“架构师”、“漂亮”、“架构”分成了一个词。

ik_max_word和ik_smart什么区别?

ik_max_word:会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合;

ik_smart:会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。





上一篇:【实战】elasticsearch-6.5.2安装elasticsearch-head插件
下一篇:网易新闻APP、喜马拉雅APP数据接口
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
 楼主| 发表于 2018-12-13 11:04:13 | 显示全部楼层
码农网,只发表在实践过程中,遇到的技术难题,不误导他人。
您需要登录后才可以回帖 登录 | 注册[Register]

本版积分规则

免责声明:
码农网所发布的一切软件、编程资料或者文章仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。如有侵权请邮件与我们联系处理。

Mail To:help@itsvse.com

QQ|手机版|小黑屋|架构师 ( 鲁ICP备14021824号-2 )|网站地图

GMT+8, 2024-4-26 23:26

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表