自然语言处理(Hanlp)

实例demo类

功能

实例用到的语料

DemoAtFirstSight

  开启调试模式(会降低性能)

DemoBasicTokenizer

演示基础分词，基础分词只进行基本NGram分词，不识别命名实体，不使用用户词典

DemoChineseNameRecognition

 中国人名识别(默认开启人名识别)

DemoCRFLexicalAnalyzer

CRF词法分析器

自1.6.6版起模型格式不兼容旧版：CRF模型为对数线性模型,通过复用结构化感知机的维特比解码算法，效率提高10倍。(分词效果与模型(model)相关)

DemoCustomDictionary

演示用户词典的动态增删(动态增加、强行插入)   【词 词性 词频】  *建议同一词性放在一个文件

DemoCustomNature

演示自定义词性,以及往词典中插入自定义词性的词语（自定义词性可在分词生效，还可插入用户自定义词典）例：词性 苹果电脑

DemoDependencyParser

依存句法分析（神经网络句法模型） 准确性依赖模型   分析句子结构（例：主 谓 宾）

DemoEvaluateCWS

 演示如何正确规范地评测中文分词的准确率：

  1、公平公正。训练模块、分词模块、语料库、评测程序全部开源。

  2、禁止使用语料库之外的词典及其等价物（词向量等）。

  3、试验结果可复现，可通过其他评分脚本校验。

icwb2-data（中文分词语料）

DemoHighSpeedSegment

演示极速分词，基于DoubleArrayTrie实现的词典正向最长分词，适用于“高吞吐量”“精度一般”的场合

DemoIndexSegment

索引分词

DemoJapaneseNameRecognition

日本人名识别  （需要开启）

DemoKeyword

关键词提取 （源码用到的是viterbi【维特比】分词器）    StandardTokenizer

DemoMultithreadingSegment

演示多线程并行分词

由于HanLP的任何分词器都是线程安全的，所以用户只需调用一个配置接口就可以启用任何分词器的并行化

DemoNewWordDiscover

词语提取、新词发现

红楼梦.txt

DemoNLPSegment

 NLP分词，更精准的中文分词、词性标注与命名实体识别。

 语料库规模决定实际效果，面向生产环境的语料库应当在千万字量级。欢迎用户在自己的语料上训练新模型以适应新领域、识别新的命名实体。（感知分词器）  使用model

DemoNormalization

演示正规化字符配置项的效果（繁体->简体，全角->半角，大写->小写）。

该配置项位于hanlp.properties中，通过Normalization=true来开启

切换配置后必须删除CustomDictionary.txt.bin缓存，否则只影响动态插入的新词，用到的分词器是:perceptron

DemoNotionalTokenizer

演示自动去除停用词、自动断句的分词器    使用分词器:Viterbi  【维特比】

DemoNShortSegment

 N最短路径分词，该分词器比最短路分词器慢，但是效果稍微好一些，对命名实体识别能力更强

DemoNumberAndQuantifierRecognition

演示数词和数量词识别  用到的分词器是:Viterbi     需要启动

DemoOccurrence

演示词共现统计   使用分词器:Viterbi 

DemoOrganizationRecognition

机构名识别   使用分词器:Viterbi   需要开启

DemoPerceptronLexicalAnalyzer

 基于感知机序列标注的词法分析器，可选多个模型。

 large训练自一亿字的大型综合语料库，是已知范围内全世界最大的中文分词语料库。

 pku199801训练自个人修订版1998人民日报语料1月份，仅有183万字。

 语料库规模决定实际效果，面向生产环境的语料库应当在千万字量级。欢迎用户在自己的语料上训练新模型以适应新领域、识别新的   命名实体。

 无论在何种语料上训练，都完全支持简繁全半角和大小写。

默认下载model（基于人民日报训练的模型仅有183万字）

推荐自己训练，不建议使用98年这中陈旧的语料库,支持在线学习

DemoPhraseExtractor

短语提取  使用分词器:Viterbi    NotionalTokenizer

DemoPinyin

汉字转拼音

DemoPinyinToChinese

拼音转汉字

DemoPipeline

 演示流水线模式，几个概念：

 * - pipe：流水线的一节管道，执行统计分词或规则逻辑

 * - flow：管道的数据流，在同名方法中执行本节管道的业务

 * - pipeline：流水线，由至少一节管道（统计分词管道）构成，可自由调整管道的拼装方式

DemoPlaceRecognition

地名识别  使用分词器:Viterbi

DemoPosTagging

词性标注

DemoRewriteText

这个方法可以利用同义词词典将一段文本改写成意思相似的另一段文本，而且差不多符合语法   使用分词器:Viterbi

DemoSegment

标准分词  Viterbi

DemoSentimentAnalysis

演示文本分类最基本的调用方式（是好是坏）

ChnSentiCorp情感分析酒店评论

DemoStopWord

演示如何去除停用词  通过api可操作停用词

DemoSuggester

文本推荐(句子级别，从一系列句子中挑出与输入句子最相似的那一个)  使用分词器:Viterbi

DemoSummary

自动摘要  使用分词器:Viterbi

DemoTextClassification

演示文本分类最基本的调用方式（属于哪一种类型 例如：军事）

搜狗文本分类语料库迷你版

DemoTextClassificationFMeasure

演示了分割训练集和测试集,进行更严谨的测试

搜狗文本分类语料库

DemoTextClustering

文本聚类  使用分词器:Viterbi

DemoTextClusteringFMeasure

文件聚类

DemoTokenizerConfig

 演示动态设置预置分词器，这里的设置是全局的  使用分词器:Viterbi

DemoTraditionalChinese2SimplifiedChinese

将简繁转换做到极致

DemoTraditionalChineseSegment

繁体中文分词

DemoTranslatedNameRecognition

音译人名识别

DemoURLRecognition

演示URL识别

DemoUseAhoCorasickDoubleArrayTrieSegment

 基于AhoCorasickDoubleArrayTrie的分词器，该分词器允许用户跳过核心词典，直接使用自己的词典。

 需要注意的是，自己的词典必须遵守HanLP词典格式。

DemoWord2Vec

演示词向量的训练与应用

搜狗文本分类语料库已分词.txt

DemoWordDistance

语义距离

​​​​

Hanlp 

CRFPOSTaggerTest

模型训练    style="min-width:auto;white-space:normal;margin:4px 8px;border:1px solid rgb(217,217,217);padding:4px 8px;vertical-align:top;">

中文分词   训练

java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task CWS -train -reference data/test/pku98/199801.txt -model data/test/perceptron/cws.bin

词性标注   训练

java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task POS -train -reference data/test/pku98/199801.txt -model data/test/perceptron/pos.bin

命名实体识别   训练

java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task NER -train -reference data/test/pku98/199801.txt -model data/test/perceptron/ner.bin

​​style="min-width:auto;white-space:normal;margin:4px 8px;border:1px solid rgb(217,217,217);padding:4px 8px;vertical-align:top;">

​​style="min-width:auto;white-space:normal;margin:4px 8px;border:1px solid rgb(217,217,217);padding:4px 8px;vertical-align:top;">

视频网   用户名:yufei  密码:yufei950129

crf模型:

CRFSegmenterTest

CRF分词模型    cws

CRFPOSTaggerTest

CRF词性标注模型  pos