AMiner学术头条原创

2018/10/29 17:54

8种Python文本处理工具集

文本处理一般包括词性标注，句法分析，关键词提取，文本分类，情感分析等等，这是针对中文的，如果是对于英文来说，只需要基本的tokenize。本文为大家提供了以下这些工具包。

1.Jieba

【结巴中文分词】做最好的 Python 中文分词组件
其功能包括支持三种分词模式（精确模式、全模式、搜索引擎模式），支持繁体分词，支持自定义词典等。

代码主页：https://github.com/fxsjy/jieba

2.NLTK

【NLTK】一个构建Python程序以使用人类语言数据的领先平台，被称为“使用Python进行教学和计算语言学工作的绝佳工具”，以及“用自然语言进行游戏的神奇图书馆”。

官方主页：http://www.nltk.org/
代码主页：https://github.com/nltk/nltk

3.TextBlob

【TextBlob】是一个用于处理文本数据的Python（2和3）库。它为潜入常见的自然语言处理（NLP）任务提供了一个简单的API，例如词性标注，名词短语提取，情感分析，分类，翻译等。

官方主页：http://textblob.readthedocs.org/en/dev/
代码主页：https://github.com/sloria/textblob

4.MBSP for Python

【MBSP】是一个文本分析系统，基于CLiPS和ILK开发的基于TiMBL和MBT内存的学习应用程序。它提供了用于标记化和句子分裂，词性标注，分块，词形还原，关系查找和介词短语附件的工具。

官方主页：http://www.clips.ua.ac.be/pages/MBSP

5.Gensim

【Gensim】是一个免费的Python库

可扩展的统计语义
分析纯文本文档的语义结构
检索语义相似的文档

官方主页：http://radimrehurek.com/gensim/index.html

代码主页：https://github.com/piskvorky/gensim

6.langid.py

【langid.py 】是一个独立的语言标识（LangID）工具。接受过97种语言的预训练（ISO 639-1代码），培训数据来自5个不同的来源：JRC-Acquis、ClueWeb 09、维基百科、路透社RCV2和Debian i18n。

代码主页：https://github.com/saffsd/langid.py

7. xTAS

【 xTAS】是基于Celery的分布式文本分析套件。部分xtas使用GPL许可软件，例如Stanford NLP工具，以及可能产生额外限制的数据集，检查文档中的各个功能。

代码主页：https://github.com/NLeSC/xtas

8.Pattern

【Pattern】是Python编程语言的Web挖掘模块。它具有数据挖掘工具（谷歌，Twitter和维基百科API，网络爬虫，HTML DOM解析器），自然语言处理（词性标注，n-gram搜索，情感分析，WordNet），机器学习（矢量）空间模型，聚类，SVM），网络分析和<canvas>可视化。

官方主页：http://www.clips.ua.ac.be/pattern

AMiner 唯一官方微信公众号：学术头条（ID：SciTouTiao）。
AMiner 官方网站网站 https://www.aminer.cn/

AMiner学术头条

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。系统2006年上线，吸引了全球220个国家/地区800多万独立IP访问，数据下载量230万次，年度访问量1000万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/

入门文本处理

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

文本分割技术

文本分割是将书面文本分割成有意义的单位的过程，如单词、句子或主题。这个术语既适用于人类阅读文本时使用的心理过程，也适用于计算机中实现的人工过程，计算机是自然语言处理的主题。这个问题并不简单，因为虽然有些书面语言有明确的词界标记，例如书面英语的单词空间和阿拉伯语独特的最初、中间和最后的字母形状，但这种信号有时是含糊不清的，在所有书面语言中都不存在。

来源：Wikipedia

文本分类技术

该技术可被用于理解、组织和分类结构化或非结构化文本文档。文本挖掘所使用的模型有词袋（BOW）模型、语言模型（ngram）和主题模型。隐马尔可夫模型通常用于词性标注（POS）。其涵盖的主要任务有句法分析、情绪分析和垃圾信息检测。

来源：机器之心

词性标注技术

词性标注是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程。

来源：Wikipedia

数据挖掘技术

数据挖掘（英语：data mining）是一个跨学科的计算机科学分支它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。数据挖掘过程的总体目标是从一个数据集中提取信息，并将其转换成可理解的结构，以进一步使用。

来源：维基百科

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科