spacy
产业级自然语言处理python包 https://spacy.io/
特性
- 支持64+语言
- 针对19门语言的64流水线pipeline处理函数
- 多任务预训练transformers，如BERT
- 预训练词向量
- 支持命名实体识别
- 支持 POS词性标注
- 支持 句法依存
- 支持 文本分类
- 支持 词干化
- 内置可视化
spacy安装
pip install spacy==3.2.0
模型下载安装
sm小型/ md中型/ lg大型
-
中文模型3.2.0版
- zh_core_web_sm https://github.com/explosion/spacy-models/releases/download/zh_core_web_sm-3.2.0/zh_core_web_sm-3.2.0-py3-none-any.whl
- zh_core_web_md https://github.com/explosion/spacy-models/releases/download/zh_core_web_md-3.2.0/zh_core_web_md-3.2.0-py3-none-any.whl
- zh_core_web_lg https://github.com/explosion/spacy-models/releases/download/zh_core_web_lg-3.2.0/zh_core_web_lg-3.2.0-py3-none-any.whl
-
英文模型3.2.0版
- en_core_web_sm https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.2.0/en_core_web_sm-3.2.0-py3-none-any.whl
- en_core_web_md https://github.com/explosion/spacy-models/releases/download/en_core_web_md-3.2.0/en_core_web_md-3.2.0-py3-none-any.whl
- en_core_web_lg https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.2.0/en_core_web_lg-3.2.0-py3-none-any.whl
注意： 模型大小的区别主要体现在词向量维度数的差距，模型越大， 词向量的维度越多。
以版本3.2.0的en_core_web_sm为例，点击对应链接，下载至桌面。
打开命令行， 依次执行
cd Desktop
pip3 install en_core_web_sm-3.2.0-py3-none-any.whl
即可安装完成。
Doc类型
doc.lang_doc的语言doc.textdoc的文本doc.ents文本中的实体词
import spacy
#使用中文zh_core_web_sm模型
zh_nlp = spacy.load("zh_core_web_sm")
test1 = '国家管网微信公众号11月13日消息，11月12日，国家管网集团首期绿色超短期融资券在全国银行间市场成功发行。此次债券发行是国家管网集团成立后首次在公开市场亮相，由工商银行独家承销，发行金额60亿元、期限270天，为本年度单笔最大金额绿色超短期融资券，募集资金将全部用于储气库等绿色低碳天然气储运基础设施建设；发行票面利率2.41%，认购总规模达2.53倍，低于资本市场同期可比产品利率超10个BP，反映了市场对绿色基础设施建设项目的青睐。'
doc1 = zh_nlp(test1)
doc1
国家管网微信公众号11月13日消息，11月12日，国家管网集团首期绿色超短期融资券在全国银行间市场成功发行。此次债券发行是国家管网集团成立后首次在公开市场亮相，由工商银行独家承销，发行金额60亿元、期限270天，为本年度单笔最大金额绿色超短期融资券，募集资金将全部用于储气库等绿色低碳天然气储运基础设施建设；发行票面利率2.41%，认购总规模达2.53倍，低于资本市场同期可比产品利率超10个BP，反映了市场对绿色基础设施建设项目的青睐。
doc1.lang_
'zh'
doc1.text
'国家管网微信公众号11月13日消息，11月12日，国家管网集团首期绿色超短期融资券在全国银行间市场成功发行。此次债券发行是国家管网集团成立后首次在公开市场亮相，由工商银行独家承销，发行金额60亿元、期限270天，为本年度单笔最大金额绿色超短期融资券，募集资金将全部用于储气库等绿色低碳天然气储运基础设施建设；发行票面利率2.41%，认购总规模达2.53倍，低于资本市场同期可比产品利率超10个BP，反映了市场对绿色基础设施建设项目的青睐。'
doc1.vector
array([-1.81135774e-01, 2.31929451e-01, 1.45746097e-01, 6.82696044e-01,
-8.44623148e-03, -2.21295916e-02, 4.06811416e-01, -4.60287899e-01,
-5.73987663e-01, -1.33687481e-01, -5.34314513e-01, -6.64901555e-01,
-3.94947737e-01, 6.35875063e-03, -2.03339502e-01, 5.78875951e-02,
-3.34325433e-01, -3.77648622e-01, 2.43863747e-01, -5.56892566e-02,
-7.30801523e-01, -2.41785884e-01, -4.50579911e-01, -3.13598923e-02,
9.07084942e-02, -8.06667805e-01, 7.28501499e-01, -8.59559357e-01,
-4.44110222e-02, 9.64611948e-01, -2.57230818e-01, 1.09481342e-01,
-3.73580456e-01, -8.51007993e-04, 5.30374162e-02, -5.51876485e-01,
-4.82654065e-01, 2.68822908e-01, -4.20012563e-01, 4.33068752e-01,
-5.14427841e-01, 5.53584039e-01, -2.00293139e-02, 9.45062563e-02,
1.04523234e-01, 1.34134221e+00, -5.23905218e-01, 1.31230903e+00,
3.28943968e-01, 3.39987069e-01, 8.26785386e-01, 5.35273492e-01,
-4.27510649e-01, -1.02807179e-01, -1.91500232e-01, 2.63696283e-01,
6.33961499e-01, -5.65908328e-02, -1.94336250e-01, -5.89190602e-01,
2.22078279e-01, 3.41992415e-02, 5.37312031e-01, 2.77926654e-01,
-3.00608397e-01, -6.42910838e-01, -1.33188680e-01, 2.82793492e-01,
6.25911206e-02, 2.08833948e-01, 2.69211121e-02, 1.65822819e-01,
-4.32190485e-02, -6.67634964e-01, 6.50937319e-01, -2.43003711e-01,
9.57057327e-02, -3.56370257e-03, -1.13566548e-01, -1.65319979e-01,
7.40000159e-02, 3.65676880e-01, -2.21356809e-01, 2.03256473e-01,
2.26293072e-01, 3.11525285e-01, 3.37869138e-01, -3.12896192e-01,
5.31899095e-01, -1.86223835e-01, -6.03411011e-02, 4.97923464e-01,
3.10418844e-01, -2.48594299e-01, -3.67455184e-01, -4.46804255e-01],
dtype=float32)
#doc1中的实体词
doc1.ents
(11月13日, 11月12日, 国家管网集团, 全国银行, 国家管网集团, 工商银行, 60亿元, 270天, 2, 2, 53, 超10)
#doc1中的实体词类别
[ent.label_ for ent in doc1.ents]
['DATE',
'DATE',
'ORG',
'ORG',
'ORG',
'ORG',
'MONEY',
'DATE',
'CARDINAL',
'CARDINAL',
'CARDINAL',
'CARDINAL']
Token类型
token.text文本token.pos_词性
for token in doc1:
print(token.text, ' ', token.pos_)
国家 NOUN
管网 NOUN
微信 ADJ
公众号 NOUN
11月 NOUN
13日 NOUN
消息 NOUN
， PUNCT
11月 NOUN
12日 NOUN
， PUNCT
国家 NOUN
管网 NOUN
集团 NOUN
首期 ADV
绿色 VERB
超短 NOUN
期融 NOUN
资券 VERB
在 ADP
全国 ADJ
银行 NOUN
间 PART
市场 NOUN
成功 ADV
发行 VERB
。 PUNCT
此次 DET
债券 NOUN
发行 VERB
是 VERB
国家 NOUN
管网 NOUN
集团 NOUN
成立 VERB
后 PART
首次 ADV
在 ADP
公开 ADJ
市场 NOUN
亮相 VERB
， PUNCT
由 ADP
工商 NOUN
银行 NOUN
独家 ADV
承销 VERB
， PUNCT
发行 NOUN
金额 NOUN
60亿 NUM
元 NUM
、 PUNCT
期限 NOUN
270 NUM
天 NUM
， PUNCT
为 ADP
本 DET
年度 NOUN
单笔 NOUN
最 ADV
大 ADJ
金额 NOUN
绿色 ADJ
超短 NOUN
期融 NOUN
资券 NOUN
， PUNCT
募集 NOUN
资金 NOUN
将 ADV
全部 ADV
用于 VERB
储气库 NOUN
等 PART
绿色 ADJ
低碳 VERB
天然气 NOUN
储运 NOUN
基础 NOUN
设施 NOUN
建设 NOUN
； PUNCT
发行 VERB
票面 ADJ
利率 NOUN
2 NUM
. PUNCT
41% NOUN
， PUNCT
认购 NOUN
总 ADJ
规模 NOUN
达 VERB
2 NUM
. PUNCT
53 NUM
倍 NUM
， PUNCT
低于 VERB
资本 NOUN
市场 NOUN
同期 NOUN
可比 ADV
产品 NOUN
利率 NOUN
超10 VERB
个 NUM
BP NOUN
， PUNCT
反映 VERB
了 PART
市场 NOUN
对 ADP
绿色 ADJ
基础 NOUN
设施 NOUN
建设 NOUN
项目 NOUN
的 PART
青睐 NOUN
。 PUNCT