老铁们，大家好，相信还有很多朋友对于刷空间业务网站源码分享和的相关问题不太懂，没关系，今天就由我来为大家分享分享刷空间业务网站源码分享以及的问题，文章篇幅可能偏长，希望可以帮助到大家，下面一起来看看吧！
TheMostPowerfulNLP-WeaponArsenal
NLP民工的乐园:几乎最全的中文NLP资源库
词库工具包学习资料
在入门到熟悉NLP的过程中，用到了很多github上的包，遂整理了一下，分享在这里。
很多包非常有趣，值得收藏，满足大家的收集癖！如果觉得有用，请分享并star，谢谢！
长期不定时更新，欢迎watch和fork！
涉及内容包括但不限于：中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度匹配算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR语音数据集+基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy中文模型、CommonVoice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr：用来做中文OCR的Python3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner:从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph:知识图谱表示学习(Python)库：知识图谱概念链接预测、Scattertext文本可视化(python)、语言/知识表示工具：BERT&ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文近义词工具包、HarvestText领域自适应文本挖掘工具（新词发现-情感分析-实体链接等）、word2word：(Python)方便易用的多语言词-词对集：62种语言/3,564个多语言对、语音识别语料生成工具：从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型（包含词典和语料标注）、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser:仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试–功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamesebilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型实现的根据HackerNews文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank：NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook:LAMA语言模型分析，提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA：面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档PDF或者PPT、自然语言生成SQL语句（英文）、中文NLP数据增强（EDA）工具、英文NLP数据增强工具、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库qingyun训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱：基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr:中文语音识别-提供预训练模型-高识别率、Python音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab：开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于TensorFlow和BERT的管道式实体及关系抽取、一个小型的证券知识图谱/知识库、复盘所有NLP比赛的TOP方案、OpenCLaP：多领域开源中文预训练语言模型仓库、UER：基于不同语料+编码器+目标任务的中文预训练模型仓库、中文自然语言处理向量合集、基于金融-司法领域(兼有闲聊性质)的聊天机器人、g2pC：基于上下文的汉语读音自动标记模块、Zincbase知识图谱构建工具包、诗歌质量评价/细粒度情感诗歌语料库、快速转化「中文数字」和「阿拉伯数字」、百度知道问答语料库、基于知识图谱的问答系统、jieba_fast加速版的jieba、正则表达式教程、中文阅读理解数据集、基于BERT等最新语言模型的抽取式摘要提取、Python利用深度学习进行文本摘要的综合指南、知识图谱深度学习相关资料整理、维基大规模平行文本语料、StanfordNLP0.2.0：纯Python版自然语言处理包、NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具、端到端的封闭域对话系统、中文命名实体识别：NeuroNERvs.BertNER、新闻事件线索抽取、2019年百度的三元组抽取比赛：“科学空间队”源码、基于依存句法的开放域文本知识三元组抽取和知识库构建、中文的GPT2训练代码、ML-NLP-机器学习(MachineLearning)NLP面试中常考到的知识点和代码实现、nlp4han:中文自然语言处理工具集(断句/分词/词性标注/组块/句法分析/语义分析/NER/N元语法/HMM/代词消解/情感分析/拼写检查、XLM：Facebook的跨语言预训练语言模型、用基于BERT的微调和特征提取方法来进行知识图谱百度百科人物词条属性抽取、中文自然语言处理相关的开放任务-数据集-当前最佳结果、CoupletAI-基于CNN+Bi-LSTM+Attention的自动对对联系统、抽象知识图谱、MiningZhiDaoQACorpus-580万百度知道问答数据挖掘项目、bratrapidannotationtool:序列标注工具、大规模中文知识图谱数据：1.4亿实体、数据增强在机器翻译及其他nlp任务中的应用及效果、allennlp阅读理解:支持多种数据和模型、PDF表格数据提取工具、Graphbrain：AI开源软件库和科研工具，目的是促进自动意义提取和文本理解以及知识的探索和推断、简历自动筛选系统、基于命名实体识别的简历自动摘要、中文语言理解测评基准，包括代表性的数据集&基准模型&语料库&排行榜、树洞OCR文字识别、从包含表格的扫描图片中识别表格和文字、语声迁移、Python口语自然语言处理工具集(英文)、similarity：相似度计算工具包，java编写、海量中文预训练ALBERT模型、Transformers2.0、基于大规模音频数据集Audioset的音频增强、Poplar：网页版自然语言标注工具、图片文字去除，可用于漫画翻译、186种语言的数字叫法库、Amazon发布基于知识的人-人开放领域对话数据集、中文文本纠错模块代码、繁简体转换、Python实现的多种文本可读性评价指标、类似于人名/地名/组织机构名的命名体识别数据集、东南大学《知识图谱》研究生课程(资料)、.英文拼写检查库、wwsearch是企业微信后台自研的全文检索引擎、CHAMELEON：深度学习新闻推荐系统元架构、8篇论文梳理BERT相关模型进展与反思、DocSearch：免费文档搜索引擎、LIDA：轻量交互式对话标注工具、aili-thefastestin-memoryindexintheEast东半球最快并发索引、知识图谱车音工作项目、自然语言生成资源大全、中日韩分词库mecab的Python接口库、中文文本摘要/关键词提取、汉字字符特征提取器(featurizer)，提取汉字的特征（发音特征、字形特征）用做深度学习的特征、中文生成任务基准测评、中文缩写数据集、中文任务基准测评-代表性的数据集-基准(预训练)模型-语料库-baseline-工具包-排行榜、PySS3：面向可解释AI的SS3文本分类器机器可视化工具、中文NLP数据集列表、COPE-格律诗编辑程序、doccano：基于网页的开源协同多语言文本标注工具、PreNLP：自然语言预处理库、简单的简历解析器，用来从简历中提取关键信息、用于中文闲聊的GPT2模型：GPT2-chitchat、基于检索聊天机器人多轮响应选择相关资源列表(Leaderboards、Datasets、Papers)、(Colab)抽象文本摘要实现集锦(教程、词语拼音数据、高效模糊搜索工具、NLP数据增广资源集、微软对话机器人框架、GitHubTypoCorpus：大规模GitHub多语言拼写错误/语法错误数据集、TextCluster：短文本聚类预处理模块Shorttextcluster、面向语音识别的中文文本规范化、BLINK：最先进的实体链接库、BertPunc：基于BERT的最先进标点修复模型、Tokenizer：快速、可定制的文本词条化库、中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜、spaCy医学文本挖掘与信息提取、NLP任务示例项目代码集、python拼写检查库、chatbot-list-行业内关于智能客服、聊天机器人的应用和架构、算法分享和介绍、语音质量评价指标(MOSNet,BSSEval,STOI,PESQ,SRMR)、用138GB语料训练的法文RoBERTa预训练语言模型、BERT-NER-Pytorch：三种不同模式的BERT中文NER实验、无道词典-有道词典的命令行版本，支持英汉互查和在线查询、2019年NLP亮点回顾、Chinesemedicaldialoguedata中文医疗对话数据集、最好的汉字数字(中文数字)-阿拉伯数字转换工具、基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧、awesome-nlp-sentiment-analysis-情感分析、情绪原因识别、评价对象和评价词抽取、LineFlow：面向所有深度学习框架的NLP数据高效加载器、中文医学NLP公开资源整理、MedQuAD：(英文)医学问答数据集、将自然语言数字串解析转换为整数和浮点数、TransferLearninginNaturalLanguageProcessing(NLP)、面向语音识别的中文/英文发音辞典、Tokenizers：注重性能与多功能性的最先进分词器、CLUENER细粒度命名实体识别FineGrainedNamedEntityRecognition、基于BERT的中文命名实体识别、中文谣言数据库、NLP数据集/基准任务大列表、nlp相关的一些论文及代码,包括主题模型、词向量(WordEmbedding)、命名实体识别(NER)、文本分类(TextClassificatin)、文本生成(TextGeneration)、文本相似性(TextSimilarity)计算等，涉及到各种与nlp相关的算法，基于keras和tensorflow、Python文本挖掘/NLP实战示例、Blackstone：面向非结构化法律文本的spaCypipeline和NLP模型通过同义词替换实现文本“变脸”、中文预训练ELECTREA模型:基于对抗学习pretrainChineseModel、albert-chinese-ner-用预训练语言模型ALBERT做中文NER、基于GPT2的特定主题文本生成/文本增广、开源预训练语言模型合集、多语言句向量包、编码、标记和实现：一种可控高效的文本生成方法、英文脏话大列表、attnvis：GPT2、BERT等transformer语言模型注意力交互可视化、CoVoST：Facebook发布的多语种语音-文本翻译语料库，包括11种语言(法语、德语、荷兰语、俄语、西班牙语、意大利语、土耳其语、波斯语、瑞典语、蒙古语和中文)的语音、文字转录及英文译文、Jiagu自然语言处理工具-以BiLSTM等模型为基础，提供知识图谱关系抽取中文分词词性标注命名实体识别情感分析新词发现关键词文本摘要文本聚类等功能、用unet实现对文档表格的自动检测，表格重建、NLP事件提取文献资源列表、金融领域自然语言处理研究资源大列表、CLUEDatasetSearch-中英文NLP数据集：搜索所有中文NLP数据集，附常用英文NLP数据集、medical_NER-中文医学知识图谱命名实体识别、(哈佛)讲因果推理的免费书、知识图谱相关学习资料/数据集/工具资源大列表、Forte：灵活强大的自然语言处理pipeline工具集、Python字符串相似性算法库、PyLaia：面向手写文档分析的深度学习工具包、TextFooler：针对文本分类/推理的对抗文本生成模块、Haystack：灵活、强大的可扩展问答(QA)框架、中文关键短语抽取工具。
1.textfilter:中英文敏感词过滤observerss/textfilter
>>>f=DFAFilter()\n>>>f.add(&34;)\n>>>f.filter(&34;)\nhello****baby\n
敏感词包括政治、脏话等话题词汇。其原理主要是基于词典的查找（项目中的keyword文件），内容很劲爆。。。
2.langid：97种语言检测https://github.com/saffsd/langid.py
pipinstalllangid
>>>importlangid\n>>>langid.classify(&34;)\n(&39;,-54.41310358047485)\n
3.langdetect：另一个语言检测https://code.google.com/archive/p/language-detection/
pipinstalllangdetect
fromlangdetectimportdetect\nfromlangdetectimportdetect_langs\n\ns1=&34;\ns2=&39;\nprint(detect(s1))\nprint(detect(s2))\nprint(detect_langs(s3))return{&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;}\n
支持号段:13*,15*,18*,14[5,7],17[0,6,7,8]
记录条数:360569(updated:2017年4月)
作者提供了数据phone.dat方便非python用户Load数据。
5.phone国际手机、电话归属地查询：AfterShip/phone
npminstallphone
importphonefrom&39;;\nphone(&39;);//return[&39;,&39;]\nphone(&39;);//return[&39;USA&39;赵本山&39;male&39;宋丹丹&39;female&39;^[*39;\nemails=re.findall(email_pattern,text,flags=0)\n
8.抽取phone_number的正则表达式
已集成到pythonpackagecocoNLP中，欢迎试用
cellphone_pattern=&39;\nphoneNumbers=re.findall(cellphone_pattern,text,flags=0)\n
9.抽取身份证号的正则表达式
IDCards_pattern=r&39;\nIDs=re.findall(IDCards_pattern,text,flags=0)\n
10.人名语料库：wainshine/Chinese-Names-Corpus
人名抽取功能pythonpackagecocoNLP，欢迎试用
中文（现代、古代）名字、日文名字、中文的姓和名、称呼（大姨妈、小姨妈等）、英文->中文名字（李约翰）、成语词典\n
（可用于中文分词、姓名识别）
11.中文缩写库：github
全国人大:全国/n人民/n代表大会/n\n中国:中华人民共和国/ns\n女网赛:女子/n网球/n比赛/vn\n
12.汉语拆字词典：kfcd/chaizi
漢字\t拆法(一)\t拆法(二)\t拆法(三)\n拆\t手斥\t扌斥\t才斥\n
13.词汇情感值：rainarch/SentiBridge
山泉水\t充沛\t0.400704566541\t0.370067395878\n视野\t宽广\t0.305762728932\t0.325320747491\n大峡谷\t惊险\t0.312137906517\t0.378594957281\n
14.中文词库、停用词、敏感词dongxiexidian/Chinese
此package的敏感词库分类更细：
反动词库，敏感词库表统计，暴恐词库，民生词库，色情词库
15.汉字转拼音：mozillazg/python-pinyin
文本纠错会用到
16.中文繁简体互转：skydark/nstools
17.英文模拟中文发音引擎funnychinesetexttospeechenginee：tinyfool/ChineseWithEnglish
saywoini\n39;derekanderson&39;derek&39;anderson&39;imateapot&39;im&39;a&39;teapot&39;急寻特朗普，男孩，于2018年11月27号11时在陕西省安康市汉滨区走失。丢失发型短发，…如有线索，请迅速与警方联系：18100065143，132-6156-2938，baizhantang@sina.com.cn和yangyangfutureatgmaildotcom&抽取邮箱\n>>>emails=ex.extract_email(text)\n>>>print(emails)\n\n[&39;,&39;]\n39;CHN&39;18100065143&39;13261562938&抽取手机归属地、运营商\n>>>cell_locs=[ex.extract_cellphone_location(cell,&39;)forcellincellphones]\n>>>print(cell_locs)\n\ncellphone_location[{&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;,&39;:&39;}]\n39;陕西省安康市汉滨区&39;安康市汉滨区&39;汉滨区&抽取时间点\n>>>times=ex.extract_time(text)\n>>>print(times)\ntime{&34;:&34;,&34;:&34;}\nfindthosewordsthatmaybemisspelled\nmisspelled=spell.unknown([&39;,&39;,&39;,&39;])\n\nforwordinmisspelled:\nGetalistof`likely`options\nprint(spell.candidates(word))\n
187.wwsearch是企业微信后台自研的全文检索引擎github
188.CHAMELEON：深度学习新闻推荐系统元架构github
189.8篇论文梳理BERT相关模型进展与反思github
190.DocSearch：免费文档搜索引擎github
191.LIDA：轻量交互式对话标注工具github
192.aili-thefastestin-memoryindexintheEast东半球最快并发索引github
193.知识图谱车音工作项目github
194.自然语言生成资源大全github
内含英文数据、论文、代码
195.中日韩分词库mecab的Python接口库github
196.中文文本摘要/关键词提取github
197.汉字字符特征提取器(featurizer)，提取汉字的特征（发音特征、字形特征）用做深度学习的特征github
198.中文生成任务基准测评github
199.中文缩写数据集github
200.中文任务基准测评-代表性的数据集-基准(预训练)模型-语料库-baseline-工具包-排行榜github
201.PySS3：面向可解释AI的SS3文本分类器机器可视化工具github
202.中文NLP数据集列表github
203.COPE-格律诗编辑程序github
204.doccano：基于网页的开源协同多语言文本标注工具github
205.PreNLP：自然语言预处理库github
206.简单的简历解析器，用来从简历中提取关键信息github
207.用于中文闲聊的GPT2模型：GPT2-chitchatgithub
208.基于检索聊天机器人多轮响应选择相关资源列表(Leaderboards、Datasets、Papers)github
209.(Colab)抽象文本摘要实现集锦(教程github
210.词语拼音数据github
211.高效模糊搜索工具github
212.NLP数据增广资源集github
213.微软对话机器人框架github
214.GitHubTypoCorpus：大规模GitHub多语言拼写错误/语法错误数据集github
215.TextCluster：短文本聚类预处理模块Shorttextclustergithub
216.面向语音识别的中文文本规范化github
217.BLINK：最先进的实体链接库github
218.BertPunc：基于BERT的最先进标点修复模型github
219.Tokenizer：快速、可定制的文本词条化库github
220.中文语言理解测评基准，包括代表性的数据集、基准(预训练)模型、语料库、排行榜github
221.spaCy医学文本挖掘与信息提取github
222.NLP任务示例项目代码集github
223.python拼写检查库github
224.chatbot-list-行业内关于智能客服、聊天机器人的应用和架构、算法分享和介绍github
225.语音质量评价指标(MOSNet,BSSEval,STOI,PESQ,SRMR)github
226.用138GB语料训练的法文RoBERTa预训练语言模型link
227.BERT-NER-Pytorch：三种不同模式的BERT中文NER实验github
228.无道词典-有道词典的命令行版本，支持英汉互查和在线查询github
229.2019年NLP亮点回顾download
提取码:yb6x
230.Chinesemedicaldialoguedata中文医疗对话数据集github
231.最好的汉字数字(中文数字)-阿拉伯数字转换工具github
232.基于百科知识库的中文词语多词义/义项获取与特定句子词语语义消歧github
233.awesome-nlp-sentiment-analysis-情感分析、情绪原因识别、评价对象和评价词抽取github
234.LineFlow：面向所有深度学习框架的NLP数据高效加载器github
235.中文医学NLP公开资源整理github
236.MedQuAD：(英文)医学问答数据集github
237.将自然语言数字串解析转换为整数和浮点数github
238.TransferLearninginNaturalLanguageProcessing(NLP)youtube
239.面向语音识别的中文/英文发音辞典github
240.Tokenizers：注重性能与多功能性的最先进分词器github
241.CLUENER细粒度命名实体识别FineGrainedNamedEntityRecognitiongithub
242.基于BERT的中文命名实体识别github
243.中文谣言数据库github
244.NLP数据集/基准任务大列表github
大多数为英文数据
245.nlp相关的一些论文及代码,包括主题模型、词向量(WordEmbedding)、命名实体识别(NER)、文本分类(TextClassificatin)、文本生成(TextGeneration)、文本相似性(TextSimilarity)计算等，涉及到各种与nlp相关的算法，基于keras和tensorflowgithub
246.Python文本挖掘/NLP实战示例github
247.Blackstone：面向非结构化法律文本的spaCypipeline和NLP模型github
248.通过同义词替换实现文本“变脸”github
249.中文预训练ELECTREA模型:基于对抗学习pretrainChineseModelgithub
250.albert-chinese-ner-用预训练语言模型ALBERT做中文NERgithub
251.基于GPT2的特定主题文本生成/文本增广github
252.开源预训练语言模型合集github
253.多语言句向量包github
254.编码、标记和实现：一种可控高效的文本生成方法github
255.英文脏话大列表github
256.attnvis：GPT2、BERT等transformer语言模型注意力交互可视化github
257.CoVoST：Facebook发布的多语种语音-文本翻译语料库，包括11种语言(法语、德语、荷兰语、俄语、西班牙语、意大利语、土耳其语、波斯语、瑞典语、蒙古语和中文)的语音、文字转录及英文译文github
258.Jiagu自然语言处理工具-以BiLSTM等模型为基础，提供知识图谱关系抽取中文分词词性标注命名实体识别情感分析新词发现关键词文本摘要文本聚类等功能github
259.用unet实现对文档表格的自动检测，表格重建github
260.NLP事件提取文献资源列表github
261.金融领域自然语言处理研究资源大列表github
262.CLUEDatasetSearch-中英文NLP数据集：搜索所有中文NLP数据集，附常用英文NLP数据集github
263.medical_NER-中文医学知识图谱命名实体识别github
264.(哈佛)讲因果推理的免费书pdf
265.知识图谱相关学习资料/数据集/工具资源大列表github
266.Forte：灵活强大的自然语言处理pipeline工具集github
267.Python字符串相似性算法库github
268.PyLaia：面向手写文档分析的深度学习工具包github
269.TextFooler：针对文本分类/推理的对抗文本生成模块github
270.Haystack：灵活、强大的可扩展问答(QA)框架github
271.中文关键短语抽取工具github
源码下载地址：https://github.com/fighting41love/funNLP/archive/master.zip
关于本次刷空间业务网站源码分享和的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。