-
现代汉语自动分析--Visual C++实现.pdf
现代汉语自动分析--Visual C++实现 计算语言学是计算机科学和语言学相结合的一门学科。它也是研究自然语言的分析和生成,跟自然语言处理有相似的任务。自然语言处理属于人工智能科学,在总目标上是为建立智能计算机服务的,其学科性质更靠近计算机科学。顾名思义,计算语言学属于语言学,在总目标上是为研究人类语言的一般规律服务的,其学科性质更靠近语言学。诚然,计算语言学是要用计算机来研究语言的,但是不能说凡是用计算机来研究语言就是计算语言学。例如,仅仅用计算机检索例句写了一篇语言学论文,就不一定属于计算语言学。计算语言学是通过建立形式化的计算模型来处理自然语言的,例如,隐马乐科夫模型,概率上下文无关语法就是形式化的计算模型。在计算语言学中,计算模型占有中心的地位,它是 用计算机处理语言问题的基本思路。有了计算模型,人们才能研究实现模型的具体算法,编制出实现算法的程序代码。“模型-算法-程序”是本书叙述问题的一条基本线索。 现代汉语自动分析,是用计算机来分析现代汉语语料,这里主要是指分析现代汉语局面语料,而且特别强调把大规模的真实文本作为研究对象。词汇分析和句法分析是其基本内容。作为入门知识,本书将介绍自动分词、词性标注和句法分析等基础的自动分析技术。为了使读者掌握自动4分析的方法并能独立地研究问题,我们还将介绍有关语言统计模型的知识,建立实验平台的步骤和字词检索等实用技术。熟悉语言学的读者可能会奇怪,为什么不市场化语义,语用方面的自动分析问题?是不是在计算语言学中这两个问题不那么重要?不是的,自然语言理解,说
- 2022-03-23 23:19:00下载
- 积分:1
-
中文分词系统
利用哈希表创建词表,利用正向最大匹配算法和逆向最大匹配算法实现中文分词,逐行读入,在哈希词表中查找最大长度的词,采用的编码格式为GBK码,哈希表查找的复杂度O(1),效率比较高,适用于此次试验的大量数据查找匹配。
- 2022-09-01 13:30:03下载
- 积分:1
-
PKU-Paraphrase-Bank-master-中文数据集
说明: 可用于中文复述生成任务训练及测试,内涵多本中文小说相似句子对。(The data can be used for the training and testing of the Chinese retelling generation task, which can contain similar sentence pairs of many Chinese novels.)
- 2020-12-17 17:07:51下载
- 积分:1
-
Kashgari-master
说明: kashgari相关源码,支持nlp各种场景的调用以及相应的功能使用(Kashgari related source code, support NLP calls of various scenarios and the use of corresponding functions)
- 2020-03-13 11:16:45下载
- 积分:1
-
自然语言处理分词 输入输出均为txt
自然语言处理分词 输入输出均为txt 另附 input.txt 和dictionary.txt,可以根据需要改变输入文件和字典(将待分词的内 容放入input.txt即可,字典应该够用)
- 2022-01-26 03:37:29下载
- 积分:1
-
MRCG_features
说明: 在输入特征提取阶段利用多分辨率耳蜗图,可提供更全面的输入信息(In the stage of input feature extraction, multi-resolution cochlear image can provide more comprehensive input information)
- 2019-12-27 10:16:37下载
- 积分:1
-
jieba-0.42.1.tar
说明: “结巴”中文分词:做最好的 Python 中文分词组件((Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.)
- 2021-02-22 06:09:41下载
- 积分:1
-
l0-sparse-NMF-master
说明: 可实现矩阵非负分解,增加了稀疏化因子来作为约束条件(Nonnegative decomposition of matrix can be realized, and sparse factor is added)
- 2019-12-27 10:11:33下载
- 积分:1
-
lcqmc
说明: 语义相似度任务-LCQMC数据集下载。LCQMC 是哈尔滨工业大学在自然语言处理国际顶会 COLING2018 构建的问题语义匹配数据集,其目标是判断两个问题的语义是否相同。(Semantic similarity task - lcqmc dataset download. Lcqmc is a problem semantic matching data set constructed by Harbin Institute of technology in colling2018, the international summit of natural language processing. Its goal is to determine whether the semantics of the two problems are the same.)
- 2020-05-10 14:44:49下载
- 积分:1
-
知网语义相似度计算JAVA源码
利用知网计算语义相似度。包含来自的论文。已经通过测试。结果正确。
- 2022-01-27 19:53:32下载
- 积分:1