自然语言处理综述笔记

news/2024/9/21 18:48:51

自然语言处理综述

自然语言处理涉及许多领域,包括词汇、句法、语义和语用分析,文本分类、情感分析、自动摘要、机器 翻译和社会计算等。
自然语言处理主要分两个流程:自然语言理解(NLU)和自然语言生成(NLG)
处理流程大致可分为五步:
第一步获取语料。
第二步对语料进行预处理,其中包括语料清理、分词、 词性标注和去停用词等步骤。
第三步特征化,也就是向量化,主要把分词后的字和词表示成计算机可计算的类型(向 量),这样有助于较好的表达不同词之间的相似关系。
第四步模型训练,包括传统的有监督、半监督和无监督学习模型 等,可根据应用需求不同进行选择。
第五步对建模后的效果进行评价,常用的评测指标有准确率 (Precision)、召回率 (Recall)、F 值 (F-Measure)等。准确率是衡量检索系统的查准率;召回率是衡量检索系统的查全率;而 F 值是综合准确率和召回率用于反映整体的指标, 当 F 值较高时则说明试验方法有效。

基础研究

1、词法分析:主要包括分词、词性标注、命名实体识别和词义消歧。
2、句法分析:为了确定句子中各组成成分之间的关系,也就是其句法结构
3、语义分析(重点)
4、语用分析,主要是把文本中的描述和现实相对应,形成动 态的表意结构。

技术领域

1、信息抽取(IE):将嵌入在文本中的非结构化信息提取并转 换为结构化数据的过程
2、自动文摘:自动地对文本信息 进行提取、集合成简短摘要,实现字少意明。

NLP文本情感分析应用综述

1、基于情感字典的情感分析法

利用情感词典获取文档中 情感词的情感值,再通过加权计算来确定文档的整体情感倾向。

2、基于机器学习的情感分析法

构造 一个模型,输入大量有标签或者没有标签的语言信息,使用机器学习的算法,找出代价函数最小的结果作为输出。

3、基于深度学习的情感分析法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/63050.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

CIDR与ICMP

CIDR CIDP:无类域间路由/超网 将多个小的子网,用一个相对更大的地址范围进行概括,以此实现表项的优化 如何求cidr后的ip 1.将子网转换成2进制: 0000 1010.0000 0001.0000 0000.0000 0000——10.1.0.0 0000 1010.0000 0001.0000 0001.0000 0000——10.1.1.0 0000 1010.0000 …

lightgbm的输出到低是怎么来的

结论:假设有100棵树,总输出就是100棵树每个输入所对应的输出叶子结点之和1 可以打印出每个样本在每棵树上所属的叶子结点id2 可以打印每棵树每个叶子结点的输出 3 找到每棵树对应叶子结点,加起来 4 查看该样本的模型输出,发现是一致的 5 可以画图每棵树的结构图,方便理解

使用vscode和markdown写博客

博客创建事要Reason 最近因为在做学校的实训项目,真正接触到了实际开发,遇到了不少的问题,由于之前也有在scdn上写博客的习惯(实际写的很乱,而且个人不是很喜欢csdn哈QAQ),所以想要重新维护一个规整的个人博客,于是此博客应允而出。Condition 在了解之后,发现博客园的…

CSP-S 2024

CSP-S 2024 游记初赛 感觉没啥好写的,毕竟弱省不是保龄都能过吗? Day -1 周五,一天有 \(\frac{10}{13}\) 都是奥赛,遂打模拟赛。 传送门。 题都不是不可做题,改得挺快,觉得明天初赛了就看了看初赛题,但没啥动力,半颓状态过了一晚。 晚上做了个诡异的梦。梦里又做了个梦…

适用于 VitePress 的公告插件开发实记

开发了一个适用于 VitePress 站点的公告插件 vitepress-plugin-announcement前言 笔者维护的 VitePress 博客主题在近1年多的时间里集成了非常多功能,不少用户希望将里面的部分功能分离出来,方便在其它 VitePress 站点也可以独立使用。 其中分离的第一个组件类型的就是呼声较…

4 个

8 9 5 6 6 8 1 6

2024 CSP-S 游记

遗失星海超神摘要等放了假再补8.22 下午 \(huge\) 说要报名 \(CSP\) 的事情,把全网开了,光速上 \(w3\) 扒下照片然后又光速上 \(163\) 邮箱拿验证码然后就注册账号了,过了一会儿就看见教练给报好了 \(CSP-S\) 。拿 \(QQ\) 邮箱的需要验证码所以 \(huge\) 把手机发了下来,还…