无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦

P粉084495128
发布: 2025-07-16 14:58:25
原创
765人浏览过
文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

无脑使用nlp,第一弹:文摘生成,能直接用来做毕设的呦 - php中文网

零:文心大模型简介

5月20日,由深度学习技术与应用国家工程研究中心主办、飞桨承办的WAVE SUMMIT 2022深度学习开发者峰会线上举行。百度业界首发的文心·行业大模型成为峰会一大亮点。

lian合国网、浦发首发行业大模型,开启大模型进化新格局

文心·行业大模型的核心特色是“行业知识增强”,基于通用数据训练的文心大模型,加上挖掘行业应用场景中,大量存在的行业特色大数据和知识,进一步提升大模型对行业应用的适配性。在能源、金融领域,百度与国家电网、浦发银行联合研发了行业大模型。

能源电力行业,百度和国网研发了国网-百度·文心大模型。基于通用文心大模型,在海量数据中挖掘了电力行业数据,百度与国网专家们一起,引入电力业务积累的样本数据和特有知识,并且在训练中,结合双方在预训练算法和电力领域业务与算法的经验,设计电力领域实体判别、电力领域文档判别等算法作为预训练任务,让文心大模型深入学习电力专业知识,在国网场景任务应用效果提升。

一:文新大模型室应用——NLP文摘生成

1.1:什么是文摘生成?

自动文摘有两种解决方案:一种是抽取式(Extractive)的,就是从原文中提取一些关键的句子,组合成一篇摘要;另外一种是生成式(Abstractive)的,也是本文重点要讲的内容,这种方式需要计算机通读原文后,在理解整篇文章内容的基础上,使用简短连贯的语言将原文的主要内容表达出来,即会产生原文中没有出现的词和句子。

现阶段,抽取式的摘要目前已经相对成熟,但是抽取质量及内容流畅度都不够理想。随着深度学习的研究,生成式摘要的质量和流畅度都有很大提升,但目前也受到原文本长度过长、抽取内容不佳等限制,生成的摘要与人工摘要相比,还有相当的差距。

1.2:应用方式

1.2.1:使用PaddleNLP进行文摘生成

PaddleNLP中有使用Bart模型进行文摘生成的方式

BART是一种Seq2Seq结构的降噪自编码器,通过增加噪声来破环文本然后重建原文本来训练模型。它使用一个标准的Transformer结构,可以被看作泛化的BERT(由于是双向编码器),GPT(由于是从左到右解码器),和一些其他的预训练模型结构。

但是昨天我在使用Bart的 example时结果出现了一些问题没有搞成,并且你如果NLP基础,完成PaddleNLP中的example还是挺困难的,那么有没有什么比较简单的方式真正的让你一点不了解NLP也能完成文本生成任务呢

1.2.2:使用文心大模型ERNIE 3.0 Zeus 文本生成模型

ERNIE 3.0 Zeus 是全新发布的融合任务相关知识的千亿大模型,该模型大幅刷新各类 NLP 任务最好效果,在各类公开数据集及真实场景上零样本与小样本能力均取得显著提升。当前 API 为开发者提供大模型的探索和体验。

二:使用方式

2.1:获取access_token

access_token是你如果想自己搭建服务如果想去向文心大模型发送请求必须要准备的东西

调用API时必须在URL中带上access_token参数,获取Access Token的流程如下:

2.1.1:获取Access Token

请求URL数据格式

向授权服务地址 https://wenxin.baidu.com/younger/portal/api/oauth/token 发送请求(使用POST),并在URL中带上以下参数:

来画数字人直播
来画数字人直播

来画数字人自动化直播,无需请真人主播,即可实现24小时直播,无缝衔接各大直播平台。

来画数字人直播 0
查看详情 来画数字人直播
  • grant_type: 必须参数,固定为client_credentials;
  • client_id: 必须参数,应用的API Key(AK) 从 https://wenxin.baidu.com/younger 调用专区申请;
  • client_secret: 必须参数,应用的Secret Key(SK) 从 https://wenxin.baidu.com/younger 调用专区申请;

其中API Key与Secret Key可以在https://wenxin.baidu.com/younger/apiDetail?id=20006下拉到调用专区进行获取无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦 - php中文网

将API Key与Secret Key填入对应的位置中,并在终端输入

curl -i -k 'https://wenxin.baidu.com/younger/portal/api/oauth/token?grant_type=client_credentials&client_id={API Key}&client_secret={Secret Key}' -H 'Content-Type:application/x-www-form-urlencoded'
登录后复制

成功之后就会获取到access Token

2.2:摘要生成

2.2.1:傻瓜版本

直接把下段代码给copy然后运行就可以了

import requests

url = "https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus"payload={
    'access_token': '24.9991a77ac60c6e969e176b776f74b09e.86400000.1653006451543.499f8f33b6821ebbf9ba1fbea525d6ae-6',
    'text': '19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。文章标题是:',
    'seq_len': 32,
    'task_prompt': 'Summarization',
    'dataset_prompt': '',
    'topk': 1,
    'stop_token': '》'
    }

response = requests.request("POST", url, data=payload)

print(response.text)
登录后复制

2.2.2:详细介绍版本

首先必须要注意的是每个账户每日免费请求ERNIE 3.0 Zeus API服务的上限为200条输入,免费请求额度共2000条输入。如果您有更多请求需求,请联系:wenxin-younger@baidu.com

内容 说明
传输方式 https (为提高安全性,强烈推荐https)
请求地址 https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus
字符编码 UTF-8
响应格式 统一采用JSON格式
开发语言 任意,只要可以向服务发起HTTP请求的均可
适用范围 任意操作系统,但因不支持跨域不适用于浏览器,请在后端调用接口
请求行 POST
请求QPS限制 2
平均响应时间 生成512需要16.3s,生成256需要8.1s,生成128需要4.1s

也就是说只要我们按照官网给的案例进行提交如果只是初级使用只需要将text中的内容进行修改即可

返回文本样例

{    "code": 0, 
    "msg": "success",    "data": 
        {            "result": "巴基斯坦参议院通过汉语普通话为官方语言议案"   
        }
}
登录后复制

这是成功的样例, 下面是一些失败的样例

{"code":1,"msg":"access_token is invalid","data":null}
{"code":4004,"msg":"service backend failed: 'save_infer_model/scale_0.tmp_0'","data":{"result":"null"}}
登录后复制

有的是access_token失效或不对,有的是因为请求太过频繁。

下面时具体的错误码分析

错误码 错误描述
4001 错误描述
4002 请求参数格式错误,请检查必传参数是否齐全,参数类型等
4003 text长度超过模型要求的最大值
4004 API服务内部错误,可能引起原因有请求超时、模型推理错误等

2.2.3:具体API参数

无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦 - php中文网

三:实例

In [39]
import requests

url = "https://wenxin.baidu.com/younger/portal/api/rest/1.0/ernie/3.0/zeus"payload={    'access_token': '24.033a83fc578d4bfbf3f686b5ddde88c6.86400000.1654314522980.c266ed6c0f65dd3106e3c7e3924a2516-3008',    'text': '请给下面这段话写一句摘要:\" 19号,印度一些主流媒体发布消息称,汉语普通话被批准成为巴基斯坦官方语言!消息称,巴基斯坦参议院19号通过将汉语普通话作为官方语言的议案,如果普通话成为巴基斯坦官方语言,中巴关系会进一步深化, 两国人民在中巴经济走廊建设中的沟通也会变得更简单。到底是不是真消息呢?据记者了解,事实上,该决议只是提到鼓励学习中国官方语言,并没有提到汉语普通话要成为巴基斯坦的官方语言。\"',    'seq_len': 48,    'task_prompt': 'Summarization',    'dataset_prompt': '',        'topk': 1,    'stop_token': ''
    }

response = requests.request("POST", url, data=payload)print(response.text)
登录后复制
{"code":0,"msg":"","data":{"result":"汉语普通话成巴基斯坦官方语言?"}}
登录后复制

以上就是无脑使用NLP,第一弹:文摘生成,能直接用来做毕设的呦的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号