电销系统外呼软件,成都移动seo,手机上如何制作app,app开发公司历程概述近期有做信息抽取的需求#xff0c;UIE在信息抽取方面效果不错。
模型准备
huggingface上下载UIE模型#xff1a;PaddlePaddle/uie-base Hugging Face
点击“Clone Repository”#xff0c;确定git clone的链接
其中包含大文件#xff0c;需要在windows安装git-lfsUIE在信息抽取方面效果不错。
模型准备
huggingface上下载UIE模型PaddlePaddle/uie-base · Hugging Face
点击“Clone Repository”确定git clone的链接
其中包含大文件需要在windows安装git-lfs在https://git-lfs.com/下载git-lfs安装。
git lfs clone 仓库链接
环境配置
UIE使用需要安装paddlenlp
paddlenlp依赖paddlepaddle-gpu或paddlepaddle
忘了因为什么原因python3.7和python3.11上安装paddlenlp存在问题在python3.9上成功安装了。
为了使用GPU进行模型训练和推理在GPU机器安装了NVIDIA Driver、CUDA、Cudnn。
这里踩了个坑
CUDA 工具包 11.2 配合 cuDNN v8.2.1使用安装paddlepaddle-gpu有特定版本 python -m pip install paddlepaddle-gpu2.4.2.post112 -f https://www.paddlepaddle.org.cn/whl/windows/mkl/avx/stable.html 一定要采用这个版本如果安装了paddlepaddle-gpu2.4.2版本运行会报错 RuntimeError: (PreconditionNotMet) The third-party dynamic library (cudnn64_7.dll) that Paddle depends on is not configured correctly. (error code is 126) 另外运行时如果程序中断提示错误检查专用GPU内存几乎占满则八成是模型太大了GPU内存太小导致的问题减少模型训练的batch_size即可。 exit code -1073740791 0xC0000409 UIE运行示例 from pprint import pprintfrom paddlenlp import Taskflow schema [时间, 选手, 赛事名称] # Define the schema for entity extractionie Taskflow(information_extraction, schemaschema)pprint(ie(2月8日上午北京冬奥会自由式滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌)) # Better print results using pprint
[{时间: [{end: 6,probability: 0.9857378532924486,start: 0,text: 2月8日上午}],赛事名称: [{end: 23,probability: 0.8503089953268272,start: 6,text: 北京冬奥会自由式滑雪女子大跳台决赛}],选手: [{end: 31,probability: 0.8981548639781138,start: 28,text: 谷爱凌}]}]
来源PaddleNLP/taskflow_text.md at develop · PaddlePaddle/PaddleNLP
UIE 微调
PaddleNLP/applications/information_extraction/text at develop · PaddlePaddle/PaddleNLPUIE在实体识别和关系抽取上的实践PaddleNLP/applications/information_extraction/text at develop · PaddlePaddle/PaddleNLP
