自己做网站制作需要多少钱,在线制作视频网站,php做网站很快嘛,盐城永祥建设有限公司网站该篇教程主要讲解*Ollama的安装和简单使用*
Ollama#xff1a; 在本地启动并运行大型语言模型。 主要流程目录#xff1a;
1.安装
2.使用
2.1.下载模型
2.2.简单使用
2.3.中文模型
2.4.中文社区
3.总结
1.安装
创建一个容器 切换”高级视图“ 参考填写
ollama
oll…
该篇教程主要讲解*Ollama的安装和简单使用*
Ollama 在本地启动并运行大型语言模型。 主要流程目录
1.安装
2.使用
2.1.下载模型
2.2.简单使用
2.3.中文模型
2.4.中文社区
3.总结
1.安装
创建一个容器 切换”高级视图“ 参考填写
ollama
ollama/ollama:latest
https://mmbiz.qpic.cn/sz_mmbiz_png/5xFLia3A3km6oibL7VLZV0B09KTUphrnTjIXGsuraPsJr0a0yzQuxlgjnZnT5m56tDCSic9h2XP34cvNjiaMk1POmQ/640?wx_fmtpngamp;fromappmsg
http://[IP]:[PORT:11434]/Tip
上面配置是纯CPU运行如果要使用GPUNvidia/AMD自行看文档
https://hub.docker.com/r/ollama/ollama
添加其他参数 /root/.ollama
/mnt/user/appdata/ollama 11434
11434 2.使用
上面部署的这个只是一个框架还需要下载模型才可以运行。如果需要美观的UI界面还需要另外安装其他应用配合。
2.1.下载模型
来到官网点击右上角Model下载模型 点击可以进行排序这里我选择llama3 Tip
- 7b 大小的模型通常至少需要 8GB RAM
- 13b 大小的模型通常至少需要 16GB RAM
- 33b 大小的模型通常至少需要 32GB RAM
- 70b 大小的模型通常需要至少 64GB RAM
可以选择模型大小进行下载复制右侧代码不指定大小默认是8B 打开ollama的控制台 Tip
一定要保证网络通畅还有一定不要关闭弹窗不然就看不到进度了
拉取llama3模型 ollama pull llama3模型下载完成 2.2.简单使用
因为没有UI界面所以还是在这个控制台界面操作
列出模型 ollama list前面部分就是名称了只有一个版本的话可以不用后面版本 运行模型 ollama run 模型名称可以直接输入问题回车确认 中文也是没问题的 2.3.中文模型
虽然一般的模型都可以中文问答但是有时候还是会出现英文回复现象。所以我建议是可以直接用中文微调的模型这样比较省事。
拉取中文模型拉取一个就行了这里我是拉取Llama3的 运行效果 Tip
删除模型如果前面下载的模型不想要了可以删除
ollama rm 模型名称2.4.中文社区
这里属于扩展部分简单介绍Llama中文社区
Llama中文社区GitHub上面相关教程还是很多很全面的也可以下载中文相关的模型。
https://github.com/LlamaFamily/Llama-Chinese Llama中文社区官网很有意思的网站建议自行挖宝
https://llama.family/ 3.总结
部署和使用其实还是很方便的没有遇到什么问题小白也可以轻松上手。本地部署大模型的好处就是不需要联网数据相当比较安全。虽然运行模型对设备要求不算太高但想要有一个比较好的体验还是需要性能好一点。
上面测试用的是QNCT6C12T而且当时还运行其他占用资源比较多的应用下面这段话回复大概用了57秒左右 需要内存还是比较大的会随着使用增多
没有加载模型前 加载模型以后 回复问题时
如何学习AI大模型
作为一名热心肠的互联网老兵我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 一、全套AGI大模型学习路线
AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能 二、640套AI大模型报告合集
这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。 三、AI大模型经典PDF籍
随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 四、AI大模型商业化落地方案 作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
