产品型网站案例,画册设计价格,企业网是什么意思,站酷设计网1文件2个命令#xff0c;无需安装#xff0c;单机离线运行70亿大模型
大家好#xff0c;我是老章
最近苹果发布了自己的深度学习框架--MLX#xff0c;专门为自家M系列芯片优化。看了展示视频#xff0c;这个框架还能直接运行Llama 7B的大模型#xff0c;在M2 Ultral上运…1文件2个命令无需安装单机离线运行70亿大模型
大家好我是老章
最近苹果发布了自己的深度学习框架--MLX专门为自家M系列芯片优化。看了展示视频这个框架还能直接运行Llama 7B的大模型在M2 Ultral上运行流畅。但是我尝试了一下我的M2 Mac mini根本跑不动模型权重太大了。
这倒勾起了我继续单机玩大模型的兴趣然后就发现了llamafile的玩法下载模型文件、直接执行即可浏览器中运行就可以开始聊天还可以上传图片进行提问。
先不介绍原理直接看看如何运行吧
1、下载llava-v1.5-7b-q4-server.llama 文件对应模型是[LLaVA 1.5](https://llava-vl.github.io/)在 Llama 2 之上进行微调的大型多模式模型
下载地址https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4-server.llamafile?downloadtrue
鉴于有些同学可能无法访问huggingface我也准备了这个文件在网盘有需要可以找我要一下。
2、MacOS和linux用户需要在命令行中先授权这个文件可执行 chmod x llava-v1.5-7b-q4-server.llamafile # 然后运行 ./llava-v1.5-7b-q4-server.llamafile
如果是windows用户那就更省事了直接重命名这个文件后面加上 .exe 即可
3、浏览器会自动弹开聊天界面如果没有浏览器中直接打开[https://localhost:8080](https://localhost:8080/)即可
首次打开需要配置一些参数也可以直接使用默认值。
除了聊天也可以上传图片让它识别。聊天完毕后返回终端并点击 Control-C关闭 llamafile。
顺便简单介绍一下llamafile
这个大模型文件是Mozilla 团队发布的这个文件包含 LLM 的模型权重和运行该模型所需的代码 可以将它视为一个完整的本地服务器带有用于与其交互的 Web UI。
llamafile是基于[llama.cpp](https://github.com/ggerganov/llama.cpp)一个领先的开源 LLM 聊天机器人框架和[Cosmopolitan Libc](https://github.com/jart/cosmopolitan)一个开源项目使 C 程序能够在大量平台和架构上编译和运行实现的。使用 llamafile可以将大型语言模型 (LLM) 权重文件转换为可在六种操作系统macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD上运行的二进制文件而无需安装确保给定的一组权重将永远保持可用并一致且可重复地执行。
想要了解更多可以参考一下资料
模型演示https://llava.hliu.cc/
模型简介https://llava-vl.github.io/
模型代码https://github.com/haotian-liu/LLaVA
llamafile开源地址https://github.com/Mozilla-Ocho/llamafile
llamafile简介https://hacks.mozilla.org/2023/11/introducing-llamafile/
