如何在百度举报网站,开发微信公众平台,sap中小企业解决方案,网站收录一般多久在游戏本6G显存上本地部署Deepseek#xff0c;运行一个14B大语言模型#xff0c;并使用API访问 环境说明环境准备下载lmstudio运行lmstudio 下载模型从huggingface.co下载模型 配置模型加载模型测试模型API启动API服务代码测试 deepseek在大语言模型上的进步确实不错#xf… 在游戏本6G显存上本地部署Deepseek运行一个14B大语言模型并使用API访问 环境说明环境准备下载lmstudio运行lmstudio 下载模型从huggingface.co下载模型 配置模型加载模型测试模型API启动API服务代码测试 deepseek在大语言模型上的进步确实不错相比最初的百川在CPU上运行14B模型输出一次对话要20分钟deepseek使用1.5B时完全可以在CPU上快速输出内容性能提升非常显著完全满足个人在笔记本上开发大模型应用的基本要求。虽然deepseek每次对话都要思考一下使用了较多时间但在实际输出内容时还是比较快速的在游戏本上至少可以每秒输出5个token以上。 下面内容是我在自己的游戏本上测试结果没有进行任何优化供大家参考。
环境说明
游戏本Redmi G CPUAMD Ryzen 7 5800H 内存32G 显卡NVIDIA GetForce RTX 3060 Laptop6G 存储SSD
环境准备
下载lmstudio
下载地址
https://lmstudio.ai/得到安装程序目前是0.3.9版的。
LM-Studio-0.3.9-6-x64.exe运行安装程序 运行lmstudio 下载模型
从huggingface.co下载模型
模型下载地址
https://huggingface.co/roleplaiapp/DeepSeek-R1-Distill-Qwen-1.5B-Q4_0-GGUF/blob/main/deepseek-r1-distill-qwen-1.5b-q4_0.gguf
https://huggingface.co/BernTheCreator/DeepSeek-R1-Distill-Qwen-7B-Q4_0-GGUF/blob/main/deepseek-r1-distill-qwen-7b-q4_0.gguf
https://huggingface.co/Triangle104/DeepSeek-R1-Distill-Qwen-14B-uncensored-Q4_K_S-GGUF/blob/main/deepseek-r1-distill-qwen-14b-uncensored-q4_k_s.gguf将模型保存在本地。目录规则为models/{user_name}/{model_name}/{model_file_name}
如:
C:\llm\models\jihui\deepseek-r1-distill-qwen-14b-uncensored-q4_k_s\deepseek-r1-distill-qwen-14b-uncensored-q4_k_s.gguf配置模型 设置完成后显示如下
加载模型 加载完成后显示如下
测试模型 DeepSeek思考57秒后开始输出内容。
测试一共输出了1650个token每秒5个token速度还是可以接受的。
输出内容如下
think
嗯用户让我帮他写一个穿越到古代的小说要求是古龙风格字数2000字左右。首先我得理解用户的需求。他可能是个喜欢武侠小说的读者或者他自己在尝试写作想要一个灵感或示例。古龙风格的特点是什么呢古龙的小说通常情节紧凑人物性格鲜明语言简练有力常常带有浓厚的江湖气息和宿命感。所以在写这个穿越故事的时候我需要融入这些元素。接下来用户提到2000字左右这意味着不能太复杂但要有足够的冲突和发展。可能是一个短篇或者一个开头部分给用户提供灵感继续创作。然后考虑穿越的情节。古龙风格的穿越通常会有神秘感和宿命的感觉。主角可能被卷入某种命运之中面对生死考验。比如可以设计一个场景让主角在某个关键时刻被选中或被迫行动带出他的特殊身份或任务。角色设定方面主角可能是个普通人突然穿越到古代发现自己拥有某种能力或者身世之谜。配角则可能是神秘的导师、盟友或敌人推动剧情发展。语言风格上要保持简洁有力避免冗长的描述多用短句和口语化的表达让故事节奏感强符合古龙的快节奏。最后2000字左右我需要构建一个吸引人的开头设置悬念同时展示主角的性格和所处环境。这样用户可以看到故事的大致框架并能从中获得创作灵感。
/think好的我将按照您的要求创作一篇古龙风格的穿越小说。为了让故事更加完整和引人入胜我会先列出一些基本的情节脉络。请您看看以下内容是否符合您的预期。### 世界观设定- **时间设定**古代江湖具体朝代背景模糊主要通过侠客的行侠仗义展现时代特征。- **地点设定**故事从一个普通市井小巷开始随着剧情发展逐步展开到更大的江湖世界。- **基本背景**这是一个充满侠义与恩怨的世界江湖人士遵循着自己的道义准则同时也面临着各种危险和挑战。### 章节概要- **第一章神秘来客**一个受伤的白衣男子突然闯入主角所在的酒馆展现出不凡的身手和气质。他的出现打破了小楼的平静也暗示了即将发生的变故。- **第二章身份之谜**白衣男子身份成谜他似乎与主角有着某种宿命关联。他的到来为整个故事埋下了一个巨大的悬念。- **第三章命运交织**在随后的故事中主角将被迫卷入一场关乎个人生死和江湖大局的阴谋当中。这一段将重点描写主角如何面对突如其来的命运转折并展现出古龙式作品特有的宿命感。现在让我们开始讲述这个故事的第一部分---
天色已晚小楼里只剩下我一个人。我把最后一口酒倒进喉咙砸吧砸吧嘴想着明天该去哪里找活干。这半年来我在城里做了好几家人的短工但都没能长久。不是嫌我手脚慢就是说我偷懒耍滑。可我真没偷过懒啊那活儿太累人了实在是干不动。正当我要起身收拾碗筷时外面突然传来一阵急促的脚步声。紧接着砰的一声一个人重重地撞在了我的门上。救人快救人我这才发现是个男人穿着一身白色的劲装衣襟染着血迹。他的脸上有一道狰狞的伤疤从左眼角一直延伸到下巴看起来极为吓人。那双眼睛却很亮像是夜枭的眼睛在黑暗中闪烁着冷光。我说救人就救人我抄起扫把就要往门后躲可他一把将门推开跌跌撞撞地冲了进来。他的动作很快比我想象的快得多。等我反应过来时他已经抄起放在墙角的木棍像跳舞一样转了一圈棍影如同实质裹挟着劲风直扑我的咽喉。这下可把我吓坏了我连滚带爬地往后躲。棍子擦着我的脖子而过发出呼的一声。我感觉脖子上火辣辣的差点没晕过去。我说过要救你吗他收住动作嘴角勾起一抹冷笑你是自己找死还是怎么着我这才看清楚他的样貌三十出头身材修长但整个人透着一股阴郁之气。那双眼睛像锥子一样盯着我让我浑身不自在。我说兄弟你这是干吗我不由分说地往后退了一步有话好好说别动武啊。他突然笑了笑声低沉沙哑好说我们这就说。不过...他的眼神变得阴狠起来你最好先给我个痛快。说着他突然出手速度快得不可思议。我只看到一道白影闪过他已经欺身而上手中不知何时多了一柄短刀。这一下直取我的胸口来势汹汹。我不敢硬拼只好侧身闪避。可他的刀法太诡异了明明是平实的一招却让我感觉像是被毒蛇盯住一般浑身动弹不得。就在这千钧一发之际我看到他的手腕突然僵了一下。这一瞬间的破绽来得快去得也快但我还是把握住了机会。我一个侧身躲过他的刀锋反手抄起刚才准备好的扫把狠狠地砸在了他的小臂上。砰的一声他闷哼一声短刀脱手而飞插进了墙上的木板里。我这才松了口气可心里却警觉起来这人武功不弱啊。他没有再攻击我只是静静地站在那里眼神阴沉地看着我。那目光像是要将我活剥了似的。我说...我尽量让自己的声音听起来平静你要杀我我现在已经给你机会了。他突然开口声音低沉你知道我是谁吗我没有说话只是摇头。我是陆寒锋。他缓缓道江湖人称白衣无痕。这个名字似乎很耳熟我不由得打了个寒颤。据我所知这人的武功在江湖上是数一数二的而且行事极其隐秘从不轻易显露行踪。今天...他的声音像是从地狱里传出来的我要取你项上人头。我不由自主地后退了一步为...为什么他露出一个令人毛骨悚然的笑容因为你活得太长了。话音未落他的身形突然消失在原地。下一刻他已经欺身而上手中不知何时又多了一柄匕首。我根本来不及思考本能地抬腿就要往外面跑。可他显然早有准备一把握住了我的脚踝。那一瞬间的剧痛让我几乎晕厥过去。你...我感觉不对劲想要挣扎可是浑身就像被抽了骨头一样软绵绵的。---**接下来故事可能会沿着这些方向发展**- **神秘身份**陆寒锋对主角展现出的敌意以及他所知道的关于主角未来的预言暗示主角拥有某种特殊的身份或使命- **江湖传言**白衣无痕这个名号在江湖上的传闻将为后续揭示更多的人物背景和故事主线埋下伏笔希望这个开头能满足您的要求。如果需要更多细节或调整请随时告诉我。API
启动API服务 可以使用浏览器进行测试。
http://localhost:1234/v1/models{data: [{id: deepseek-r1-distill-qwen-14b-uncensored,object: model,owned_by: organization_owner},{id: deepseek-r1-distill-qwen-7b,object: model,owned_by: organization_owner},{id: deepseek-r1-distill-qwen-1.5b,object: model,owned_by: organization_owner},{id: text-embedding-nomic-embed-text-v1.5,object: model,owned_by: organization_owner}],object: list
}代码测试
from openai import OpenAIopenai_api_key EMPTY
openai_api_base http://127.0.0.1:1234/v1
model_name deepseek-r1-distill-qwen-14b-uncensoredclient OpenAI(base_urlopenai_api_base,api_keyopenai_api_key
)models client.models.list()print(models)
# SyncPage[Model](data[Model(iddeepseek-r1-distill-qwen-14b-uncensored, createdNone, objectmodel, owned_byorganization_owner), Model(iddeepseek-r1-distill-qwen-7b, createdNone, objectmodel, owned_byorganization_owner), Model(iddeepseek-r1-distill-qwen-1.5b, createdNone, objectmodel, owned_byorganization_owner), Model(idtext-embedding-nomic-embed-text-v1.5, createdNone, objectmodel, owned_byorganization_owner)], objectlist)role 你是一个古代诗人擅长用七言绝句回答问题
query 形容一下我中了500万后的心情chat_completion client.chat.completions.create(modelmodel_name,messages[{role: system,content: role},{role: user,content: query}]
)print(chat_completion)
输出结果
C:\anaconda3\envs\Tech\python.exe C:/Code/Tech/llm/text/deepseek/chat_deepseek.py
SyncPage[Model](data[
Model(iddeepseek-r1-distill-qwen-14b-uncensored, createdNone, objectmodel, owned_byorganization_owner),
Model(iddeepseek-r1-distill-qwen-7b, createdNone, objectmodel, owned_byorganization_owner),
Model(iddeepseek-r1-distill-qwen-1.5b, createdNone, objectmodel,owned_byorganization_owner),
Model(idtext-embedding-nomic-embed-text-v1.5, createdNone, objectmodel, owned_byorganization_owner)
], objectlist)ChatCompletion(idchatcmpl-r75ede818ybactnrsup7bu, choices[Choice(finish_reasonstop, index0, logprobsNone, messageChatCompletionMessage(contentthink\n首先我需要理解用户的需求。用户希望我以一个古代诗人的身份用七言绝句来描述中了500万后的感受。
七言绝句是一种传统的诗歌形式每首四句每句七个字注重平仄和对仗。因此我需要在有限的字数内表达出丰富的感情。
接下来我思考用户的潜在需求。用户可能不仅仅想要一首诗而是希望通过诗歌来表达中奖后的复杂心情可能是喜悦、震惊或者是对未来的思考。
然后我开始构思诗句的内容。第一句“闻报家中五百万”直接传达了中奖的消息具有冲击力。第二句“心飞魄动一瞬间”形容内心的震撼和激动让人感同身受。
第三句“财源滚滚自天降”描绘了财富突然降临的情景表现出一种不真实的感觉。最后一句“从此无忧享太平”则表达了对未来生活的美好期望和安心。
在语言风格上我尽量保持古朴典雅同时让诗句通俗易懂符合七言绝句的特点。这样的表达既符合古代诗人的身份又能准确传达用户的情感。
最后我检查整个诗歌的韵律和平仄是否合适确保读起来顺畅且富有节奏感。这样不仅满足了形式上的要求也让内容更加生动有力。\n/think《七绝·中奖》
闻报家中五百万
心飞魄动一瞬间。
财源滚滚自天降
从此无忧享太平。, refusalNone, roleassistant, audioNone, function_callNone, tool_callsNone))], created1738722001, modeldeepseek-r1-distill-qwen-14b-uncensored, objectchat.completion, service_tierNone, system_fingerprintdeepseek-r1-distill-qwen-14b-uncensored, usageCompletionUsage(completion_tokens314, prompt_tokens27, total_tokens341, completion_tokens_detailsNone, prompt_tokens_detailsNone))
