LM Studio 本地离线部署大模型seo优化

LM Studio 本地离线部署大模型

news/2024/9/26 4:20:42

安装 LM Studio

官网: https://lmstudio.ai/

下载模型:Meta-Llaa-3-8B-Instruet.Q4_KM.gguf

下载地址: https://cdn-lfs-us-1.huggingface.co/repos/79/f2/79f21025e377180e4ec0e3968bca4612bb9c99fa84e70cb7815186c42a858124/647a2b64cbcdbe670432d0502ebb2592b36dd364d51a9ef7a1387b7a4365781f?response-content-disposition=attachment%3B+filename*%3DUTF-8''Meta-Llama-3-8B-Instruct.Q4_K_M.gguf%3B+filename%3D"Meta-Llama-3-8B-Instruct.Q4_K_M.gguf"%3B&Expires=1715523914&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTcxNTUyMzkxNH19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy11cy0xLmh1Z2dpbmdmYWNlLmNvL3JlcG9zLzc5L2YyLzc5ZjIxMDI1ZTM3NzE4MGU0ZWMwZTM5NjhiY2E0NjEyYmI5Yzk5ZmE4NGU3MGNiNzgxNTE4NmM0MmE4NTgxMjQvNjQ3YTJiNjRjYmNkYmU2NzA0MzJkMDUwMmViYjI1OTJiMzZkZDM2NGQ1MWE5ZWY3YTEzODdiN2E0MzY1NzgxZj9yZXNwb25zZS1jb250ZW50LWRpc3Bvc2l0aW9uPSoifV19&Signature=cboCWba~6WWYBO6sTsNzUgNa5PksqpYGqlWcbdM7uqyb-OossFTOllwSrGwtz0yGpO4X03NvTD5MZwsXUqREhVl03ozknt1iSPCJGgo~Hx6NQ4nIF8SD9rW-Le~0Un1F8BKPA4LG9BAxBLKe0gZCzOYFz1kkKhyyTNfzwGntood~z~Ipqw38e8aIOxKMTeWo41iBqwIePgg5VTLwF5LFvl32vGsvk7WGagqhZlDI1au0-Mfa6fCsTHr0k7oFB9mk5ou~02S1Skz~upeSvfaLLkFAVV-SGeF-8R7PXCPkSHMmGKXQCduvfxOAb3W-PfdqMvtYcZ-AQCOBr2adYTF4kQ__&Key-Pair-Id=KCD77M1F0VK2B

配置

模型默认位置在C:\Users\用户\.cache\lm-studio\models下，需要在该目录下创建Publisher文件夹且在该文件夹中创建Repository,将该模型放入该目录下
在AI Chat菜单上面选择Meta-Llaa-3-8B-Instruet.Q4_KM.gguf模型
输入文本获取返回值即可
如果文本渲染速度太慢，可以使用GPU处理（此处需要根据自己电脑的实际情况调整）

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.ryyt.cn/news/30589.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈，一经查实，立即删除！

Presto学习笔记——Go客户端连接Presto

1.查询PrestoDB（facebook版本） 1.创建PrestoDB环境使用docker创建presto测试环境https://hub.docker.com/r/prestodb/presto/tags拉取镜像docker pull prestodb/presto:0.284启动docker run -p 8080:8080 -ti -v /Users/lintong/Downloads/config.properties:/opt/presto-se…

Flink Batch Hash Aggregate

数据类型要求 BatchPhysicalHashAggRule match 条件会判断 isAggBufferFixedLength(agg) 为什么要求 aggCall 的类型是 Fixed Length 的才可以使用 HashAggregate ? 因为在 HashAggregate 中, 依赖于 BytesHashMap 数据结构来存储 keyValue 数据. 而 ByteHashMap 不支持变长的…

checkpoint防火墙测试授权申请

本文介绍如何在线申请checkpoint防火墙的测试授权请先确保已注册官网账号并能正常登录Product Center，并安装好checkpoint并配置好管理IP (授权申请需要用到设备IP地址，不需要连网) (官网账号最好使用公司邮箱申请) Product Center 链接正常登录后可看到如下图内容其中sel…

扩展实现Unity协程的完整栈跟踪

现如今Unity中的协程（Coroutine）方案已显得老旧，Unitask等异步方案可以直接解决如异常捕获等各类问题，并且Unity官方也在开发一套异步方案，但现阶段还是需要在协程这个方案上继续琢磨。Unity协程中无法输出完整的栈跟踪，因为协程编译后会转换为IL编码的状态机，中间存在…

Object.values()对象遍历

Object.keys() 对象的遍历返回给定对象所有可枚举属性的数组；是属性名组成的数组let obj = { a: 1, b: 2, c: 3 };Object.keys(obj).map((key) => {console.log(key, obj[key]);}); Object.values() 对象的遍历返回一个给定对象自身的所有属性值的数组；是属性值组成的…

浅析OSERDESE3

在高速接口的应用场景下，我们会经常听说SerDes(Serializer-Deserializer)这个词，也就是串行器和解串器，更为通俗的讲就是进行串并转换的。在Xilinx的FPGA中提供了ISERDES（提供串行数据到并行数据的转换）和OSERDES（提供并行数据到串行数据的转换）。在7系列的FPGA里面提供…

玩转AI，笔记本电脑安装属于自己的Llama 3 8B大模型和对话客户端

2024 年 4 月 18 日，Meta**开源**了 Llama 3 大模型，把 AI 的门槛降低到了最低，这是人工智能领域的一个重要飞跃。我们个人也可以部署大模型了，这简直就是给个人开发者发了个大红包！Llama 3 模型有不同的参数版本，本文主要分享我在个人笔记本电脑是部署 8B 参数过程和编写…

ABC353 | 如同流星划过天空

AtCoder Beginner Contest 353 （7/7）ABC353 | 如同流星划过天空 A. & B. 依题意模拟即可。 C. 注意只有 \(f(x,y)\) 需要对 \(10^8\) 取模，\(f\) 的求和不需要。关注到 \(a_i \in [1,10^8)\)，故 \(a_i + a_j \in [2,2 \times 10^8)\)。从而 \(f(x,y)=[x+y<10^8](x…