.NET8 接入qwen2大语言模型

前言

dotnet8项目接入qwen大模型，这个主要用到了大模型管理工具叫做 ollama 有了它，接入大模型so easy。使用ollama可以接入很多大模型，详见：https://ollama.com/library

环境

• vs2022 preview
• dotent8
• Windows 10 企业版

1、下载ollama

https://github.com/ollama/ollama

安装完成以后，默认启动，可以看到任务栏有个羊驼

2、运行qwen

打开cmd，运行命令行

# 下载qwen大模型，这里下载0.5b
ollama pull qwen2:0.5b
# 运行qwen大模型
ollama run qwen2:0.5b

成功运行后，就可以在控制台与其对话。

3、项目接入

1. NuGet安装OllamaSharp

https://github.com/awaescher/OllamaSharp

2. 上代码

我是在webapi项目中测试的，这个根据自己需求来吧~ 这个很简单~ 看下github上教程就行。

然后在控制台对话~

4、WebUI

如果自己玩，想要个UI界面，也是有现成的。自己去Github看下启动下就行，很简单。

https://github.com/ollama-webui/ollama-webui-lite