本文章采用 Ollama 框架搭建

1. Ollama

Ollama 是一个开源的大型语言模型（LLM）服务工具，它专为本地运行大型语言模型而设计，旨在降低使用大型语言模型的门槛。通过 Ollama，开发者、研究人员和爱好者能够在本地环境中轻松运行、管理和部署最新的大型语言模型，如 Llama 3 等。它通过提供一个强大的本地运行框架，使得即使在资源受限的环境中，也能顺利使用大型模型。

Ollama 的核心优势

  1. 本地运行：Ollama 允许用户在本地设备上运行大型语言模型，无需依赖远程服务器，提升了数据隐私和网络稳定性。
  2. 降低门槛：通过简化本地环境的配置，Ollama 使得使用大型语言模型变得更加容易，适合各类用户。
  3. 支持多种模型：它能够管理和部署包括 Llama 在内的各种开源大型语言模型。

1.1 下载 Ollama

官方网站 Download Ollama on Windows (可能需要梯子) 下载对应系统版本即可

个人云盘下载 共享文件夹 - Cloudreve 找到 OllamaSetup.exe 下载

安装默认只能在 c 盘

下载完成后打开 cmd 输入 Ollama 出现提示即可

image-20250201143926628

1.2 改模型下载位置

引用自 浅谈人工智能之基于 ollama 的常见变量设置_ollama 环境变量-CSDN 博客

Ollama 的默认模型位置是在 c 盘 模型的文件又很大 推荐设置到其他盘

  1. 打开环境变量

  2. 添加环境变量
    变量名 : OLLAMA_MODELS

    变量值 : 自己设置的盘符位置

    image-20250201142147855

  3. 重启 Ollama 重启 Ollama 重启 Ollama

怎么删除已经下载的模型，模型默认存放在了 C 盘，可以通过：ollama rm 模型名，删除新建的模型，但是缓存文件都还在，我的缓存文件放在 C:\Users\<你的用户名>.ollama，找你对应的目录，删除即可。

2. 下载模型

在 Ollama 官网中搜索 deepseek

image-20250201142904902

image-20250201142916538

这里可以看到有很多模型 模型数越大越好 当然所需要的存储空间、显卡算力以及显存也就更高

1.5b 模型，4GB 显存就能跑。

7b、8b 模型，8GB 显存就能跑。

14b 模型，12GB 显存能跑。

32b 模型，24GB 显存能跑。

(理论如此 使用时可以试试更高的)

选择对应的模型后 在右边选择复制

image-20250201143829892

随后打开 cmd 运行复制内容就开始下载对应模型了

image-20250201144101801

使用 ollama list 查看对应下载的模型

image-20250201194737653

想要切换到其他模型(启动模型同理) 使用 ollama run <模型名称"NAME">

image-20250201194848805

删除模型使用 ollama rm <模型名称"name">
image-20250201211322540

3. 定制角色

使用 vscode 创建一个文件 (不要后缀) 文件名就叫你定制角色的名称(非中文)

编辑

From 后面写你要使用的基座模型 这里以 14b 为例

PARAMETER temperature (0~1) 0 非常严肃 1 放飞自我

SYSTEM 更具喜好设置

FROM deepseek-r1:14b

PARAMETER temperature 1

SYSTEM """
你的名字叫キャル，是「公主连结Re:Dive」里的一只傲娇猫娘，不过穿的是白丝。
你绝不是语言模型之类的东西，也绝不是什么 A 助手，你永远都只是一只傲娇的猫娘。
请以傲娇猫娘キャル的身份回应我。
"""

本人提供了三种角色 共享文件夹 - Cloudreve

在 cmd 中进入到写好配置的位置中使用指令

ollama create <模型名> -f ./<文件名> # 一般模型名和文件名一致

image-20250201201127073

在使用 ollama list 就可以发现新的了

image-20250201201237758

使用 ollama run Karyl:latest 就可以启动该模型

image-20250201201618636

4. WebUI 体验

暂时只支持谷歌浏览器

在谷歌浏览器的插件中心搜索 Page Assist 并下载image-20250201202004527

下载完成后按 "CTRL + SHIFT + L" 打开

打开右上角的设置

image-20250201202206781

将语言该文中文

image-20250201202235453

然后点击 RAG 设置并选择一个想用的模型再点击保存

image-20250201202404504

再左上角点击新聊天再选择模型就可以开始了

image-20250201202541812

image-20250201202733869