一、在安装完anaconda后，以上代码用于卸载conda的环境

conda activate Canany

conda env remove --name Canany

 

二，安装对应版本cuda

CUDA Toolkit 11.8 Downloads | NVIDIA Developer

 

三、登录PyTorch官网

 

 

https://download.pytorch.org/whl/torch

这里该有的都有

安装软件包：

安装之前下载的pytorch系列包

输入python -m pip install 包名（带路径）

假设我pytorch文件在C:\Users\用户\Desktop\AI目录下，

文件名称：torch-2.0.0+
cu118-cp310-cp310-win_amd64.whl

别复制文件名的时候忘了后缀

其他两个pytorch系列文件同理

例子：

python -m pip install C:\Users\用户\Desktop\AI\torch-2.0.0+
cu118-cp310-cp310-win_amd64.whl

 

 

 

四、带路径安装python -m pip install -r requirements.txt

如：python -m pip install -r D:\Anaconda\GataGLM\ChatGLM-6B-main\requirements.txt

 

五、寻找transformer

conda search transformer

六、vscode添加解释器位置

1. 打开Visual Studio IDE。
2. 在顶部菜单中选择“文件”（File）> “首选项”（Preferences）> “设置”（Settings）。
3. 在左侧面板中展开“项目”（Project）部分，并选择“Python”。
4. 在右侧面板中，检查“已安装环境”（Installed Environments）列表中是否显示了您的Python环境。如果未显示，则点击“添加环境”按钮并选择您的Python安装路径。
5. 完成后，重新启动Visual Studio。

七、查找解释器位置

1.打开Anaconda Prompt（Windows）或终端（Mac/Linux）。

2.输入命令conda activate your_env_name，将your_env_name替换为您要查找的环境的名称（例如，默认环境是base）。

3.激活环境后，输入命令which python（在Windows上是where python）并按下回车键。

4.执行上述命令后，将显示该环境中Python解释器的路径。

 

八，相关的全部下载

THUDM/chatglm-6b at main (huggingface.co)

 

九、安装依赖

安装依赖

pip3 install -r requirements.txt

十，配置环境变量

打开系统的环境变量设置：在 Windows 操作系统中，可以右键点击“我的电脑”（或者“此电脑”），选择“属性”，在弹出的窗口中点击左侧的“高级系统设置”，然后在打开的窗口中点击“环境变量”即可。

key（键）：PYTORCH_CUDA_ALLOC_CONF

value（值）：max_split_size_mb:1000

十一，配置驱动

1. 确认您的显卡型号

您可以在设备管理器中找到您的显卡型号。在Windows 10中，您可以按下Windows键和X键，然后选择“设备管理器”打开设备管理器。在“显示适配器”下，您将会看到您的显卡型号。例如，NVIDIA GeForce GTX 1080 Ti。

2. 访问显卡制造商网站

一旦您确定了您的显卡型号，您可以访问显卡制造商的网站，例如：NVIDIA、AMD等，并找到它们的驱动程序下载页面。

3. 选择适当的驱动程序

在下载页面上，您可以查找与您显卡型号匹配的驱动程序。最好选择最新的驱动程序，因为它们包含最新的性能和安全修复程序。一旦找到适合您的显卡的最新驱动程序，您可以单击下载并按照驱动程序安装向导进行安装。

请注意，在下载和安装显卡驱动程序之前，最好备份您的重要数据，并确保您了解如何回滚驱动程序到以前的版本以避免意外情况。

十二，配置环境变量：

key（键）：PYTORCH_CUDA_ALLOC_CONF

value（值）：max_split_size_mb:1000

此环境变量用于解决 “CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 10.76 GiB total capacity; 4.29 GiB already allocated; 10.12 MiB free; 4.46 GiB reserved in total by PyTorch)” 此种错误，后续配置成功后出现错误可通过此种方式解决，1000可以修改为适合的任意数字

1. 在“变量名”中输入“PYTORCH_CUDA_ALLOC_CONF”，在“变量值”中输入“max_split_size_mb:1000”，然后点击“确定”按钮。
2. 在命令提示符窗口或 PowerShell 窗口中，可以使用命令 echo %PYTORCH_CUDA_ALLOC_CONF% 来查看环境变量的值是否已正确设置。

十三、模型量化

默认情况下，模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限，可以尝试以量化方式加载模型，使用方法如下：

# 按需修改，目前只支持 4/8 bit 量化model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()

打开web_demo.py或者cli_demo.py或者api.py文件（三个文件相同）

使用6GB显存使用10GB显存

将下列代码

AutoModel.from_pretrained("THUDM/chatglm6b", trust_remote_code=True).half().cuda()

改为

AutoModel.from_pretrained("THUDM/chatglm6b", trust_remote_code=True).half().quantize(4).cuda()

模型修改（联网）：

（8g模型）THUDM/chatglm-6b

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()【使用6GB显存】

（5g模型）THUDM/chatglm-6b-int4

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()

（4.3g模型）THUDM/chatglm-6b-int4-qe

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4-qe", trust_remote_code=True).half().cuda()

CPU方式使用（需要大概 32GB 内存）：

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

内存不足，可以直接加载量化后的模型：

from_pretrained("THUDM/chatglm-6b-int4")

from_pretrained("THUDM/chatglm-6b-int4-qe")

本地加载模型：

local_dir:你的模型文件夹的相对路径

checkpoint_path:模型名称【例子："THUDM/chatglm-6b-int4"】

checkpoint_path = "THUDM/chatglm-6b"【可以更改模型】

local_dir = "./你的模型文件夹的相对路径"

tokenizer = AutoTokenizer.from_pretrained(checkpoint_path, trust_remote_code=True)

model = AutoModel.from_pretrained(checkpoint_path, trust_remote_code=True)

（tokenizer后面不需要.half().cuda()，但是model一定需要，否则会有bfloat16错误）

model.save_pretrained(local_dir)

tokenizer.save_pretrained(local_dir)

保存到本地后, checkpoint_path 换成本地路径就是直接加载

（也可以不使用上面代码，将下载的模型解压到你的模型文件夹的相对路径中，上面代码用于下载文件）

tokenizer = AutoTokenizer.from_pretrained(local_dir, trust_remote_code=True)

model = AutoModel.from_pretrained(local_dir, trust_remote_code=True)

 

十四，启动

Python D:\Ai\ChatGLM-6B-main\web_demo.py