服务部署

—

(相关资料图)

01 服务器配置 

配置详情

GPU：8*3080TI服务器 (一块24G显存的卡就可以了)

CUDA：12.1

02 环境安装

为了避免cuda环境和pytorch版本的冲突，一个个进行安装。

1）安装pytorch，适配cuda12.1

参考：https://pytorch.org/get-started/locally/

注意：使用cuda安装比较慢，所以用pip3安装

2）安装bmtrain

3）安装其他环境

03 模型下载

下载地址：https://huggingface.co/openbmb/cpm-bee-10b/tree/main

1）代码克隆

2）下载模型 19G

下载路径，自定义即可

04 测试

1）修改测试文件

修改 vi text_generation.py

更改模型路径

2）测试模型

05 接口设计（Python版）

1）新建Flask接口

在上述代码中，我们通过 from flask_cors import CORS导入了 CORS 类，并在 Flask 应用程序中调用了 CORS(app)。这样就启用了默认的 CORS 配置，允许所有来源跨域访问。

未避免显存异常，在上述代码中，通过创建一个线程锁 lock 和一个计数器 counter 来控制并发请求的数量。如果请求超过了 MAX_CONCURRENT_REQUESTS 的限制，即达到了最大并发请求数，服务器将返回提示信息"请稍等再试"。

2）启动接口

3）接口测试

选择题测试

Chat测试

聊天窗口（前后端）

—

*版权声明：本文为CSDN博主「feifeiyechuan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载附上原文出处链接↓https://blog.csdn.net/feifeiyechuan/article/details/130952744

➤  CPM-Bee开源地址

https://github.com/OpenBMB/CPM-Bee

➤  加社群/ 提建议/ 有疑问 

请找 OpenBMB 万能小助手：

关注我们

微信搜索关注 “OpenBMB开源社区”

后台回复“CPM-Live” 即可加入CPM-Live加油群

还可获取更多大模型干货知识和前沿资讯！   

关键词：