ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？这边显存剩余21G，内存剩余12G跑起来提示out of memory
展开
收起
2
条回答
写回答
写回答
-
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
Qwen-14B-Chat-Int4模型的内存占用量取决于您的输入数据大小和batch size。一般来说，如果您的batch size较小（例如16或32），则可以使用较少的显存和内存来运行该模型。但是，如果您需要处理更大的batch size，则需要更多的显存和内存。
根据官方文档，Qwen-14B-Chat-Int4模型的最小batch size为8，最大batch size为512。因此，您可以根据您的显存和内存限制调整batch size的大小。如果您的显存剩余21G，内存剩余12G跑起来提示out of memory，您可以尝试减小batch size的大小，或者增加可用的显存和内存。
2023-11-09 11:04:12赞同 展开评论 打赏 -
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
https://github.com/QwenLM/Qwen#gpu-memory-usage 参考这里——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①
2023-11-08 21:40:06赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
2945
ModelScope中，模型下载默认路径在哪个路径？
2220
我希望通过damo-YOLO训练1500*1500的图片
6750
ModelScope从魔塔社区创建的阿里服务 没有使用抵扣资源包 而是付费实例。怎么处理？
369
服务器上onnxruntime-gpu 调用结束，如何释放显存
3063
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1534
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3032
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1122
ModelScope 使用14B模型推理时报这个错误？
709
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
842
展开全部
