备案控制台

开发者社区

开发者社区 > ModelScope模型即服务 > 正文

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

展开

收起

Lucidly 2024-03-26 20:21:47 384 3

1 条回答

写回答

取消提交回答

请看我回答~

阿里云大降价~

2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在ModelS中进行qwen7b、14b、72b模型的LoRA微调所需的显存和CPU内存如下：
1. Qwen7B模型：至少需要24G显存以上的显卡。
2. Qwen14B模型：推荐使用单张4090显卡，或者双4090显卡配置，对应的显存为24G或更高。
3. Qwen72B模型：建议部署环境为两张3090显卡（总计48G显存），以及64G内存和32核CPU。
这些配置要求确保了模型在微调过程中有足够的资源进行处理，以便于达到较好的性能表现。在进行微调时，还需要考虑软件环境的配置，例如操作系统版本、CUDA版本、Python版本以及PyTorch和TensorFlow的版本等，以确保兼容性和稳定性。
2024-03-27 08:51:17

赞同 26 展开评论打赏

相关问答

如果企业想要本地话部署Modelscope通义千问72B模型，需要多少计算资源和费用？

34

1

0

微调时总会出现ms-bench数据集，但已经加了Modelscope数据集了，不知是否正常?

8

1

0

微调了seqGPT,后面在推理ModelScope使用的时候报错，这是什么原因呢？

11

1

0

量化过的modelscope模型做微调，再做合并会有问题吗？

20

1

0

请问ModelScope中知识库的部分应该怎么设计让微调qwen模型？

13

1

0

modelscope微调的时候又报错，单机4卡，只想用第四张卡进行微调怎么处理？

9

0

0

modelscope-funasr有能够同时支持热词、时间戳的模型吗？

16

0

0

Merge LoRA增量权重并推理是将原模型与训练后的ModelScope模型合并么？

79

4

0

ModelScope中几百兆的实体识别小模型有推荐吗？

65

5

0

modelscope-funasr微调后的模型如何使用呢？

22

1

0

ModelScope模型即服务

ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！

我要提问

热门讨论

热门文章

com/action/joingroup?code=v1是什么意思

ModelScope中，模型下载默认路径在哪个路径？

在ModelScope中，想了解一下Qwen-14B微调用的训练数据该如何处理？

ModelScope的Qwen1.5-14B-Chat需要多少大显存？

请问ModelScope中，怎么修改本地运行，模型自动下载到 c 盘下？

ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？

ModelScope qwen7b、14b、72b lora微调分别需要的显存和cpu内存是多少？

我希望通过damo-YOLO训练1500*1500的图片

如何训练属于自己的“通义千问”呢？

如何下载llama模型到本地？

展开全部

手把手教你捏一个自己的Agent

阿里云通义千问向全社会开放！

Llama 3开源！魔搭社区手把手带你推理，部署，微调和评估

社区供稿 | FunASR 语音大模型在 Arm Neoverse 平台上的优化实践

社区供稿 | Llama3-8B中文版！OpenBuddy发布新一代开源中文跨语言模型

Qwen1.5开源！魔搭最佳实践来啦！

通义千问72B、1.8B、Audio模型开源！魔搭社区最佳实践来啦！

Qwen1.5-MoE开源！魔搭社区推理训练最佳实践教程来啦！

ChatGPT中文版杀疯了,已登录AI模型市场

Llama3 中文通用Agent微调模型来啦！（附手把手微调实战教程）

展开全部

相关课程

更多

个性化语音合成模型微调

40

1

去学习

ModelScope社区Library技术架构介绍

174

1

去学习

相关电子书

更多

ModelScope助力语音AI模型创新与应用 立即下载

内存取证与IaaS云平台恶意行为的安全监控 立即下载

云服务器ECS内存增强型实例re6全新发布 立即下载