用vLLM部署推理服务,把源换成modelscope下载模型,pip安装了modelscope同时配置了export VLLM_USE_MODELSCOPE=True,但还是ModelScope从hf去下载,有什么可能的原因吗?
2000元阿里云代金券免费领取,2核4G云服务器仅799元/3年,新老用户都有优惠,立即抢购>>>
可以先用snapshot_download下载下来,然后指定modelscope_cache环境变量。 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352