ModelScope中几百兆的实体识别小模型有推荐吗？
我看到seqgpt模型有1g左右，我之前试过微调后的qwen1-1.8b-chat 的qwen.cpp int4量化，效果还可以但由于我们的项目要求在cpu上跑并资源有限。所以想选择之前那种几百兆的小模型微调一下看看，请问ModelScope中几百兆的实体识别小模型有推荐吗，最好也是不需要offset的。
写回答
-
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在寻找轻量级且适用于CPU上的实体识别模型时，考虑的是模型大小和性能之间的平衡。ModelScope作为模型开放平台，提供了多种不同规模的预训练模型。尽管没有直接提供“不需要offset”的实体识别模型（因为offset对于定位实体位置通常是必要的），但它可能提供了压缩或者小型化的实体识别模型，这些模型在满足精度需求的同时，具有较小的存储和计算成本。
2024-03-16 12:08:08赞同 展开评论 打赏 -
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
ModelScope上的模型选择和更新情况可能会随时间而变化。不过，如果您希望找到一个几百兆大小、无需offset且适合在CPU上运行的小型实体识别模型，可以登录ModelScope平台查看当时提供的轻量级模型列表。通常情况下，轻量级模型会在性能与资源消耗之间寻求平衡，但具体是否有符合您需求的实体识别模型以及详细参数，请直接查阅ModelScope的官方文档或者搜索最新的模型库信息。
2024-03-15 11:20:08赞同 展开评论 打赏 -
2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在ModelScope中，虽然有许多大型的模型如GPT-3和BERT等，但同时也存在一些体积较小的模型，这些小模型通常适用于资源受限的环境，如需要在CPU上运行的场景。对于实体识别任务，您可以考虑以下几种类型的小型模型：
- 小型BERT模型：BERT有一些较小的变体，如mini-BERT或者Tiny-BERT，它们是专为减少参数数量和计算成本而设计的，同时保持了相对不错的性能。
- MobileNet：这是一种轻量级的神经网络模型，设计用于移动设备和嵌入式系统，具有较少的参数和计算需求。
- ELMo（Embeddings from Language Models）：虽然不如BERT那样大，但ELMo提供了上下文相关的词嵌入，可以用于实体识别等NLP任务。
- Lattice LSTM：这是一种结构紧凑的LSTM变体，旨在减少计算复杂性和内存占用，适合在资源受限的环境中使用。
- DistilBERT：这是BERT的一个蒸馏版本，它通过训练一个较小的模型来模仿BERT的行为，从而减少了模型的大小和计算成本。
- ALBERT：ALBERT（A Lite BERT）是对BERT的另一种改进，通过参数共享和因子分解技术显著减小了模型大小。
总的来说，在选择模型时，您需要考虑模型的性能与资源消耗之间的平衡。对于实体识别任务，小型模型可能需要更多的微调工作来达到理想的效果。此外，由于ModelScope平台的模型库可能会不断更新，建议您直接访问ModelScope的官方网站或社区，查看最新的模型列表和相关文档，以获取最适合您需求的小型实体识别模型。
2024-03-15 07:43:50赞同 展开评论 打赏 -
阿里云大降价~2000元阿里云代金券免费领取，2核4G云服务器仅799元/3年，新老用户都有优惠，立即抢购>>>
在ModelScope中，确实有一些几百兆大小的小型实体识别模型，这些模型通常适用于资源受限的环境，如需要在CPU上运行的场景。以下是一些建议：
- TinyBERT：TinyBERT是BERT的一个缩小版，它在保持较高性能的同时，大幅减少了参数数量和计算成本。TinyBERT的大小通常在几百兆以内，适合在资源有限的环境中使用。
- MobileBERT：MobileBERT是专为移动设备和边缘计算设计的轻量级BERT模型，它通过模型剪枝、量化等技术显著减小了模型体积，同时尽量保持了原有的性能。
- MiniLM：MiniLM是一个轻量级的Transformer模型，它是ALBERT和RoBERTa的简化版本，旨在提供更小的模型尺寸和更快的推理速度。
- DistilBERT：DistilBERT是BERT的蒸馏版本，它通过模型蒸馏技术将BERT模型的大小减半，同时保留了大部分原始性能。
- Qwen-1.8B：您之前尝试过的这个模型，虽然原始大小较大，但经过int4量化后，可以在保持一定性能的同时减小模型体积。
总的来说，在选择模型时，您可以考虑上述推荐的小型实体识别模型并根据自己的项目需求和硬件条件进行选择。如果可能，您可以尝试微调这些模型以适应您的特定任务，以期在有限的资源下获得最佳性能。
2024-03-15 07:43:47赞同 展开评论 打赏
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
