AI大咖说-关于深度学习的一点思考
周志华教授探讨深度学习的成效，指出其关键在于大量数据、强大算力和训练技巧。深度学习依赖于函数可导性、梯度下降及反向传播算法，尽管硬件和数据集有显著进步，但核心原理保持不变。深度意味着增加模型复杂度，相较于拓宽，加深网络更能增强泛函表达能力，促进表示学习，通过逐层加工处理和内置特征变换实现抽象语义理解。周志华教授还提到了非神经网络的深度学习方法——深度森林。5月更文挑战第12天
入门生成式语言模型（Generative Language Models）
入门生成式语言模型涉及理解基本概念、学习NLP基础知识、掌握相关工具和框架、训练与评估模型、实践项目和案例，以及持续学习。关键步骤包括预训练、微调（如SFT、LoRA、Prefix Tuning）、模型选择（如LLaMA、ChatGLM、Bloom等）和优化部署（量化、剪枝）。训练策略包括Pretrain、SFT、LoRA等，模型如Qwen、GPT-3、OPT等，评估数据集有SuperGLUE、CLUEbenchmark等。此外，有专门的加速和分布式框架如DeepSpeed、Megatron、FairScale等，以及部署工具vLLM、TensorRT-LLM。