img_v3_02fr_9d75bfc9-bb9a-4eac-be99-a89d28334a6g.png

微信图片_20241031204349.png

中关村国家自主创新示范区-会议中心

中国开源年会 2024

黄锦涛.png

阿里巴巴.png

当前，大语言模型和多模态大模型正逐步成为推动技术创新和应用的关键力量。然而，如何有效整合这些多元的模型，特别是在多模态领域，以提供简洁且统一的微调到部署全流程的接口，是一项棘手的挑战。

ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持400+大模型与100+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen2.5、Llama3.2、GLM4、Internlm2.5、Yi1.5、Mistral、Baichuan2、DeepSeek、Gemma2等，多模态大模型包括：Qwen2-VL、Qwen2-Audio、Llama3.2-Vision、Llava、InternVL2、MiniCPM-V-2.6、GLM4v、Xcomposer2.5、Yi-VL、DeepSeek-VL、Phi3.5-Vision等。

除此之外，ms-swift汇集了最新的训练技术，包括LoRA、QLoRA、Llama-Pro、LongLoRA、GaLore、Q-GaLore、LoRA+、LISA、DoRA、FourierFt、ReFT、UnSloth、Megatron和Liger等。ms-swift支持使用vLLM和LMDeploy对推理、评测和部署模块进行加速。为了帮助研究者和开发者更轻松地微调和应用大模型，ms-swift还提供了基于Gradio的Web-UI界面及丰富的最佳实践。

ms-swift: 大模型与多模态大模型训练部署框架

https://kaiyuanshe.com/activity/COSCon-2024/agenda/recHJq9EaX

https://kaiyuanshe.com/activity/COSCon-2024/agenda/recHJq9EaX/invitation

Presentationms-swift: 大模型与多模态大模型训练部署框架