阿裏年前巨獻：QWen1.5大模型系列，滿足你對不同size的需求

2024-02-17推薦

效能：

聊天最佳化版本的模型相比較第一代模型 有明顯的進步 ，其中720億參數的Qwen1.5-72B在MT-Bench得分僅次於GPT-4；

生態完善，釋出即支持vLLM、SGLang等 推理加速框架 ；

月活1億以下直接商用授權 ，月活1億以上商用需要獲取授權；

效能評價如下（72B 好於Mixtral-8x7B ）：

也比自己一代模型強一些，好些不是很多：

綜合對比：

HuggingFace原生

Qwen1.5 這次直接與HuggingFace transformers整合結合，不需要再載入任何自訂的程式碼（trust_remote_code）不需要了。

size 全

6 model sizes, including 0.5B, 1.8B, 4B, 7B, 14B, and 72B;

Stable support of 32K context length for models of all sizes。所有模型都支持32K context，不再混亂。

也提供各種量化的。q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k and q8_0。不通模型的perplexity如下：

地址：

https://huggingface.co/collections/Qwen/qwen15-65c0a2f577b1ecb76d786524

Demo: https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary