阿里年前巨献：QWen1.5大模型系列，满足你对不同size的需求

2024-02-17推荐

性能：

聊天优化版本的模型相比较第一代模型 有明显的进步 ，其中720亿参数的Qwen1.5-72B在MT-Bench得分仅次于GPT-4；

生态完善，发布即支持vLLM、SGLang等 推理加速框架 ；

月活1亿以下直接商用授权 ，月活1亿以上商用需要获取授权；

性能评价如下（72B 好于Mixtral-8x7B ）：

也比自己一代模型强一些，好些不是很多：

综合对比：

HuggingFace原生

Qwen1.5 这次直接与HuggingFace transformers集成结合，不需要再加载任何自定义的代码（trust_remote_code）不需要了。

size 全

6 model sizes, including 0.5B, 1.8B, 4B, 7B, 14B, and 72B;

Stable support of 32K context length for models of all sizes。所有模型都支持32K context，不再混乱。

也提供各种量化的。q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k and q8_0。不通模型的perplexity如下：

地址：

https://huggingface.co/collections/Qwen/qwen15-65c0a2f577b1ecb76d786524

Demo: https://modelscope.cn/studios/qwen/Qwen-7B-Chat-Demo/summary