01

基本信息

模型仓库：zai-org/GLM-5.2
组织：zai-org
任务：文本生成

02

架构与运行信息

模型类型：glm_moe_dsa
架构：GlmMoeDsaForCausalLM
支持库：safetensors, pytorch
基础模型：未提供
当前修订：master

03

许可与更新时间

许可：mit
创建日期：2026-06-16
最近更新：2026-09-02

04

硬件需求

参考配置（非官方最低要求）：Hugging Face 元数据显示约 753.3B BF16 参数，权重约 1.51 TB（十进制）。需要多机多卡推理，建议合计显存超过 1.6 TB，并为 KV cache 和长上下文额外预留显存。参数换算是估算，并非官方最低配置；请按模型卡要求使用支持的 vLLM 版本。 Inference reference: official Hugging Face metadata lists about 753.3B BF16 parameters, or roughly 1.51 TB of weights (decimal). Distributed multi-GPU inference is required; allow over 1.6 TB aggregate VRAM plus KV-cache/context headroom. This is a parameter-based estimate, not an official minimum; use a vLLM version supported by the model card.

05

下载地址

06

基本使用示例

启动 vLLM 多卡服务 / Start multi-GPU vLLM server

# Example for a multi-GPU host; size parallelism to the available hardware.
pip install -U "vllm>=0.23.0" openai
vllm serve zai-org/GLM-5.2 \
  --tensor-parallel-size 16 \
  --pipeline-parallel-size 2 \
  --max-model-len 32768 \
  --trust-remote-code

调用 OpenAI 兼容接口 / Call the OpenAI-compatible API

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
    model="zai-org/GLM-5.2",
    messages=[{"role": "user", "content": "请用三点介绍这个模型的主要使用特点。"}],
    max_tokens=512,
)
print(response.choices[0].message.content)