01

基本信息

模型仓库：deepseek-ai/DeepSeek-V3
组织：deepseek-ai
任务：文本生成

02

架构与运行信息

模型类型：deepseek_v3
架构：未提供
支持库：safetensors, pytorch
基础模型：未提供
当前修订：master

03

许可与更新时间

许可：未提供
创建日期：2025-09-18
最近更新：2025-09-18

04

硬件需求

参考配置（非官方最低要求）：官方模型卡列出总参数 671B，每个 token 激活参数约 37B。仓库提供的 FP8 权重（含 MTP）约 685 GB，建议使用多卡分布式推理，FP8 合计显存按约 800 GB 起步估算，并为 KV cache 预留余量。BF16 权重约 1.37 TB。以上均为估算，非官方最低配置。 Inference reference: the official card lists 671B total and about 37B active parameters per token; the repository provides FP8 weights (about 685 GB including MTP weights). Use distributed multi-GPU inference with at least about 800 GB aggregate VRAM for FP8 plus KV-cache headroom. BF16 weights are roughly 1.37 TB. These are weight-size estimates, not official minimum requirements.

05

下载地址

06

基本使用示例

启动 vLLM 多卡服务 / Start multi-GPU vLLM server

# Example for a multi-GPU host; size parallelism to the available hardware.
pip install -U "vllm>=0.23.0" openai
vllm serve deepseek-ai/DeepSeek-V3 \
  --tensor-parallel-size 8 \
  --pipeline-parallel-size 2 \
  --max-model-len 32768 \
  --trust-remote-code

调用 OpenAI 兼容接口 / Call the OpenAI-compatible API

from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3",
    messages=[{"role": "user", "content": "请简要解释混合专家模型（MoE）的工作方式。"}],
    max_tokens=512,
)
print(response.choices[0].message.content)