LLM Inference 简述
2023年10月28日 · 1559 字 · 4 分钟 · LLM
LLM Parameters LLM 中的每个 Transformer 包括 self-attn block 和 MLP block，总参数量为 $12h^2+13h$。如果 LLM 有 $l$ layers, 包括 embedding 一起算，总参数量为 $l(12h^2+13h)+V
2023年10月28日 · 1559 字 · 4 分钟 · LLM
LLM Parameters LLM 中的每个 Transformer 包括 self-attn block 和 MLP block，总参数量为 $12h^2+13h$。如果 LLM 有 $l$ layers, 包括 embedding 一起算，总参数量为 $l(12h^2+13h)+V