Llama 3

Meta 上下文窗口: 128,000 tokens

Prompt 风格

Llama 3 作为开源模型，Prompt 格式需要遵循特定的模板（<|begin_of_text|> 等特殊标记）。对 System Prompt 的遵循度取决于微调版本。适合本地部署和定制化场景。

模型特性

• 需要使用特定的 chat template 格式
• 不同微调版本（Instruct、Chat）行为差异大
• 本地部署时可以完全控制推理参数
• 对 Few-shot 示例的格式敏感
• 开源可审计，适合安全敏感场景

最佳实践

• 严格遵循官方 chat template 格式
• 使用 Instruct 版本获得最佳指令遵循
• 本地部署时调整 repetition_penalty 避免重复
• 对于特定任务，考虑在 Llama 基础上微调
• 利用 vLLM 或 TGI 部署获得最佳推理性能