了解FlashAttention-1、2、3、4
August 22nd, 2026
No comments
已有的几种大模型上下文支持情况：
厂商 | 代表模型系列 | 官方标称上下文长度 | 换算成中文 | 核心标签 / 特点 |
Gemini 1.5 Pro / 3 Pro Gemini 1.5 Flash / 3.5 Flash | 2M ～ 10M (200万～1000万 Token) | 150万 ～ 750万字 | 长上下文绝对王者 可吞下一整年聊天记录、数十小时音频或长视频 | |
Anthropic | Claude 4.6 / 5 系列 (包括 Sonnet / Opus) | 1M (API 阶段) （常用 200k 基础窗口） | 约 70万 ～ 80万字 | ... |