继上周以巴德品牌重塑推出Gemini 1.0 Ultra后，谷歌又带着新型号回来与 GPT-4 竞争。这是Gemini 1.5 Pro 型号，是 Gemini 1.0 Pro 的后续版本，目前为 Gemini(以前称为 Bard)的免费版本提供支持。

Gemini 1.0 型号系列的上下文窗口最多可容纳 32K 个令牌，而 1.5 Pro 型号则将标准上下文长度增加至 128K 个令牌。不仅如此，它还支持高达 100 万个令牌的海量上下文窗口，远高于GPT-4 Turbo 的 128K和 Claude 2.1 的 200K 令牌。

Gemini 1.5 Pro 基于混合专家 (MoE) 架构

谷歌表示 Gemini 1.5 Pro 是一款中型型号，但其性能与 Gemini 1.0 Ultra 几乎相同，但使用的计算量较少。它之所以成为可能，是因为 1.5 Pro 模型是基于 Mixture-of-Experts (MoE) 架构构建的，类似于 OpenAI 的 GPT-4 模型。这是 Google 首次发布 MoE 模型，代替单一的密集模型。

如果您不熟悉 MoE 架构的概念，它由几个较小的专家模型组成，这些模型根据手头的任务激活。针对特定任务使用专用模型可提供更好、更高效的结果。

来到Gemini 1.5 Pro的大上下文窗口，它可以一次性摄取大量数据。谷歌表示，100 万上下文长度可以处理 700,000 个单词，或 1 小时的视频，或 11 小时的音频，或超过 30,000 行代码的代码库。

为了测试Gemini 1.5 Pro的检索能力，考虑到它有如此大的上下文窗口，谷歌进行了大海捞针挑战，据该公司称，它在99%的时间内召回了针(文本语句) 。

标 签：