程序员将复杂代码库整合为单个120K令牌提示，GPT-4和Gemini 1.5回答7个问题的结果
talkingdev • 2024-02-20
612335 views
最近，这位Reddit用户将两个复杂的代码库放入了GPT-4-Turbo-128K和Gemini 1.5中，并向它们提出了问题。代码库实现了一个并行的inet运行时，因此涉及一些难以处理的编译器内容。在理解代码库的任务中，Gemini 1.5完全优于GPT-4-Turbo-128K。大部分GPT-4回答错误的问题，在较小的上下文中它会回答正确。Gemini仍然难以创建系统的完整心理模型，但它非常擅长定位现有信息，建立远程联系，并在这些信息的基础上进行一些有限的推理。
核心要点
- Gemini 1.5在理解代码库的任务中完全优于GPT-4-Turbo-128K
- 在较小的上下文中，GPT-4-Turbo-128K会回答正确
- Gemini仍然难以创建系统的完整心理模型