本文讨论依赖于真实标注数据的评估指标。它探讨了通用和RAG特定的评估指标。所有指标都带有Python实现或指向一个Hugging Face模型卡的链接。

最近在《自然》杂志上介绍了一种名为FunSearch的方法，它使用大型语言模型在数学和计算机科学中进行新的发现。该方法将创造性的LLM与评估器配对，以产生可验证的解决方案，并在难以解决的cap set 和bin-packing问题...

CrewAI提供了一个库，用于构建和编排利用LangChain和Replit的AI代理。它提供了一个模块化的设置，包括代理、任务、工具和团队，可轻松集成到各种项目中。通过LangSmith简化调试，增强了对非确定性LLM调用的性能洞察...

GTBench是一个用于测试类似GPT-4这样的LLMs在各种游戏场景中发现其在策略推理方面的优势和劣势的平台。虽然这些模型在基于概率的游戏中表现出很大的潜力，但在确定性游戏中表现不佳，并且在设计和训练上表现也有所不...

近日，一种名为ChartX的新工具发布在GitHub上，用于测试多模态大语言模型（MLLM）在解释和推理可视化图表方面的能力。ChartX通过评估模型对图表的理解能力来测试其多模态能力，包括语言和视觉。该工具可以评估多种不...

近日，开源项目BoCoEL在GitHub上发布。BoCoEL是一个用于准确评估LLMs的工具，采用贝叶斯优化方法，能够从大量的LLMs中找到最佳的架构和超参数组合。BoCoEL可以帮助研究者更快地训练出高效的LLMs，提高模型的准确性和...

知名研究员Nicholas Carlini发布了他用于评估大型语言模型性能的基准。有趣的是，它让GPT-4的表现在大多数其他基准之上。据了解，这个基准是基于多个指标和任务，包括自然语言推理和问答等。

近日，OpenLLMetry-JS 在 GitHub 上发布，它是基于 OpenTelemetry 构建的一组扩展，可以完全观测您的 LLM 应用程序。OpenLLMetry-JS 为您提供了完整的可观测性，不仅可以实时监测您的应用程序，还可以帮助您诊断和优...