本研究着眼于一个基于大型语言模型的国际象棋AI是如何工作的。该AI使用了GPT-2和GPT-3模型，并通过对棋盘上的棋子和动作进行编码来训练自己。研究人员还探索了AI模型内部的世界，包括其理解和预测对手的能力，以及在...

FunSearch是一种新的AI驱动方法，它将大型语言模型与评估算法相结合，已经在数学科学领域做出了可验证的发现，包括解决了长期存在的cap set问题和更高效的bin-packing问题算法。它引入了演化方法来生成和评估代码，...

一项新研究揭示了多模态大型语言模型（MLLMs）如GPT-4V的一个弱点：它们难以处理特定类型的图像-文本输入，从而导致错误。CorrelationQA是一个基准测试，旨在评估MLLM在图像可能会误导或与文本相矛盾的情况下的表现...

近日，一项研究探讨了如何通过采用参数更少的微型语言模型，使得强大的语言模型更适合移动设备。研究人员发现，相较于传统的大型语言模型，微型语言模型在保证语言表达能力的前提下，可以极大地减少模型参数，从而显...

Roblox开发了一种AI模型，能够实时翻译16种语言的文本聊天，以打破语言壁垒，增强用户参与度。该模型利用基于转换器的大型语言模型，在混合专家架构中实现了高效的资源利用，同时保持了其隐私和安全流程。

1月份微软研究论坛上，Dipendra Misra提出了一种名为“Layer-Selective Rank Reduction（LASER）”的技术，通过用一个较小的近似矩阵替换权重矩阵，提高了大型语言模型（LLM）的准确性。

AI社区因HuggingFace和4chan分享的一个名为“miqu-1-70b”的泄漏大型语言模型而感到兴奋。该模型表现出能与OpenAI的GPT-4相媲美的性能，并与Mistral的Mixtral 8x7b有关。Mistral的CEO确认这是一位热情的客户泄露的，这...

SliceGPT引入了一种新的后训练稀疏化方案，以减少大型语言模型的资源需求。通过将权重矩阵替换为较小的矩阵并减少嵌入维度，它可以在主要模型（如LLAMA2-70B和OPT 66B）中删除高达25%的模型参数，同时保留高达99%的...