fal Research 宣布推出 H3 Max,这是 MiniMax H3 的后训练版本,由 fal 推理团队专门针对生成速度进行优化。官方表示,该模型可在不到 3 秒内生成一段 5 秒长的视频,显著降低视频生成等待时间。在人类偏好评估中,H...
Read More美国芯片巨头AMD已同意收购多伦多AI芯片创业公司Taalas。这家由前AMD员工及Tenstorrent核心成员创立的公司,专注于将AI模型“硬连线”进定制硅片,从而在前沿推理场景中大幅打破计算与内存瓶颈。与传统依赖通用GPU或庞...
Read More在大语言模型走向产业级部署的进程中,如何在不显著牺牲质量的前提下降低推理成本和响应时延,是各家前沿实验室竞相突破的核心瓶颈。OpenAI工程师团队首次较为系统地披露了支撑ChatGPT及Codex高效运转的智能体循环(...
Read MoreOpenAI 最新披露,尽管其前沿模型 GPT-5.6 在数学领域解决了多个长期悬而未决的问题,并成功打通《宝可梦 火红》等复杂游戏,但在 ARC-AGI-3 基准测试中原始得分仅有 7.8%。这一巨大反差揭示了一个关键问题:基准测...
Read MoreGraphsignal Profiler 是一个面向生产环境的推理性能剖析平台,专为大规模 AI 推理场景设计。它能够跨越模型、推理引擎、GPU 及其他加速器,提供全栈式的性能可见性,帮助工程师精准定位瓶颈并优化推理效率。与传统...
Read More在当今 AI 应用爆发式增长的时代,大型语言模型(LLM)动辄拥有数十亿甚至上千亿参数,其设计初衷是追求“全能”,但在实际落地中,这种“大而全”往往意味着在特定场景下的效率低下和资源浪费。Fastino Labs 推出的 Pio...
Read MoreMorph LLM近期发布了一系列针对开源代码生成模型的优化技术,旨在解决当前推理效率瓶颈。首先,团队通过训练一个专注于模型自身编码输出(而非通用互联网数据)的“起草模型”(drafter),在投机解码中取得了显著加速...
Read More近日,GitHub上开源了一个名为TriAttention的项目,其核心是一种创新的KV(键值)缓存压缩技术。该技术旨在解决大语言模型在处理长上下文任务时,因KV缓存占用内存巨大而难以在消费级或内存受限的GPU上高效部署的行...
Read More