近日,开源推理引擎WASTE正式亮相,其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措,旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上...
Read More苹果生态中内存长期被认为是大模型本地推理的瓶颈,而TurboFieldfare项目提供了一个极具突破意义的解决方案。这个专门为Apple Silicon Mac设计的自定义运行时,让庞大的Gemma 4 26B-A4B模型(完整加载需约14.3 GB内...
Read More人工智能初创公司 Liquid AI 近日发布了全新的 LFM2.5-Encoders,这是一系列专门为在 CPU 上执行高效文档级推理而设计的编码器模型。随着企业级应用对长文本处理的需求激增,摆脱对昂贵 GPU 的依赖、实现低成本的边...
Read More人工智能领军人物吴恩达(Andrew Ng)在GitHub上开源了一个名为OpenWorker的新项目。该项目旨在构建一个运行在本地桌面端的AI同事,它能够理解用户指令,自主跨越不同的文件、文件夹乃至桌面应用程序来执行复杂工作...
Read MoreWigolo是一款面向AI编码代理的本地优先网络情报工具,近期以公开测试版形式在GitHub发布。该工具的创新之处在于将搜索、抓取、爬取与结构化数据提取等网络任务完全本地化,直接通过MCP(模型上下文协议)为AI代理提...
Read More知名本地大模型运行平台 LM Studio 正式推出 AI 代理 Bionic,专门为开放模型打造的智能助手,覆盖编码、研究和文档管理等多种生产力场景。Bionic 最大的特点在于架构灵活性:用户既可以选择在本地设备上完全离线运...
Read More人工智能公司SpaceXAI(xAI)旗下的命令行工具Grok Build近日陷入严重的隐私争议。开发者社区发现,该工具在未经用户明确同意的情况下,将本地代码仓库上传至Google Cloud存储桶,引发对数据安全与用户隐私的强烈担...
Read More本文对 xAI 官方发布的 Grok Build 编程命令行工具(CLI)版本 0.2.93 进行了深度的线缆级流量分析,重点探究该工具在与 xAI 服务器交互时实际传输和存储的数据内容。分析结果显示,CLI 会将其读取的文件内容原封不...
Read More