漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-06-01 talkingdev

开发者指南:何时需要对大型语言模型进行微调?

近日,Kiln公司发布了一篇关于大型语言模型(LLM)微调的深度指南,引发了开发者社区的广泛讨论。文章详细探讨了在什么情况下需要对预训练的大型语言模型进行微调,以及如何开始这一过程的技术细节。随着ChatGPT等大模...

Read More
2025-05-21 talkingdev

Vercel推出AI Gateway,支持无缝切换近百种AI模型

近日,Vercel公司正式推出AI Gateway的alpha测试版本,这一创新性工具允许开发者在无需管理API密钥或账户的情况下,轻松切换使用约100种不同的AI模型。这一技术的推出,标志着AI开发工具链的进一步简化和标准化,有...

Read More
2025-05-12 talkingdev

本地化构建专属Siri:无需云端,隐私无忧

近日,一篇题为《Build your own Siri. Locally. On-Device. No Cloud.》的技术文章引发广泛关注。文章详细介绍了如何在本地设备上构建类似Siri的语音助手,完全脱离云端服务,从而确保用户隐私安全。这一技术方案利...

Read More
2025-05-07 talkingdev

AutoRound:突破性后训练量化技术显著提升低比特模型精度

近期,Hugging Face发布了一项名为AutoRound的后训练量化技术,该技术能够在保持模型性能和效率的同时,显著提升低比特量化模型的精度。这一突破性进展为边缘计算和移动端设备部署轻量级AI模型提供了新的可能性,解...

Read More
2025-05-03 talkingdev

Anemll开源-在苹果神经引擎上运行大语言模型

GitHub最新开源项目Anemll(Artificial Neural Engine Machine Learning Library)引发开发者社区广泛关注,该项目实现了在苹果设备神经引擎(ANE)上高效运行大语言模型(LLMs)的技术突破。作为专为ANE优化的机器学习...

Read More
2025-04-28 talkingdev

Harvey AI构建弹性AI基础设施,实现高性能模型部署与管理

Harvey AI近日公开了其创新的AI基础设施架构,通过集中式Python库实现AI模型交互的统一管理,确保部署的可靠性与高性能。该架构采用动态负载均衡和实时监控技术,有效应对突发流量,同时支持无缝模型升级。系统还集...

Read More
2025-04-25 talkingdev

[论文推荐] 无损压缩大模型:动态长度浮点技术实现70%体积缩减,GPU推理效率飞跃

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架,通过创新性地利用LLM权重中BFloat16格式的低熵特性,实现了30%的模型体积缩减,同时保持输出结果与原始模型的比特级一致性。该技术采用...

Read More
2025-04-24 talkingdev

ARC-AGI基准测试揭示OpenAI新模型o3与o4-mini推理能力差异

ARC Prize基金会近期采用ARC-AGI基准对OpenAI最新发布的o3-medium和o4-mini模型进行了系统评估。测试结果显示,o3-medium在基础版ARC-AGI-1测试中表现突出,但在需要高阶推理能力的ARC-AGI-2挑战集上未能取得突破性...

Read More
  1. 1
  2. 2
  3. 3
  4. Next Page