近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

浮点精度的降低能够提高训练速度，但可能会导致不稳定的现象。最新的研究论文展示，通过新的装包格式FP6-LLM，可以在不引发常见不稳定性或由于尝试不当引发的训练速度下降的情况下，实现全张量核心的利用。这一突破...

Effort引擎为Apple硅芯片上的LLM模型推断提供了实时调整的可能，从而在速度和质量之间找到了平衡。这种方法无需重新训练，但需要转换和预计算，可以通过加载更少的权重使模型运行得更快。开发者正在寻求Swift/Metal...

FrugalGPT是一套可以大幅度降低LLM API成本的策略。这些策略包括提示压缩、缓存等操作。提示压缩可以通过减少数据大小来降低传输和存储成本，同时也可以提高数据处理速度。而缓存则可以通过存储经常访问的数据来减少...

OpenLIT是一个OpenTelemetry原生的GenAI和LLM应用观察性工具，旨在通过只需一行代码，就能实现观察性到GenAI项目的集成过程。OpenLIT的设计理念是简洁而强大，能够帮助开发者快速、有效地将观察性集成到他们的项目中...

2024年3月的最后一周，开源大型语言模型（LLMs）迎来了一次重要的时刻。包括Databricks的DBRX，A21 Labs的Jamba和SambaNova Systems的Samba-CoE在内的多款模型相继发布。这些发布标志着开源AI模型多样化和普及化的关...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

苹果公司近日发布了OpenELM，这是一套包含八种开源语言模型（LLM）的系列产品。这些模型可以高效地在单一设备上运行，用于文本生成任务，其参数大小范围从2.7亿到30亿。OpenELM的发布，标志着苹果在人工智能与机器学...

Dify是一款针对LLM应用程序的视觉化工作流。该工作流利用可视化拖放系统和自定义节点，使用户能够轻松构建、测试和部署LLM应用程序。Dify的主要目标是使开发人员更加高效，通过可视化工具提高开发速度。此外，Dify还...

近年来，随着人工智能技术的飞速发展，越来越多的金融机构开始将自然语言处理技术应用于金融市场分析中。在这方面，LLMs（大规模语言模型）无疑是最受关注的技术之一。LLMs是一种基于深度学习的自然语言处理技术，它...