大模型推理的相关内容 - 漫话开发者

2024-01-30 talkingdev

用纯 Rust 运行 Mamba大模型推理

受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。