自托管Llama-3 8B-Instruct的成本分析
talkingdev • 2024-06-21
532270 views
自我托管像Llama-3 8B-Instruct这样的LLM，其成本可能远高于使用ChatGPT，大约每百万令牌需要花费17美元，而ChatGPT只需要1美元。不过，自我托管硬件的成本可以降低到每百万令牌不到0.01美元，尽管这需要大约5.5年的时间才能收回初次投资。这种高昂的成本可能使得一些对成本敏感的用户对自我托管产生疑虑。然而，寻找合适的平衡点，将初始投资和长期运营成本综合考虑，可能会是一个更为理性的选择。
核心要点
- 自我托管Llama-3 8B-Instruct的成本较高，每百万令牌需要17美元
- 自我托管硬件的成本可以降低到每百万令牌不到0.01美元
- 收回初次投资需要大约5.5年的时间