清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%

仅仅打了两场比赛，上海男篮主教练刘鹏便再次遭到质疑。甚至就目前来说，他是CBA现役被质疑最多的主教练。 一切都是因为上海队0胜2负。 目前，CBA只有7支球队两战皆负，分别是上海....

3月14日消息，据报道，清华大学研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，推理引擎”。这一突破性技术为的广泛应用和生态建设带来了新的机遇。

赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型， 了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依赖。

在A800集群的 中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升了3.15倍，显著降低了企业的硬件成本，同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构，使国产厂商无需重复开发软件，专注于硬件升级。目前，清程极智已与沐曦、燧原等厂商合作，推出开箱即用”的推理一体机，广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源赤兔”引擎是推动国内AI生态建设的重要一步，将为行业提供更 、更灵活的技术支持。