AI资讯新闻榜单内容搜索-Inferact

关键词: AI新闻,Inferact,TPU Megakernels,巨型算子

Inferact开源TPU巨型算子与浪潮信息发布元脑SD200 Ultra超节点服务器，两家公司分别用谷歌TPU v7和128颗本土AI芯片，通过算子融合让Kimi K3推理性能提升3倍以上，且浪潮信息让K3自主编写超级算子。

关键词: AI新闻,Inferact,TPU,megakernel

推理创业公司Inferact用自研的megakernel内核结合DeepSeek的DSpark推测解码框架，让16块谷歌TPU v7运行Kimi K3达到每秒709个token，比同条件下16块英伟达GB200快57%。

关键词: AI新闻,Inferact,vLLM,人工智能

大模型推理的基石 vLLM，现在成为创业公司了。