AI资讯新闻榜单内容搜索-Megakernel

关键词: AI新闻,Inferact,TPU Megakernels,巨型算子

Inferact开源TPU巨型算子与浪潮信息发布元脑SD200 Ultra超节点服务器，两家公司分别用谷歌TPU v7和128颗本土AI芯片，通过算子融合让Kimi K3推理性能提升3倍以上，且浪潮信息让K3自主编写超级算子。

关键词: AI新闻,Inferact,TPU,megakernel

推理创业公司Inferact用自研的megakernel内核结合DeepSeek的DSpark推测解码框架，让16块谷歌TPU v7运行Kimi K3达到每秒709个token，比同条件下16块英伟达GB200快57%。

关键词: AI,Megakernel,模型训练,人工智能

斯坦福Hazy实验室推出新一代低延迟推理引擎「Megakernel」，将Llama-1B模型前向传播完整融合进单一GPU内核，实现推理时间低于1毫秒。在B200上每次推理仅需680微秒，比vLLM快3.5倍。