在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?
在线蒸馏灵活却太慢,离线缓存高效却不够灵活,LinkedIn 如何取舍?LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。
搜索
LinkedIn 公开其 AI 职位搜索的多教师蒸馏训练基础设施,通过基于 SGLang 的定制框架结合在线与离线蒸馏方案,并叠加 LiGer、多节点训练、FSDP2 及 H200 集群等优化,实现约 8 倍训练加速,将 80 亿参数相关性模型和 17 亿参数互动模型的知识压缩至 6 亿参数排序模型,使职位搜索 NDCG@10 提升 24.48%。
面向自动驾驶的多模态大模型在 “推理链” 上多以文字或符号为中介,易造成空间 - 时间关系模糊与细粒度信息丢失。FSDrive(FutureSightDrive)提出 “时空视觉 CoT”(Spatio-Temporal Chain-of-Thought),让模型直接 “以图思考”,用统一的未来图像帧作为中间推理步骤,联合未来场景与感知结果进行可视化推理。
生成式AI的快与好,终于能兼得了?
强过英伟达Thor
本文介绍了特斯拉全自动驾驶FSD V12新版本的颠覆性变化,采用了端到端的AI大模型,取代了以往的Rule-base方案。
5 月 15 日,针对特斯拉 FSD(Full-Self Driving,全自动驾驶)付费选装率仅 2% 的消息,特斯拉 CEO 马斯克在 X 平台上回复称,实际情况远远超过了这个数字。
中国和国际AI合作不断深化,特斯拉计划在中国建立数据中心,推进FSD全自动驾驶算法。 美国采取技术封锁措施,对中国等国家实施人工智能模型出口管制。
就在刚刚,特斯拉CV负责人Ethan Knight被曝已经离职,转投xAI。网友纷纷猜测:马斯克这是要放弃特斯拉FSD了?他急忙澄清道:特斯拉在自动驾驶上正在拼命加速,而AI的人才争夺战,才是最疯狂的!