算法、系统和应用，三个视角全面读懂混合专家（MoE）
算法、系统和应用，三个视角全面读懂混合专家（MoE）LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
来自主题: AI技术研报
7896 点击 2024-07-26 17:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
华盛顿大学和Allen AI最近发表的论文提出了一种新颖有趣的数据合成方法。他们发现，充分利用LLM的自回归特性，可以引导模型自动生成高质量的指令微调数据。
Llama 3.1 405B巨兽开源的同时，OpenAI又抢了一波风头。从现在起，每天200万训练token免费微调模型，截止到9月23日。
就在刚刚，谷歌DeepMind最新的数学模型捧得了IMO奥数银牌！它不仅以满分成绩做出了6道题中的4道，距离金牌只有1分之差，而且在第4题上只用了19秒，解题质量和速度惊呆了评分的人类评委。
OpenAI真来撼动谷歌的搜索帝国了？深夜悄悄上线的AI搜索引擎产品——SearchGPT，在同一问题的演示上，直接原地吊打谷歌和Perplexity。谷歌的AI Overview没做到的「重塑搜索引擎」，会让OpenAI达成吗？
北京时间 7 月 26 日凌晨，OpenAI 发布 AI 搜索产品 SearchGPT，GPT-4 系列模型驱动。
RNN每个step的隐状态都取决于上一个step的输出，这种连续的状态转移方式使得RNN天然带有位置信息。
40秒生成3D视频，Stability AI开源首个视频生视频模型。
“灭霸”OpenAI，带着它的新产品，盯上了AI搜索的蛋糕。
每年需付微软40亿美元？