轻松添加新的来源、水合感化、过滤器和评分器
马斯克宣布旗下社交平台 𝕏 首页信息流“为你推荐”（For You feed）的核默算法已正式开源，他表示今朝的算法比较愚蠢，须要大年夜幅改进，“但至少你可以看到我们在及时和透明的情况下尽力让它变得更好。没有其他社交媒体公司如许做”。
它结合了来自你存眷的账号宣布内容和经由过程基于机械进修检索发明的未存眷账号内容，并应用基于 Grok 的 Transformer 模型对所有内容进行排序。
𝕏 团队介绍，“为你推荐”的算法从两个来源获取、排序和过滤帖子：
- Thunder：你存眷账号的帖子
- Phoenix Retrieval：从 𝕏 全球语料库发明的帖子
两种来源都应用 Phoenix（一个基于 Grok 的 Transformer 模型）进行归并和排序，该模型猜测每篇帖子的采取概率。最终得分是这些猜测采取度的加权组合。
我们已经从体系中移除了所有手动设计的特点和大年夜多半启发式规矩。基于 Grok 的 Transformer 经由过程懂得您的介入汗青（您爱好、答复、分享等）来承担所有沉重的工作，并应用这些信息来肯定哪些内容与您相干。
检索和排名都应用多个哈希函数进行嵌入查找。
该推荐体系的整体架构如下：
┌─────────────────────────────────────────────────────────────────────────────────────────────┐│ FOR YOU FEED REQUEST │└─────────────────────────────────────────────────────────────────────────────────────────────┘ │ ▼┌─────────────────────────────────────────────────────────────────────────────────────────────┐│ HOME MIXER ││ (Orchestration Layer) │├─────────────────────────────────────────────────────────────────────────────────────────────┤│ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ QUERY HYDRATION │ ││ │ ┌──────────────────────────┐ ┌──────────────────────────────────────────────┐ │ ││ │ │ User Action Sequence │ │ User Features │ │ ││ │ │ (engagement history) │ │ (following list, preferences, etc.) │ │ ││ │ └──────────────────────────┘ └──────────────────────────────────────────────┘ │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ CANDIDATE SOURCES │ ││ │ ┌─────────────────────────────┐ ┌────────────────────────────────┐ │ ││ │ │ THUNDER │ │ PHOENIX RETRIEVAL │ │ ││ │ │ (In-Network Posts) │ │ (Out-of-Network Posts) │ │ ││ │ │ │ │ │ │ ││ │ │ Posts from accounts │ │ ML-based similarity search │ │ ││ │ │ you follow │ │ across global corpus │ │ ││ │ └─────────────────────────────┘ └────────────────────────────────┘ │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ HYDRATION │ ││ │ Fetch additional data: core post metadata, author info, media entities, etc. │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ FILTERING │ ││ │ Remove: duplicates, old posts, self-posts, blocked authors, muted keywords, etc. │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ SCORING │ ││ │ ┌──────────────────────────┐ │ ││ │ │ Phoenix Scorer │ Grok-based Transformer predicts: │ ││ │ │ (ML Predictions) │ P(like), P(reply), P(repost), P(click)... │ ││ │ └──────────────────────────┘ │ ││ │ │ │ ││ │ ▼ │ ││ │ ┌──────────────────────────┐ │ ││ │ │ Weighted Scorer │ Weighted Score = Σ (weight × P(action)) │ ││ │ │ (Combine predictions) │ │ ││ │ └──────────────────────────┘ │ ││ │ │ │ ││ │ ▼ │ ││ │ ┌──────────────────────────┐ │ ││ │ │ Author Diversity │ Attenuate repeated author scores │ ││ │ │ Scorer │ to ensure feed diversity │ ││ │ └──────────────────────────┘ │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ SELECTION │ ││ │ Sort by final score, select top K candidates │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │ ││ ▼ ││ ┌─────────────────────────────────────────────────────────────────────────────────────┐ ││ │ FILTERING (Post-Selection) │ ││ │ Visibility filtering (deleted/spam/violence/gore etc) │ ││ └─────────────────────────────────────────────────────────────────────────────────────┘ ││ │└─────────────────────────────────────────────────────────────────────────────────────────────┘ │ ▼┌─────────────────────────────────────────────────────────────────────────────────────────────┐│ RANKED FEED RESPONSE │└─────────────────────────────────────────────────────────────────────────────────────────────┘关键设计决定计划如下：
1. 无手工设计特点
该体系完全依附于基于 Grok 的 Transformer 来从用户互动序列中进修相干性，无需手动进行内容相干性特点工程。这明显降低了数据管道和办事基本举措措施的复杂性。
2. 排名中的候选者隔离
在Transformer推理过程中，候选模型之间无法互相接洽关系，只能存眷用户高低文。这确保了帖子得分不依附于批次中其他帖子的内容，从而包管了得分的一致性和可缓存性。
3. 基于哈希的嵌入
4. 多动作猜测
该模型并非猜测单一的“相干性”得分，而是猜测多种行动的概率。
据介绍，今朝已开源内容是 𝕏 信息流推荐体系（“为你推荐”）的核心部分。
5. 可组合流水线架构
该candidate-pipelinecrate 供给了一个灵活的框架，用于构建推荐管道，其功能包含：
-
将管道履行和监控与营业逻辑分别
-
自力阶段的并行履行和优雅的缺点处理
-
开源地址：https://github.com/xai-org/x-algorithm
发表评论 取消回复