新闻中心

小红书DoSA:加速等待,让智能更加灵动!


在智能的世界里,有一种小小的等待,叫做“首 token 延迟”。就像是在最期待的电影开场前,屏幕上那条不停闪烁的“请稍候”,令人心急如焚。但别担心,小红书 Dots团队的魔法师们,最近又掏出了他们的神奇工具——DoSA,准备给我们带来令人惊喜的变革!

首先,让我们聊聊这个“首 token”的问题。试想一下,当你平静地坐在咖啡馆里,手中握着一杯香浓的拿铁,突然收到了一条消息,你迫不及待地打开,却发现屏幕上需要等一会儿才能出现你期待已久的内容。这种无形的“等待时间”其实就是我们要解决的“首 token 延迟”。而这个过程,长长的上下文就像一条厚重的巧克力蛋糕,填满了你的期望,却又让人等得口水直流。

那么,小红书的团队是如何做到这一点的呢?秘密武器就是DoSA!这个妙趣横生的名字(想象一下它穿着超人披风飞翔的模样)运用了一种聪明的数学方法:先给候选 token划个“分数”,再从中挑选出那些有希望入选的天才们。就好比在一场丰富的美食展上,先把那些看上去不怎么合口味的食物从盘子里挑出来,让你只需面对那些精致无比的美味。 360服务体系

在一些标杆模型中,索引器的运算就像拖沓的牛慢吞吞地走,不知什么时候才能到达目的地。看这耗时比例,DeepSeek-V3.2的索引器居然占了预填充时间的90.8%!完全是个“无敌拖延王”。而DoSA来的正是时候,它用少量的索引头精简了计算,却保证了原来的优雅风范。可以说,它就如一位高超的选手,保留最重要的武器,确保每一招都能打出精彩。

DoSA独特的逻辑在于,分出“得分上界”和“门槛下界”,把那些“得分底子薄”的候选都一一打入“拒绝名单”,不再浪费时间,而是将剩下的候选通过全力打分,确保结果的准确无误。就像是严苛的选秀节目主持人,宁愿空缺也不草草了事,最后上台的才是百里挑一的赢家。

当然,DoSA还考虑到了排队等待的 GPU。为了让这个超级计算机不再无所事事,DoSA像是一个优秀的指挥家,细致地安排好每一步,让在它手下工作的GPU高效完成任务,避免因零散处理而浪费时间。 360服务体系

about image

在这个复杂而又有趣的过程中,DoSA帮助小红书将首 token 延迟显著降低,让我们能更快地享受精彩的内容。在这个追求速度与智力并存的科技时代,DoSA的到来,就像是为我们的等待时间披上了加速的“战甲”,让智能机器更加灵动,带来更流畅的体验。

所以,亲爱的朋友们,准备好迎接这个期待已久的改变了吗?不要再让“首字等待时间”成为我们的敌人,和DoSA一起进入更快更智能的未来吧!