本站 消息，2 月 18 日，DeepSeek 宣布推出 NSA，這是一種與硬件一致且本機(jī)可訓(xùn)練的稀疏注意力機(jī)制，用于超快速的長(zhǎng)上下文訓(xùn)練和推理。
通過(guò)針對(duì)現(xiàn)代硬件的優(yōu)化設(shè)計(jì)，NSA 加快了推理速度，同時(shí)降低了預(yù)訓(xùn)練成本，而不會(huì)影響性能。在一般基準(zhǔn)測(cè)試、長(zhǎng)上下文任務(wù)和基于指令的推理上，它的表現(xiàn)與完全注意力模型相當(dāng)甚至更好。(金十)
鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。
