Do we need Attention? - Linear RNNs and State Space Models (SSMs) for NLP
Sasha Rush · 3 件のHN推薦
動画への質問
現在の場面の解説や、動画全体の要約を AI に頼めます。回答にタイムスタンプがある場合は、選択するとその場面に移動します。
質問例：ここで話し手は何を説明していますか？
Google でのログインが必要です。確定前に消費クレジットの上限を確認できます。
Sasha Rush surveys linear RNNs and state space models as replacements for attention in transformer-style models, in a talk for MLSys. It covers the foundational preliminaries and predates Mamba.
HNで推薦される理由： HN commenters recommend it for building intuition about state space models and the tradeoffs between transformer and SSM layers.
“I highly recommend Sasha Rush's video on it” HNのコメントを読む ↗