Do we need Attention? - Linear RNNs and State Space Models (SSMs) for NLP
Sasha Rush · 3 recomendações no HN
Perguntas sobre o vídeo
Peça à IA para explicar esta cena ou resumir o vídeo inteiro. Se a resposta tiver marcações de tempo, selecione uma para ir ao trecho.
Experimente perguntar: O que a pessoa está explicando aqui?
Entre com o Google. Confira o custo máximo em créditos antes de confirmar.
Sasha Rush surveys linear RNNs and state space models as replacements for attention in transformer-style models, in a talk for MLSys. It covers the foundational preliminaries and predates Mamba.
Por que o HN recomenda: HN commenters recommend it for building intuition about state space models and the tradeoffs between transformer and SSM layers.
“I highly recommend Sasha Rush's video on it” Ler no HN ↗