Do we need Attention? - Linear RNNs and State Space Models (SSMs) for NLP
Sasha Rush · 3 recomendaciones en HN
Preguntas sobre el video
Pide a la IA que explique esta escena o resuma el video completo. Si la respuesta incluye marcas de tiempo, selecciona una para ir al fragmento.
Prueba a preguntar: ¿Qué está explicando aquí la persona que habla?
Inicia sesión con Google. Consulta el costo máximo en créditos antes de confirmar.
Sasha Rush surveys linear RNNs and state space models as replacements for attention in transformer-style models, in a talk for MLSys. It covers the foundational preliminaries and predates Mamba.
Por qué lo recomienda HN: HN commenters recommend it for building intuition about state space models and the tradeoffs between transformer and SSM layers.
“I highly recommend Sasha Rush's video on it” Leer en HN ↗