Let's build the GPT Tokenizer
Andrej Karpathy · 5 recomendaciones en HN
Preguntas sobre el video
Pide a la IA que explique esta escena o resuma el video completo. Si la respuesta incluye marcas de tiempo, selecciona una para ir al fragmento.
Prueba a preguntar: ¿Qué está explicando aquí la persona que habla?
Inicia sesión con Google. Consulta el costo máximo en créditos antes de confirmar.
Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.
Por qué lo recomienda HN: Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.
“Worth spending 2h for the deeper understanding if you deal with LLMs.” Leer en HN ↗