Let's build the GPT Tokenizer
Andrej Karpathy · 5 recomendações no HN
Perguntas sobre o vídeo
Peça à IA para explicar esta cena ou resumir o vídeo inteiro. Se a resposta tiver marcações de tempo, selecione uma para ir ao trecho.
Experimente perguntar: O que a pessoa está explicando aqui?
Entre com o Google. Confira o custo máximo em créditos antes de confirmar.
Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.
Por que o HN recomenda: Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.
“Worth spending 2h for the deeper understanding if you deal with LLMs.” Ler no HN ↗