Let's build the GPT Tokenizer
Andrej Karpathy · 5 件のHN推薦
動画への質問
現在の場面の解説や、動画全体の要約を AI に頼めます。回答にタイムスタンプがある場合は、選択するとその場面に移動します。
質問例：ここで話し手は何を説明していますか？
Google でのログインが必要です。確定前に消費クレジットの上限を確認できます。
Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.
HNで推薦される理由： Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.
“Worth spending 2h for the deeper understanding if you deal with LLMs.” HNのコメントを読む ↗