Let's build the GPT Tokenizer
Andrej Karpathy · 5 개의 HN 추천
동영상 Q&A
AI에게 현재 장면을 설명하거나 동영상 전체를 요약해 달라고 할 수 있습니다. 답변에 타임스탬프가 있으면 선택해 해당 장면으로 이동하세요.
질문 예시: 여기서 발표자는 무엇을 설명하고 있나요?
Google 로그인이 필요합니다. 확정 전에 최대 사용 크레딧을 확인할 수 있습니다.
Andrej Karpathy builds the GPT tokenizer from scratch, implementing byte pair encoding along with encode and decode. He shows how many odd LLM behaviors trace back to tokenization, and covers Unicode byte encodings along the way.
HN에서 추천하는 이유: Recommended as the best deep dive on tokenizers, worth the two hours for anyone working with LLMs.
“Worth spending 2h for the deeper understanding if you deal with LLMs.” HN 토론 읽기 ↗