#token
Read more stories on Hashnode
Articles with this tag
LLM 토큰화 분석 · 이번 포스트에서는 LLM의 토큰화에 대해서 잠깐 짚고 넘어가겠다. 🔍 코드 설명 def report(item): prompt = item.prompt # 아이템의 프롬프트(설명) 가져오기 tokens =...