Токенизатор
← ГлоссарийАлгоритм, который разбивает текст на токены перед подачей в языковую модель. Разные модели используют разные токенизаторы (BPE, SentencePiece, tiktoken).
Алгоритм, который разбивает текст на токены перед подачей в языковую модель. Разные модели используют разные токенизаторы (BPE, SentencePiece, tiktoken).