BPE (Byte Pair Encoding)

Алгоритм токенизации, который итеративно объединяет самые частые пары символов. Используется в GPT, Claude и большинстве современных LLM.