Интерактивная визуализация BPE-токенизатора: смотрите, как GPT-4, Claude и Llama разбивают текст на токены в реальном времени
Локальная BPE симуляция — показывает принцип работы алгоритма
