BPE Токенизатор — Как AI читает текст

Интерактивная визуализация BPE-токенизатора: смотрите, как GPT-4, Claude и Llama разбивают текст на токены в реальном времени

Локальная BPE симуляция — показывает принцип работы алгоритма

Исследователь токенов

65Токенов

76Символов

1.17Символов/токен

BPE Merge Process

Показать BPE слияния

Шаг слияния 0/11

Tokens (76)

␣