Профайлер Токенизации

Вопросы

Про токены, простыми словами

• Что такое токен и сколько токенов в 1000 слов?

  Токен — это единица, которую модель на самом деле читает: обычно частое слово, кусок слова поредче или знак препинания. Для обычной английской прозы 1000 слов — это примерно 1300–1500 токенов, но это прикидка, а не правило: на коде, таблицах и неанглийском тексте она разваливается. Смысл инструмента в том, чтобы перестать прикидывать и увидеть реальную разбивку своего текста.

• Почему русский текст и код стоят дороже в токенах, чем английский?

  Потому что словари собирались в основном на английском. Частое английское слово — часто один токен; то же слово по-русски нередко режется на три-четыре куска, а код разваливается почти по каждому символу. На практике кириллица и код обходятся примерно в 2–3 раза дороже того же объёма английской прозы. Это реальная строка в счёте, а не курьёз: вставьте оба текста и увидите разницу сразу.

• Почему счёт для Claude помечен как приблизительный, а не точный?

  Anthropic и Google не публикуют свои токенайзеры, поэтому воспроизвести их разбивку у вас на устройстве нечем. Когда сервер инференса доступен, инструмент запрашивает точное число у API самого провайдера и помечает его как Verified. Когда недоступен — берёт ближайший открытый словарь и честно ставит Approximate. Это осознанно: число, выданное за точное, когда оно не точное, хуже, чем отсутствие числа.

• Что такое скрытые токены рассуждений и почему их здесь нельзя посчитать?

  Некоторые модели перед ответом порождают внутреннюю цепочку рассуждений. Она выставляется вам в счёт как вывод, но вы её не видите — поэтому реальная стоимость запроса бывает в несколько раз выше видимого ответа. Посчитать эти токены инструмент не может по честной причине: их число не существует, пока модель реально не сгенерирует ответ, из введённого текста оно не выводится. Поэтому у таких моделей стоит предупреждение, а не выдуманная цифра.