🧰 Tokenizer — реализация токенизатора OpenAI tiktoken на чистом GoКогда вы используете GPT OpenAI, ввод и вывод доставляются в «токенах», которые не совпадают с символами, слогами или словами, а находятся где-то посередине.👉 GitHub