00 · EM TRÊS MINUTOS

A resposta em três ideias

  1. 1Token pode ser palavra, fragmento, pontuação ou sequência de bytes.
  2. 2Texto vira IDs, que viram vetores aprendidos.
  3. 3A contagem afeta contexto e custo, mas não mede conceitos.

01 · TEXTO VIRA PARTES

Texto vira partes

Um vocabulário reutiliza sequências frequentes; nomes incomuns e alguns sistemas de escrita exigem várias partes.

02 · PARTES VIRAM NÚMEROS

Partes viram números

Cada entrada tem um ID ligado a um vetor; o número não tem significado natural fora daquele vocabulário.

FIG. 02Como o sistema muda de estado
Mapa conceitual do mecanismo; geometria, escala e tempo não são medições salvo indicação.

03 · DIVIDIR É UMA ESCOLHA

Dividir é uma escolha

Subpalavras reduzem o vocabulário, mas segmentam idiomas, grafias e espaços de forma desigual.

04 · OUTRO TOKEN É PREVISTO

Outro token é previsto

A rede calcula probabilidades sobre o vocabulário, escolhe uma parte, acrescenta e repete.

05 · TOKEN NÃO É PENSAMENTO

Token não é pensamento

É uma interface entre texto e cálculo: uma parte não equivale a uma ideia.

06 · FONTES E EVIDÊNCIAS

Fontes e evidências

As afirmações remetem a artigos fundamentais, padrões ou ao estudo primário da atualização.

  1. 01
    Neural Machine Translation of Rare Words with Subword Units

    Sustenta um mecanismo, uma medição ou um limite de evidência definido no artigo.

    ESTUDO PRIMÁRIO ↗
  2. 02
    SentencePiece: A simple and language independent subword tokenizer

    Sustenta um mecanismo, uma medição ou um limite de evidência definido no artigo.

    ESTUDO PRIMÁRIO ↗
HISTÓRICO29 ago 2026 · Primeira edição em cinco idiomas; mecanismo, limites, figuras e fontes revisados.