00 · EN TRES MINUTOS
La respuesta en tres ideas
- 1Un token puede ser palabra, fragmento, signo o secuencia de bytes.
- 2El texto pasa a identificadores y estos a vectores aprendidos.
- 3El recuento afecta contexto y coste, pero no mide conceptos.
01 · EL TEXTO SE DIVIDE
El texto se divide
Un vocabulario reutiliza secuencias frecuentes; nombres raros y algunas escrituras pueden necesitar varias piezas.
02 · LAS PIEZAS RECIBEN NÚMEROS
Las piezas reciben números
Cada entrada tiene un ID que apunta a un vector; el número no posee significado natural fuera de ese vocabulario.
El texto se divide
Un vocabulario reutiliza secuencias frecuentes; nombres raros y algunas escrituras pueden necesitar varias piezas.
texto → piezasLas piezas reciben números
Cada entrada tiene un ID que apunta a un vector; el número no posee significado natural fuera de ese vocabulario.
piezas → IDLa división es una decisión
Los subwords reducen el vocabulario, a cambio de segmentaciones desiguales entre idiomas, ortografías y formatos.
ID → vectoresSe predice otra pieza
La red produce una distribución sobre el vocabulario, elige un token, lo añade y repite el proceso.
probabilidad → token03 · LA DIVISIÓN ES UNA DECISIÓN
La división es una decisión
Los subwords reducen el vocabulario, a cambio de segmentaciones desiguales entre idiomas, ortografías y formatos.
04 · SE PREDICE OTRA PIEZA
Se predice otra pieza
La red produce una distribución sobre el vocabulario, elige un token, lo añade y repite el proceso.
05 · UN TOKEN NO ES UN PENSAMIENTO
Un token no es un pensamiento
Es una interfaz entre texto y cálculo: una pieza no equivale a un concepto ni más piezas implican mayor profundidad.
06 · FUENTES Y EVIDENCIAS
Fuentes y evidencias
Las afirmaciones se remontan a artículos fundamentales, normas o al estudio primario de la actualización.
- 01Neural Machine Translation of Rare Words with Subword UnitsESTUDIO PRIMARIO ↗
Sustenta un mecanismo, una medición o un límite de evidencia definido en el artículo.
- 02SentencePiece: A simple and language independent subword tokenizerESTUDIO PRIMARIO ↗
Sustenta un mecanismo, una medición o un límite de evidencia definido en el artículo.