Procesamiento del Lenguaje Natural Aplicado en la Empresa

Capítulo 5. Incrustaciones: Cómo las máquinas"entienden" las palabras

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En la primera etapa de nuestro viaje por la PNL de bajo nivel, descubrimos cómo utilizar tokenizadores para masajear nuestros datos de texto en un formato más cómodo de leer para una red neuronal. La siguiente pieza del rompecabezas es la capa de incrustación. Si los tokenizadores son lo que nuestros modelos utilizarán para leer el texto, las incrustaciones son lo que utilizan paracomprenderlo.

Comprender frente a leer un texto

Desde hace mucho tiempo, las máquinas pueden representar caracteres (y por extensión, palabras, frases, etc.) digitalmente. La idea de utilizar un esquema de codificación binaria para el lenguaje y la comunicación se remonta al menos a la invención del telégrafo en el siglo XIX.

Una de las primeras formas de codificación del lenguaje fue el código Morse. En este sistema, se utilizaban señales binarias, como encender y apagar una luz o enviar una secuencia de pulsos largos y cortos de audio, para representar distintos caracteres. Si dos personas disponían de un modo de comunicación binario y se ponían de acuerdo sobre una norma de lo que significaban las secuencias binarias, podían comunicarse de forma fiable en código Morse. Éste fue uno de los métodos más tempranos y sencillos de incrustar el lenguaje humano natural en un formato binario con el que las máquinas pudieran ...