Qué son los Word Embeddings y cómo usarlos ?
En esta entrada vamos a dar una breve explicación de cómo podemos usar Word Embeddings en nuestros modelos, y sobre todo dar una breve introducción al tema. No nos trataremos de adentrar a la teoría de los mismos, pero si daremos referencia, por si gustan aprender más.
Sobre los Word Embeddings
Los Word Embeddings son funciones que nos permiten mapear palabras a un vector n-dimensional, partiendo del supuesto que palabras que se encuentran en un espacio semejante deben ten
er algún tipo de relación. Con ese supuesto, se ha creado modelos que intentan capturar la mayor cantidad de información posible del entorno en una palabra, llegando a poder contener incluso información semántica, y sintáctica. Existe una gran gama de algoritmos y propuestas que han mejorado el comportamiento de muchas tareas de Procesamiento de Lenguaje Natural, cómo es la identificación de nombres, identificación de idiomas, traducción automática, etc. En este caso daremos un caso práctico para poder usarlo de maner sencilla en nuestros programas.
Tensores en PyTorch
Los tensores
Los tensores matrices multidimensionales que contienen elementos de un único tipo. Esto es importante para machine learning ya que usamos todos los cálculos en una red neuronal tendrán que hacerse con estas unidades. Básicamente podemos usar ocho tipo de tensores en CPUs o GPUs. Estos son según la documentación de PyTorch los siguientes:
Cómo construirlos
Para poder usarlos primero se deben de construir. Para ello se pueden crear partiendo de una lista de python o de un tipo de datos de NumPy. Es bastante sencillo, y se utiliza la funcion torch.tensor(). Para averiguar el tipo de un tensor, usamos el método tensor.type(). Para hacer esto más claro, veamos el siguente ejemplo:
import torch
lista = torch.tensor([[1,1],[1,1]])
print(lista)
print(lista.type())
lista = torch.tensor([[1.,1.],[1.,1.]])
print(lista)
print(lista.type())
lista = torch.tensor([[1.,1.],[1,1]])
print(lista)
print(lista.type())
Con la sigueinte salida:
tensor([[1, 1],
[1, 1]])
torch.LongTensor
tensor([[1., 1.],
[1., 1.]])
torch.FloatTensor
tensor([[1., 1.],
[1., 1.]])
Algoritmo de ordenamiento por inserción con C
Cuando tenemos una lista de datos que son ordinales (por ejemplo números, o letras del abcdario) es probable que querramos darle un orden. Esto es bueno, para poder utilizar otros algoritmos, por ejemplo búsqueda. Básicamente lo que hace este algoritmo es:
- Cómo entrada tenemos un arreglo u otra estructura compatible con elementos ordenables, que vamos a llamar v.
- Vamos a recorrer i veces este arreglo, donde i es el tamaño de nuestro arreglo. Esto quiere decir que se recorrerá el arreglo una vez por cada elemento que contenga.
- Tendremos además un contador j, que iniciará en i-1, y recorrerá todo el arreglo a la izquierda del elemento i.
- Se guardará el elemento i en una variable temporal.
- Para posteriormente recorrer todo el arreglo de j a 0. Si algún elemento es major que la variable temporal se intercambiarán. De lo contrario se recorrerá el arreglo.
- Esto significa que se recorre el arreglo hasta que se encuentre el mejor lugar para insertar el elemento temporal.
- Este procedimiento se repite hasta que se haya concluido con todos los elementos de el arreglo. En este momento también el arreglo también estará ordenado.
Página 1 de 35
