Eliminar duplicados

Eliminar duplicados consiste en quedarse con una sola aparición de cada línea o valor en una lista, descartando las repeticiones. Es una operación habitual en limpieza de datos, gestión de listas de correos, extracción de términos únicos o depuración de registros: si tienes 1.000 líneas de las cuales 200 se repiten, el resultado tendrá 800 líneas únicas.

¿Cuándo necesitas eliminar duplicados?

• Listas de correos o nombres: para no enviar el mismo mensaje dos veces a la misma persona.
• Palabras clave SEO: para identificar términos únicos en un volcado de datos.
• Registros de base de datos o logs: para detectar IDs o entradas repetidas.
• Comparar dos listas: después de unirlas, eliminar duplicados deja solo los valores que aparecen en al menos una de las dos.
• Preparar datos para importar: muchos sistemas rechazan filas duplicadas en importaciones masivas.

Cómo eliminar duplicados con herramientas online

La forma más rápida para listas de texto es pegar el contenido en una herramienta especializada, elegir si la comparación distingue mayúsculas o no, y obtener la lista limpia de inmediato. La herramienta de Gliora permite también ordenar las líneas resultantes y elegir si descartas la primera aparición o la última.

Opciones habituales de configuración:

• Distinguir mayúsculas/minúsculas: “Hola” y “hola” son líneas diferentes.
• Ignorar espacios en blanco al inicio y al final: útil cuando los datos vienen de copiar y pegar.
• Ordenar el resultado: de A a Z o de Z a A tras eliminar duplicados.
• Conservar solo los duplicados: para ver qué valores se repiten, en lugar de eliminarlos.

Cómo eliminar duplicados en Excel

1. Selecciona el rango con los datos (incluida la cabecera si la hay).
2. Ve a Datos → Quitar duplicados.
3. Marca las columnas que se usarán para comparar (si hay varias columnas, dos filas son duplicadas solo si coinciden en todas las columnas marcadas).
4. Haz clic en Aceptar. Excel muestra cuántas filas se eliminaron.

Si los datos están en una sola columna sin cabecera, también puedes usar la fórmula =ÚNICO(A:A) en Excel 365 o Google Sheets, que devuelve los valores únicos sin modificar el original.

Cómo eliminar duplicados con código

En terminal (Linux/Mac): sort archivo.txt | uniq > resultado.txt ordena primero y luego elimina líneas consecutivas iguales.
Para no ordenar y mantener el orden original: awk '!seen[$0]++' archivo.txt

En Python:

with open('entrada.txt') as f:
    lineas = f.readlines()
unicas = list(dict.fromkeys(lineas))  # mantiene el orden de primera aparición

En JavaScript:

const unicas = [...new Set(lineas)];

Diferencia entre eliminar duplicados y comparar textos

Eliminar duplicados actúa sobre una sola lista para dejarla con valores únicos. Comparar textos (diff) sirve para ver las diferencias entre dos versiones distintas de un texto. Son operaciones complementarias: primero limpias duplicados dentro de cada lista y luego comparas las dos listas entre sí.

Una operación relacionada es ordenar líneas: ordenar alfabéticamente antes de deduplicar puede ayudar a detectar variaciones que visualmente parecían distintas pero son idénticas tras normalizar.