Eliminar duplicados en Excel: por qué el botón no basta

Datos → Quitar duplicados → Aceptar. “Se quitaron 47 valores duplicados.”

Y usted sabe, sin poder demostrarlo, que había más.

Lo que ese botón compara

El botón hace exactamente una cosa: borra filas cuyos valores son idénticos, carácter por carácter.

El problema es que en una base real los duplicados casi nunca son idénticos. Son esto:

Es la misma empresa. Para Excel son dos, y ninguna comparación de las tres columnas las va a unir.

Ahí está el punto: el botón no falla, hace lo que promete. Lo que no promete es encontrar duplicados de verdad.

El problema del que nadie avisa: quién sobrevive

Este es más grave que el anterior, porque ocurre en silencio.

Cuando Excel encuentra dos filas iguales, conserva la primera en el orden actual de la hoja. No pregunta. No hay opción.

Eso significa que la decisión de qué registro sobrevive la toma el orden en que quedaron las filas — que suele ser el orden en que se cargaron, es decir, ninguno.

Si la fila 1 es el registro de 2019 y la fila 2 tiene el teléfono actualizado el mes pasado, Excel conserva el de 2019. Y como la fila borrada se fue con todas sus columnas, el teléfono nuevo no está en ninguna parte.

El orden correcto: normalizar, después deduplicar

Casi todo el mundo lo hace al revés, y por eso el resultado decepciona.

Primero normalizar. Antes de comparar nada, hay que dejar los valores escritos igual:

• La caja: Bogotá, BOGOTA y bogotá a una sola forma.
• Los espacios: los sobrantes al inicio, al final y los dobles del medio.
• Las tildes y la puntuación: S.A.S., SAS y S A S son la misma cosa.
• Los documentos: 900123456-8 y 900.123.456-8 son el mismo NIT.

Después deduplicar. Ahora sí, los registros que representan la misma entidad están escritos igual y se detectan.

Invertir este orden es la razón número uno por la que una deduplicación “no encuentra nada”.

Duplicado por fila y duplicado por entidad

Hay dos preguntas distintas y conviene no confundirlas:

¿Es la misma fila? Todas las columnas coinciden. Es lo que resuelve Excel y suele ser un error de carga: el archivo se subió dos veces.

¿Es la misma entidad? El mismo cliente, proveedor o producto, aunque los demás campos difieran. Esto se detecta eligiendo por qué columna se identifica —el NIT, el correo, el código— en lugar de comparar la fila completa.

El segundo es el que importa. Es el que hace que un cliente aparezca tres veces en el reporte de cartera, con tres saldos parciales que nadie suma.

Antes de borrar, mire qué se va

Una deduplicación agresiva deja un archivo impecable y sin la mitad de las ventas. Y como el resultado se ve bien, nadie lo revisa.

Tres precauciones que valen el minuto que cuestan:

1. Vea cuántas filas se van antes de ejecutar, no después.
2. Decida qué registro sobrevive con un criterio suyo —el más reciente, el más completo— y no por el orden de la hoja.
3. Conserve el archivo original. Si la regla estuvo mal, tiene a dónde volver. Sin eso, el error es definitivo.

Lo que cambia cuando la regla queda escrita

El archivo del mes siguiente trae los mismos duplicados, con las mismas variantes de escritura. Si la limpieza vivió en una sesión de trabajo manual, hay que rehacerla — y rehacerla igual, que es lo difícil.

Cuando el criterio queda guardado como una regla, el archivo nuevo entra por el mismo camino: se normaliza igual, se deduplica por la misma columna y conserva el mismo registro. La base deja de degradarse cada mes.

Y hay algo que solo se nota al mes tres: la pregunta “¿por qué este cliente ya no aparece?” tiene respuesta, porque quedó registrado qué regla lo unió con cuál y cuándo.

En Lorian Analytics la deduplicación se aplica después de normalizar, se puede hacer por entidad además de por fila, y muestra cuántas filas quedan antes de ejecutar. El archivo original nunca se modifica. Puede ver el catálogo completo de transformaciones o leer por qué la calidad de un dato se mide, no se opina.