SSIS - Der text-Datentyp nicht als DISTINCT auswählbar! /doppelte Datensätze löschen

Question

Ich möchte in einer Tabelle aus der DB-Quelle die doppelten Datensätze löschen. Die sind ziemlich viel (ca. 100000). Ich kenne nur DISTINCT. Aber der text-Datentyp in einer Spalte kann nicht als DISTINCT ausgewählt werden. 

Jetzt möchte ich die folgende Spalte mit dem Toolbox-Konvertierung in einen anderen Datentyp konvertieren. Dann mit DISTINCT bereinigen. Anschließend möchte ich die Spalte wieder in Text-Datentyp konvertieren und in die Ziel-Tabelle reinschreiben.

Das Problem liegt daran, dass 

1. der Text-Datentyp nur in UNICODE (auch text-Datentyp ---> DISTINCT nicht möglich! ) oder
2. in Zeichenfolge konvertiert werden kann. Bei der Konvertierung in Zeichenfolge gibt es eine menge Fehlermeldung beim Debugging. Datenfluss bricht ab. 
3. Fuzzygruppierung geht auch nicht. Fehlermeldung: Eingabespalten vom Typ IMAG, TEXT oder NTEXT werden von der Fuzzygruppierung nicht unterstützt.

Hat jemand einen Tipp?

Answer 1

Hier habe ich neulich eine Lösung ohne Distinct gepostet:

http://www.insidesql.org/blogs/cmu/sql_server/duplikate-entfernen

Bei der Datenmenge würde ein Index über die Felder, nach denen sortiert wird ggf. Sinn machen.

HTH!

---

Einen schoenen Tag noch, Christoph -- Microsoft SQL Server MVP http://www.insidesql.org/blogs/cmu

Answer 2

hats geklappt. Danke!