Temat: [postgres] usuwanie zduplikowanych rekordów

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Łukasz Bandzarewicz:
Moja baza danych miała małą awarię, po wgraniu backup-u okazało się, że w jednej tabeli zostało zdjęte ograniczenie na primary key i co gorsza pojawiły się w niej zduplikowane rekordy..
Pytanie brzmi: jak usunąć redundantne dane?
Niestety postgres nie obsługuje zapytań w stylu: DELETE * FROM table WHERE id=1 LIMIT 1;

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Tomasz Poradowski:
DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Krzysztof P.:

Tomasz Poradowski:
DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Ale to usunie wszystkie rekordy z zdublowanym ID. A pasowałoby jeden zostawić.

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Krzysztof P.:

Tomasz Poradowski:
DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Ale to usunie wszystkie rekordy z zdublowanym ID. A pasowałoby jeden zostawić.

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Piotr Czeczko:
Ja bym spróbował zrobić to tak:
1. stworzyć tabele ze zduplikowanymi rekordami:
create table dup_rows as
SELECT id, kol1, kol2, ... FROM org_table
GROUP BY id, kol1, kol2, ...
HAVING Count(*)>1
2. usunac wszystkie zduplikowane rekordy:
delete org_table where id in (SELECT id FROM dup_rows);
3. wstawic spowrotem brakujace rekordy:
insert into org_table select * from dup_rows;
4. usunac tabele zduplikowanych rekordow:
drop table dup_rows;

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Łukasz Bandzarewicz:
..swoją drogą, dlaczego postgres nie obsługuje limitów w zapytaniach DELETE i UPDATE?

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Tomasz Poradowski:

Krzysztof P.:

Tomasz Poradowski:
DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Ale to usunie wszystkie rekordy z zdublowanym ID. A pasowałoby jeden zostawić.

A, racja, na szybko pisałem ;), poprawka:

DELETE FROM table WHERE oid IN (SELECT MIN(oid) FROM table GROUP BY id HAVING COUNT(*) > 1)

przy założeniu, że tabela ma włączone OIDs (zamiast MIN można też wziąć MAX).

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Monika Helena Myszkiewicz:

Tomasz Poradowski:

Krzysztof P.:

Tomasz Poradowski:
DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Ale to usunie wszystkie rekordy z zdublowanym ID. A pasowałoby jeden zostawić.

A, racja, na szybko pisałem ;), poprawka:

DELETE FROM table WHERE oid IN (SELECT MIN(oid) FROM table GROUP BY id HAVING COUNT(*) > 1)

przy założeniu, że tabela ma włączone OIDs (zamiast MIN można też wziąć MAX).

i przy założeniu, że jest tylko jeden duplikat :) (przynajmniej w Oracle tak to działa)
inaczej operację trzeba będzie powtarzać n-razy :)

może lepiej tak:

DELETE FROM nasza_tabela
WHERE EXISTS
(SELECT 1 FROM nasza_tabela A
WHERE
A.UNIKALNY_IDENTYFIKATOR = nasza_tabela.UNIKALNY_IDENTYFIKATOR and A.OID < nasza_tabela.OID);

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Monika Helena Myszkiewicz:
DELETE FROM nasza_tabela
WHERE EXISTS
(SELECT 1 FROM nasza_tabela A
WHERE
A.UNIKALNY_IDENTYFIKATOR = nasza_tabela.UNIKALNY_IDENTYFIKATOR and A.OID < nasza_tabela.OID);

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Piotr Likus:

Monika Helena Myszkiewicz:
DELETE FROM nasza_tabela
WHERE EXISTS
(SELECT 1 FROM nasza_tabela A
WHERE
A.UNIKALNY_IDENTYFIKATOR = nasza_tabela.UNIKALNY_IDENTYFIKATOR and A.OID < nasza_tabela.OID);

Zdecydowanie najlepsze rozwiązanie, dodatkowo jeśli nie ma OID (bo np. jest to SQLite lub inny Access) to przepis ogólny jest prosty:

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Łukasz Bandzarewicz:

Piotr Likus:

Monika Helena Myszkiewicz:
DELETE FROM nasza_tabela
WHERE EXISTS
(SELECT 1 FROM nasza_tabela A
WHERE
A.UNIKALNY_IDENTYFIKATOR = nasza_tabela.UNIKALNY_IDENTYFIKATOR and A.OID < nasza_tabela.OID);

Zdecydowanie najlepsze rozwiązanie, dodatkowo jeśli nie ma OID (bo np. jest to SQLite lub inny Access) to przepis ogólny jest prosty:

Jeśli chodzi o "zdecydowanie najlepsze" rozwiązania, to był bym bardzo ostrożny.. nie ma najlepszych rozwiązań ;)

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Piotr Likus:

A ogólnie, przykład z początku wątku jest idealnym argumentem za wstawianiem w -każdej- tabeli PK technicznego (oid)

Link do wypowiedzi

Temat: [postgres] usuwanie zduplikowanych rekordów

Tomasz Poradowski:

Łukasz Bandzarewicz:
Moja baza danych miała małą awarię, po wgraniu backup-u okazało się, że w jednej tabeli zostało zdjęte ograniczenie na primary key i co gorsza pojawiły się w niej zduplikowane rekordy..
Pytanie brzmi: jak usunąć redundantne dane?
Niestety postgres nie obsługuje zapytań w stylu: DELETE * FROM table WHERE id=1 LIMIT 1;

DELETE FROM table WHERE id IN (SELECT DISTINCT id FROM table GROUP BY id HAVING COUNT(*) > 1)
?

Link do wypowiedzi