ScrapeBox DupRemove – scalenie lub podział pliku oraz usunięcie duplikatów

Scrapebox DupeRemove – jest małym, szybkim, lekkim i darmowym narzędziem, które pozwala na połączenie wielu list w pliku tekstowym URL do jednego dużego pliku. Ponadto można z niej usunąć duplikaty adresów URL i domen. A jego działanie jest bardzo szybkie – „180 milionów linii w zaledwie kilka sekund.”

1 Marge Lists
Scalić kilka plików (zawierających adresy url) w jeden plik wynikowy

2 Remove Duplicate Url’s or Domains
Usunąć zduplikowane / powtarzające się url-e lub wszystkie linki z danej domeny (zostawi tylko jeden link z konkretnej domeny) w jednym pliku i zapisać je jako inny plik wynikowy

3 Split a large fille into smaller files
Podzieli plik textowy na mniejsze o ustalonej przez nas liczbie wierszy np. 500 000 (przydana funkcja np. przy imporcie do programu ScrapeBox, gdyż ten program wczytuje do pamięci jednorazowo maksymalnie 1 mln linków)

PS. W dodatku do programu ScrapeBox, program ten jest jeszcze rozszerzony o funkcjonalność zapisu linków w losowej kolejności (ponieważ ScrapeBox przy wczytywaniu ustawia je od A-Z)

więcej: http://www.scrapebox.com/free-dupe-remove