- This topic has 14 hozzászólás, 4 résztvevő, and was last updated 15 years telt el by
.
-
Bejegyzés
-
Pontosan. Számból vetted ki a szót 😉 Csak a kérdés ktibi-hez: nem baj, ha a sorok sorrendje megváltozik?
Nem baj, ha megvaltozik. Viszont nagy file-okra is mukodik? Van egy 3Gb-os file-om, amiben van kb. 100 millio sor. Rakuldtem a fenti parancsot ilyen formaban:
sort -u adat.dat > rendezett_adat.dat, de 0 byte-os az uj file, ugy tunik nem irodik bele semmi, viszont a processzor dolgozik… Otlet??Azért 3GB-ot végigvolvasni nem 1 pillanat, főleg ha műveletet is végzel rajta.. és ezt még írási művelet is követi. Először anélkul próbáld hogy fájlba írod az eredményt. Ha ez sem működik, akkor a split paranccsal szedd kisebb részekre a fájlt, és azon csináld meg a műveletet.
Lefuttattam ugy, hogy a std kimenetre irja ki a dolgokat, ekkor egy pillanat alatt lefutott, es a vegere kikopott egy ilyen sort:
e = 54.231Ez mit jelent? Ennyi sorbol all a rendezett file? Kicsit gyanus, hogy ilyen hamar lefutott, kb. 5s…A sebesség bizony gyanús és az eredmény sem az, aminek lennie kéne.
Hogy ennyi -e a sorok száma, azt awc -l ./adatfajlparanccsal tudod leellenőrizni.
Javaslom, hogy a split paranccsal vágd kisebb részre az állományt és kisérletezz azon.Közben kipróbáltam 1 GB-os szöveges fájlon (/var/log/messages többször összemásolva), nekem ez jött ki:
real 1m40.049s
user 1m18.632s
sys 0m2.143s3GB-nál pedig ezt kaptam:
real 5m25.756s
user 3m33.773s
sys 0m20.679s
azaz ~3,5 perc alatt végzett a művelettel (a proci közben 90% környékén dolgozott).
- Be kell jelentkezni a hozzászóláshoz.
legutóbbi hsz