Sivuston ylläpitäjä on maatalousteknologi ja siitä syystä tutustunut maataloustöiden standardiaikajärjestelmän. Siitä kerrotaan Työtehoseuran verkkosivulla näin:
Työnmittaus
Työnmittauksella
tuotetaan standardiaikoja. Standardiajat ovat tietyn työosan
menetelmäkohtaisia aikoja, jotka kertovat, kuinka paljon
ammattitaitoinen henkilö tarvitsee aikaa tietyn työn tekemiseen tietyllä
menetelmällä normaaliolosuhteissa työskennellessään normaalilla
suoritusnopeudella.
Tietotekniikan alalla standardiaikoja ei voida tai osata mitata, tai sitten niitä ei vain kerrota asiakkaille. Paikkatietoaineistojen käsittelyssä on kuitenkin paljon sellaisia rutiinitoimenpiteitä, joiden suoritusaika on helppo mitata. Jos mittaustulosten lisäksi kerrotaan käytetty laitteisto ja ohjelmisto sekä kuvataan paikkatietoaineiston laatu ja mittausmenetelmä, niin saadaan vertailukelpoisia ja toistettavia tuloksia, joita voidaan käyttää pohjana, kun arvioidaan muiden vastaavien töiden aikatauluja ja kustannuksia
Latuviitan paikkatietotöiden standardiaikajärjestelmä
Latuviitan paikkatietotöiden standardiaikajärjestelmä sai alkunsa 12. helmikuuta 2012 jolloin sitä varten kellotettiin ensimmäinen paikkatietoaineiston muuntamiseen kuluva aika.
Uusintamittaus maastotietokannan tietojen muuntamisesta Spatialite-muotoon
Maastotietokannan maasto1-teeman viivat (m_*_v.shp), yhteensä 5822 shapefileä (23. maaliskuuta 2013), yhteiskoko purettuna 29 gigatavua.
Muunnos Spatialite-tietokannaksi alla olevan mallin mukaisilla komennoilla
ogr2ogr -f sqlite -dsco spatialite=yes -a_srs epsg:3067 -lco spatial_index=no -nln maasto1l -gt 10000 --config OGR_SQLITE_SYNCHRONOUS OFF maasto1l.sqlite m_K23442_v.shp
ogr2ogr -f sqlite -append -update -nln maasto1l -gt 10000 --config OGR_SQLITE_SYNCHRONOUS OFF maasto1l.sqlite m_K2344R_v.shp
...lisää näitä rivejä, kunnes kaikki tiedostot on käyty läpi...
Muunnokseen kulunut aika: 91 minuuttia
Syntyneen Spatialite-tietokantatiedoston koko: 19 Gt
Spatiaali-indeksin teko valmiille taululle spatialite-gui-ohjelmalla:
Tietokone:
Acer Aspire
5755G Intel core i7-2670QM 2.2GHz
8GB DDR3 muistia
Ohjelmistot
GDAL-1.10 kehitysversio (64-bit), 8. tammikuusta 2013
Huomioita
Spatialiten datatiedosto on todellakin vain yksi tiedosto, ja siitä johtuvat rajoitteet kannattaa ottaa huomioon. Jos tuhansia shapefilejä lisätään Spatialite-tietokannan tauluun, jolla on spatiaaali-indeksi, niin seurauksena on se, että sekä taulu että indeksi ovat valmiissa datatiedostoissa tuhansina pätkinä. Jos ensin tehdään taulu valmiiksi ja sitten vasta indeksi, niin datatiedosto pysyy yhtenäisempänä ja valmis tietokanta on nopempi käyttää. Spatiaali-indeksin teko on myös hidasta, ja jos tarkoituksena on vain siirtää tiedot paikasta toiseen, niin kannattaa miettiä, voisiko indeksin jättää tekemättä.
OpenStreetMap:in Suomen aineiston muuntaminen tietokantaan
Tarvittava aika menetelmästä riippuen samalla tietokoneella 3,5 tuntia, 28 minuuttia tai 9 minuuttia
Menetelmä:
Tietokone:
Windows Vista (32-bit) kannettava, 2-ytiminen 1,2 GHz prosessori
Muunnosohjelmat:
Tietokannat:
- PostgreSQL 9.2 ja PostGIS 2.0
- osm2pgsql -d tietokanta -p osm -U kayttaja -W -s -S c:osm2pgsqldefault.style -k -G finland.osm.bz2
- ogr2ogr -f PostgreSQL -overwrite PG:"dbname='tietokanta' host='localhost' port='5432' user='kayttaja' password='salasana'" finland.osm.pbf -gt 20000 -progress
- ogr2ogr -f SQLite -dsco spatialite=yes finland.sqlite finland.osm.pbf --config SQLITE_SYNCHRONOUS OFF --config OSM_COMPRESS_NODES YES -progress -gt 20000
Suoritusajat:
- GDAL PostGIS-kantaan: 28 minuuttia
- GDAL Spatialite-kantaan: 9 minuuttia
Koko maastotietokannan asentaminen kannettavalle tietokoneelle PostGIS-kantaan tietokantadumpista
Tarvittava aika: 3 tuntia
Menetelmä:
Tietokantadumppi:
Kovalevyt:
Acer Aspire
5755G Intel core i7-2670QM 2.2GHz
8GB DDR3 muistia,
Maastotietokannan asentaminen PostGIS-kantaan käyttäen lähtöaineistona shapefile-jakelua
Tarvittava aika: 12 tuntia
Menetelmä:
Purettiin shapefile-zipit yksi kerrallaan asennushakemistoon, josta ne vietiin PostGIS-kantaan. Käsiteltyjä shapefilejä oli luokiteteltuna seuraavat kappalemäärät:
2909 hp, 2924 mp, 2687 np, 2657 rp, 1979 sp, 897 up, 168 hs, 576 ht, 2123 hv, 2326 js, 774 jt, 2323 jv, 2464 ks, 2654 kt,
2705 kv, 2359 ls, 2435 lt, 2722 sv, 2693 ms, 2732 mt, 2911 mv, 2483 ns, 2449 nt, 2696 nv, 2376 rs, 2522 rt, 2674 rv
1601 ss, 2183 st, 2114 sv, 50 ep, 100 et, 110 ev, 897 uv
Tietokone:
Kannettava tietokone vuodelta 2008, sen aikaista tekokannettavaluokkaa
Tietokanta:
PostgreSQL 9.1 ja PostGIS 2.0.1
Maanmittauslaitoksen mittakaavan 1:50000 maastokarttarastereiden pakkaaminen yhdeksi 4,2 gigatavun suuruiseksi JPEG2000-tiedostoksi kdu_compress-ohjelmalla
Valmistelut: Erillisistä LZW-pakatut, palettia käyttävät tiff-kuvat muunnettiin kolmikanavaisiksi RGB-kuviksi ja niistä tehtiin yksi GeoTIFF-kuva (BigTIFF) deflate-pakkausmenetelmää käyttäen. Tämä tulostiedosto (5,1 Gt) pakattiin Kakadu 7.0 -koodista käännetyllä kdu_compress-ohjelmalla, johon käännettiin mukaan tuki libtiff-kirjastolle, jonka ansiosta voitiin käyttää lähtökuvana pakattua tiff-kuvaa. Pakkaamattomana lähtötiedoston koko olisi ollut noin 400 gigatavua (288000 x 480000 pikseliä x 3 kanavaa).
Huom! Käytetty ohjelma ei ole avointa lähdekoodia eikä lmainen, eikä version 7.0 sinänsä ilmaisia demo-ohjelmia, joihin kdu_compress kuuluu, ole saatavilla valmiiksi käännettyinä. Tuloksena syntynyt JPEG2000-kuva sen sijaan on vapaa ja ilmainen ja saatavilla Latuviitan BitTorrent-latauksista.
Tietokoneen ominaisuudet:
- AMD Phenom(tm) II X2 545 Processor
- 6 Gt muistia
- SATA-kovalevy, lähtö- ja tuloskuva samalla levyllä
- Windows ,7 64-bittinen
Kdu_compress-versio
- 7.0 lähdekoodista tehty Windows 64-bit -käännös, mukana libtiff-kirjasto
Kdu_compress -komento
kdu_compress -i 50t_single.tif -o 50t_kdu70_slopes.jp2 -slope 47000,44170 Clayers=10 Clevels=9 Corder=RPCL ORGgen_plt=yes
Cprecincts={256,256},{256,256},{128,128},{64,64} Stiles={32768,32768} -flush_period 32768
Pakkaamiseen kulunut aika:
End-to-end CPU time = 4654.756000 seconds (0.011224 us/sample) eli noin 78 minuuttia.
Maanmittauslaitoksen vuoden 2012 maastotietokantavektoreiden zippien purkaminen
Torrent-lataukseen kuuluu zippejä 5836 kappaletta ja niiden yhteenlaskettu tiedostokoko on noin 10 Gt. Jokaiseen zippiin kuuluu suuri määrä shapefile-tiedostoja, joten zipeistä purettujen tiedostojen lukumäärä on huikea: 69160 neljästä erillisestä tiedostosta koostuvaa shapefile-nippua, eli yhteensä 272640 tiedostoa (37 Gt). Näin suuren tiedostomäärän hallitseminen yhdessä hakemistossa ei kaikilla levyillä ja järjestelmillä välttämättä onnistu. Yritys purkaa kaikki zip-tiedoston samalle kuluttajaluokan 3,5 tuuman 250 gigatavun USB-levylle yhteen hakemistoon epäonnistui parin tuhannen puretun zipin jälkeen kirjoitusvirheeseen. Sopivaa levyä käytettäessä purkaminen ei sinänsä ole hidasta. Purkaminen USB-levyltä RAID0-asetuksilla olevalle Firewire800-levylle kesti 95 minuuttia.
Laitteet:
Windows XP, 2 Gt muistia, yksi 3 GHz prosessori
Luku USB2-levyltä, kirjoitus ulkoiselle Firewire800-levylle (4 levyä, RAID0, oli uusi ja hieno vuonna 2006).
Spatialite-tietokannan muodostaminen maastotietokannan suojelualue-shapefile-tiedostoista
Lähtöaineisto:
Suojelualueet-viivat: 2210 shp-tiedostoa, 40395 kohdetta
Suojelualueet-polygonit: 1975 shp-tiedostoa, 14981 kohdetta
Suojelualueet-symbolipisteet: 1597 shp-tiedostoa, 11115 kohdetta
Suojelualueet-tekstit: 2179 shp-tiedostoa, 17055 kohdetta
Viivat: Lisääminen valmiiseen Spatialite-tietokantaan kesti 12 minuuttia, kannan koko kasvoi 67 Mt
Alueet: Lisääminen valmiiseen Spatialite-tietokantaan kesti 10 minuuttia, kannan koko kasvoi 52 Mt
Pisteet: Lisääminen valmiiseen Spatialite-tietokantaan kesti 7 minuuttia, kannan koko kasvoi 2 Mt
Viivat: Lisääminen valmiiseen Spatialite-tietokantaan kesti 9 minuuttia, kannan koko kasvoi 3 Mt
Kokonaisaika:
7961 shapefilen (31844 erillistä tiedostoa levyllä) vieminen Spatialitekantaan neljään uuteen tauluun kesti yhteensä 38 minuuttia. Lopputuloksena yksi 124 megatavun suuruinen tiedosto.
Laitteet:
Windows XP, 2 Gt muistia, yksi 3 GHz prosessori
Luku ja kirjoitus samalle ulkoiselle Firewire800-levylle (4 levyä, RAID0, oli uusi ja hieno vuonna 2006).
4,5 miljoonan osoitepisteen kopioiminen Spatialite-kannasta PostGIS-kantaan
Aika: 86 minuuttia. Aikaan sisältyy spatiaali-indeksin tekeminen.
Sama toisin päin, PostGIS->Spatialite, mutta ilman spatiaali-indeksin tekemistä.
Aika: 9 minuuttia
Laitteet:
Windows XP, 2 Gt muistia, yksi 3 GHz prosessori
Spatialite-tietokanta ja PostGIS-datahakemisto samalla ulkoisella USB-levyllä
Aluemaisten kohteiden muunnos PostGIS-tietokannasta Spatialite-tietokantaan ilman projektiomuunnosta
Maastotietokannan maasto1-tason aluemaisten kohteiden muuntaminen PostGIS 9.0 -tietokannasta Spatialite-muotoon GDAL 1.9 -version ogr2ogr-ohjelmalla.
Ympäristö:
Window XP -tietokone, 1 x 3 GHz prosessori.
PostgreSQL 1.9 -tietokanta ja PostGIS 1.5 laajennos
Tietokanta samalla koneella, jolla muunnoskin tehtiin
Tiedokannan datatiedosto yhdellä ulkoisella USB 2.0 -levyllä, muunnos toiselle ulkoiselle USB 2.0 -levylle
Testiaineistona vuoden 2009 maastotietokannan maasto1-tason aluemaiset kohteet. Kohteita lähtöaineistossa 4508379 kappaletta.
GDAL-version 1.9.0
Käytetty komento
ogr2ogr -f SQLite -dsco spatialite=yes -dsco init_with_epsg=yes -gt 20000 mtk_maasto1_alue.sqlite PG:"dbname=xxxx user=yyyy password=zzzz" mtk_maasto1_alue
Standardiaika:
Muunnokseen kului aikaa yhteensä 217 minuuttia. Syntyneen Spatialite-tietokannan koko 5779 megatavua.
Standardiaika 1: Muunnosnopeus 20776 polygonia minuutissa.
Standardiaika 2: Muunnosnopeus 26,6 megatavua minuutissa mitattuna syntyvän Spatialite-tietokannan koon perusteella.
12000x12000 pikselin suuruisten ilmakuvatiedostojen käsittely (144 megapixeliä, tiedostokoko 421 Mt)
TIFF/GeoTIFF
Ympäristö:
Sama tietokone kuin edellä.
Tiedostojen luku ja kirjoitus samalla ulkoiselle USB-levylle.
Kalibrointi: Aika, joka Windowsilta menee tietostojen kopioimiseen
Mitattu kopioimalla komentojonon avulla 20 kuvatiedostoa hakemistosta toiseen.
Tulos: Kopiointiin kului aikaa tasan 15 minuuttia eli 0,75 minuuttia/kuva. Tunnissa kopioituu 80 tiedostoa ja minuutissa 561 Mt.
Muunnos 1: Tiff + tfw tiedostosta pakkaamattomaksi GeoTIFF-kuvaksi
Komento: gdal_translate -of GTiff -co tiled=yes -a_srs epsg:3067 lähtö.tif tulos.tif
Tulos keskiarvo 242 kuvan eräajosta. Muunnokseen kului aikaa 196 minuuttia
Tulos: Muunnokseen kului aikaa 0,81 minuuttia/kuva (74 kuvaa tunnissa) eli 0,06 minuuttia enemmän kuin pelkkään kopiointiin.
Muunnos 2: Tiff-tiedoston pakkaaminen sisäisesti laatoitettuun ja JPEG-pakattuun kuvamuotoon.
Mitattu keskiarvona 353 kuvan muunnoksesta.
Tulos: Pakattuja kuvia valmistui 120 kappaletta tunnissa. Hitain osa muunnoksessa on levyltä luku ja kirjoitus, joten pakkaaminen nopeutti käsittelyaikaa 0,5 minuuttiin kuvaa kohti.
Komento: gdal_translate -of GTiff -co tiled=yes -co compress=jpeg -photometric=YCBCR -a_srs epsg:3067 lähtö.tif tulos.tif
Tiedostokoko pakkaamisen jälkee alle 30 Mt/kuva. Pakattua tulosta syntyi siis vajaat 60 megatavua minuutissa.
12000x12000 pikselin suuruisten ilmakuvatiedostojen käsittely (144 megapixeliä, tiedostokoko 421 Mt)
JPEG2000
Ympäristö:
Windows kannettava 2x 1,2 GHz prosessori, 2Gt muistia, sama ulkoinen USB-levy käytössä sekä lukemiseen että kirjoittamiseen
Häviötön pakkaus Kakadu v. 6.0 demo-ohjelmalla kdu_compress
Kakadu-pakkausparametrit
-rate - Clevels=7 Clayers=27 Creversible=yes Cycc=yes Cprecincts={256,256},{128,128} Corder=RPCL Cblk={32,32} ORGgen_plt=yes ORGtparts=R ORGgen_tlm=8 -cpu 0 -mem
Aika 353 kuvan ajon keskirvona: 112 sekuntia/kuva
Purkaminen JPEG2000-muodosta GeoTIFF:ksi Kakadu v. 6.0 demo-ohjelmalla kdu_expand
Aika 20 kuvan keskiarvona: 60 sekuntia/kuva
| 
