Vilskettä verkossa

Kun avasimme maastotietoaineistot, meillä ei ollut tarkkaa käsitystä siitä, kuinka suurta niiden kysyntä tulisi olemaan. Uskoimme toki, että aineistomme kiinnostaisivat - ja toisaalta toivoimme, että olemme osanneet mitoittaa palvelumme niin, että ne kestävät lisääntyvän kysynnän.

Heti ensi hetkistä lähtien on aineistojen kysyntä ollut vilkasta ja on sitä edelleen. Ensimmäisen kolmen kuukauden aikana maastotietoja toimitettiin noin 50 kertaa enemmän kuin ennen avaamista koko vuoden aikana. Kysytyimmät aineistot ovat Peruskartta rasterimuodossa, Maastotietokanta, ortoilmakuvat ja korkeusmalli (10 m ruutukoolla).

Suurin osa hakee maastotiedot itsepalveluna tiedostolatauspalvelun kautta. Syyskuun alkuun mennessä sinne oli tullut yli 37 000 tilausta - yksittäisiä tiedostoja oli ladattu 685 000 kertaa. Tätä vauhtia miljoonan latauksen raja ylittyy jo ennen vuoden vaihdetta.

Myös rajapinta-asiakkaiden määrä on kasvanut huimasti. WMS-rajapinnan käyttösopimuksen on tehnyt yli 100 asiakasta, lisäystä toukokuun alusta 40 %. Kesäkuussa avatun maksuttoman WMTS-palvelun käyttömäärät ovat nekin nousseet rivakasti. Kesäkuussa palveluun tehtiin 40 000 hakua, elokuussa jo yli 300 000.

Koska kuka tahansa voi jakaa aineistoja edelleen meiltä lupia kyselemättä, emme voi tietää tarkasti, kuinka paljon maastotietoja kaiken kaikkiaan on jo ladattu.

Mielenkiinnolla odotamme, millaisia uusia sovelluksia ja palveluita maastotiedoista syntyy. Toivommekin, että kertoisitte niistä meille vaikkapa kommentoimalla tätä kirjoitusta.

Uteliaana kommenttejanne odotellen…

ps. Järjestämme 5.10. Laserkeilaus- ja korkeusmalliseminaariin, jossa esitellään muun muassa ohjelmistoja laser- ja muidenkin aineistojen käsittelyyn, jakeluun ja esittämiseen. Tilaisuuteen on vapaa pääsy. Tervetuloa kuulolle!

Avoimien aineistojen tiedostopalvelu avattu

Avoimia aineistoja saa nyt ladattua maksutta verkon kautta.

Avoimien aineistojen tiedostopalvelu on karttapohjainen itsepalvelu aineistojen lataamiseen:

• Valitse ladattava tuote vasemman reunan listasta.
• Valittua tuotetta koskeva karttalehtijako tulee kartalle. Karttaa pitää mahdollisesti lähentää tai loitontaa, jotta tilattavissa olevat karttalehdet tulevat näkyviin. Paikan voi etsiä myös osoite- tai nimistöhaun avulla.
• Valitse ne karttalehdet, ne jotka haluat ladata. Valitut lehdet listautuvat näytön oikeaan reunaan.
• Kun olet valinnut halutut lehdet ja tuotteet, siirry tilaamaan. Anna sähköpostiosoite, hyväksy lisenssiehdot ja lähetä tilaus.
• Sähköpostiin tulee hetken kuluttua lataussivun osoite. Sivulta saat ladattua tilaamasi tiedostot. Sivulta näet myös tiedostokohtaisia metatietoja, kuten tilaamasi tiedoston päivitysajankohdan. Ne avautuvat +-linkistä.

Ensimmäisinä aineistoina palvelussa ovat ladattavissa Peruskartta, Maastokartta 1:50 000, laserkeilausaineisto ja jo aiemmin avatut aineistot (Kuntajako, Nimistö, Yleiskartat)

Nyt odottelemme miten sovellus maailmalla pärjää. Lisäämme ladattavaa sitä mukaa, kun näemme, että sovellus kestää kuormaa, ja avattavat aineistoversiot valmistuvat.

Jatkossa liitämme tiedostopalvelun osaksi tuotantoamme, jolloin tarkimmat aineistot päivittyvät palveluun heti, kun niihin tulee joku muutos. Laserkeilausaineisto ja ortokuvat on jo nyt viritetty osaksi tuotantoprosessia: uusi tiedosto tulee palveluun heti sen valmistuttua.

Palvelun avaaminen myöhästyi harmittavasti aineiston avaamisen hetkestä.  Viime hetken yllätykset ja sairastapaukset aiheuttivat viivästyksiä  ja käyttöönottoa oli pakko lykätä. Nyt päästiin kuitenkin liikkeelle.

Näemme, että Maanmittauslaitoksen roolina datan jakelussa olisi keskittyä mahdollisimman ajantasaisen aineiston jakeluun. Tehokkaita, uusilla tekniikoilla toteutettuja jakelupalveluita on jo tehty. Toivottavasti teette niitä edelleen lisää. Maastotietoaineistot on nyt avattu, laitetaan ne jakoon ja laajaan käyttöön!

Avaamisen aattona

Maanmittauslaitos avaa huomenna maastotietoaineistonsa kansalaisten ja yritysten ilmaiseen ja vapaaseen käyttöön. Takana on työtäyteinen kevät, kun aineistojamme ja tuotantojärjestelmiämme on viritetty avaamiseen vaatimaan kuosiin.

Ryhtyessämme urakkaan vuoden vaihteessa emme edes tarkkaan tienneet, mitä kaikkea kevään aikana tulisi vastaan. Avattavia aineistoja on lähes pari kymmentä, suurin osa kattaa koko Suomen. Kun käsiteltävät tietomassat ovat näin isoja, aineistojen muokkaus ei onnistu käden käänteessä ja yllätyksiltä ei voi välttyä.

Etenkin kehittäjillemme kevät on ollut kiireistä aikaa, kun tuotteisiimme ja tuotantojärjestelmiimme on tehty avaamisen edellyttämät muutokset. Samaan aikaan on rakennettu uusia palveluja aineistojen jakeluun, mietitty formaatteja, tiedostokokoja ja käyttöehtoja. Myös aineistojemme ns. vuosipäivitykset tehdään pääosin keväisin, mikä sekin on kuormittanut tuotantoamme.

Näkyvin muutos koski Maastotietokantaa ja siitä johdettuja suurikaavaisia tuotteitamme. Niistä oli poistettava Liikenneviraston aineisto, joka ei muutu avoimeksi. Työ on nyt tehty ja aineisto valmis toimitettavaksi. Ensimmäiset toimitukset ennakkotilaajille lähtevät heti vapun jälkeen.

Olemme myös kuumeisesti pystyttäneet itsepalvelua aineistojen lataamiseen. Palvelu on lähes valmis, mutta vielä on odotettava muutama päivä ennen kuin olemme saaneet kaikki käyttöönottoon liittyvät tekniset valmistelut tehtyä ja palvelu voidaan avata.

Pyrimme saamaan palvelun käyttöön ensi viikolla, mutta varmoja emme siitä vielä ole. Käyttöönottoaikataulun voi tarkistaa avoin data -verkkosivuilta, jota päivitämme jatkuvasti. Palvelun sisällöstä olemme kertoneet myös täällä blogissa.

1.5. merkitsee isoa muutosta myös nykyisille asiakkaillemme. Heiltä ei enää peritä maastotietotuotteiden käytöstä lisenssi- ja käyttöoikeusmaksuja, mikä on ollut suurin osa tuotteiden kokonaishintaa.

Suuria aineistomääriä voi tilata - myös etukäteen

Maanmittauslaitoksen 1.5. käyttöoikeuksiltaan maksuttomiksi avautuvista maastotietoaineistoista melkoinen joukko on tiedostokooltaan suuria. Aineistojen saantia helpottamaan otetaan toukokuun alkupäivinä käyttöön Avoimien aineistojen tiedostopalvelu. Se vastaa suurimpaan osaan karttadatan käyttäjien tarpeista silloin kun rajapintakäyttö ei ole oikea vaihtoehto.

Suuria tiedostokokoja ja paljon tiedostoja

Tiedostopalvelu ei kuitenkaan ratkaise kaikkien tarpeita. Kun tarvitaan suurimittakaavaisia aineistoja laajoilta alueilta, verkon yli lataaminen ei ole välttämättä ollenkaan hyvä vaihtoehto. Tiedostopalvelussa tarjottavien aineistojen karttalehtijaot on valittu niin, ettei yksittäisen tiedoston koko kasvaisi hankalaksi käsitellä.

Suurikaavaisten aineistojen kohdalla tämä tarkoittaa sitä, että yksi karttalehtitiedosto kattaa vain pienen palan Suomea. Pienikokoisia karttalehtiä mahtuu Suomen alueelle paljon ja sitä kautta ladattavia tiedostojakin voi kertyä tuhansia koko Suomen alueelta.

Tiedostopalveluhan toimii siten, että lataaja saa palvelusta sähköpostin, jossa on linkki verkkosivulle. Tuolta sivulta pääsee lataamaan valitsemansa aineistot itselleen. Tiedosto kerrallaan.

Toisaalta kaikki suurimittakaavaiset aineistot (1:5 000 - 1:100 000) ovat laajoina alueina verkon yli ladattaviksi tiedostokooltaan turhan suuria. Esimerkiksi yhden Peruskarttarasterin 12 km x 12 km -karttalehden koko on noin 13 Mt, ja yksi 6 km x 6 km alueen kattava ilmakuva yli 100 Mt.

Tilaaminen voi olla parempi vaihtoehto

Tiedostopalvelu on itsepalvelu ja sen käyttö on ilmaista. Sitä kautta avoimen aineiston saa siis täysin ilmaiseksi. Tilaamalla aineiston Maanmittauslaitoksen Tietopalvelukeskuksesta sähköpostitse, peritään toimituksesta kulut, koska toimitukset vaativat käsityötä ja toimitusmedian.

Esimerkiksi Maastotietokanta mahtuu muistitikulle ja sen niin sanotun vuosiversion toimituskulut ovat yhteensä 540 euroa (500 € aineiston irrotus ja toimitus 40 € 32 Gt:n muistitikku). Vuosiversioksi sanotaan tietokannasta irrotettua koko maan päivitystä, jota toimitetaan asiakkaalle normaalisti vuoden ajan. Irrotuskustannukset säilyvät pääosin nykyisinä ja niitä voi tarkastella tuotteittain Maanmittauslaitoksen verkkosivuilta (huomaa, että kaikki tuolla sivustolla näkyvät aineistot eivät muutu avoimiksi 1.5.)

Tilauksen voi lähettää osoitteella: myynti[at]maanmittauslaitos.fi. Tilauksessa pitää mainita tilattava aineisto, sen mahdollinen tuoteversio, tiedostoformaatti, koordinaattijärjestelmä (nämäkin tiedot löytyvät yllä olevan linkin takaa tuotekuvauksista) sekä toimitus- ja laskutusosoite. Tilauksessa on myös kuvattava alue, jolta aineiston haluaa tilata.  Ennen Tiedostopalvelun avautumista alueiden hahmottamiseen voi hyvin käyttää Karttapaikkaa.

Tilaukset käsitellään saapumisjärjestyksessä. Avoimia aineistoja ei toimiteta ennen toukokuun alkua. Myöskään kaikki aineistot eivät vielä ole valmiita toukokuun alussa avoimina toimitettaviksi. Otamme kuitenkin ruuhkaa välttääksemme mielellämme vastaan tilauksia aineistoista etukäteen, jotta voimme valmistella niitä toimitettaviksi heti kun mahdollista.

Avoimien aineistojen tiedostopalvelu avataan toukokuun alussa

Kevät on ollut kiireistä aikaa, kun muokkaamme tuotteita ja palveluitamme tiedon avaamiseen vaatimaan kuosiin.

Uusi avoimien aineistojen tiedostolatauspalvelu alkaa hahmottua. Sen karttakäyttöliittymäosio on valmistunut, ja seuraavaksi se pitää liittää aineistovarastoon ja latauspalvelusovellukseen. Lisäksi palvelun käyttämään aineistovarastoon on siirrettävä tarjottavat aineistot.

Käyttöliittymän termejä on hiottu ja palvelulle etsitty sopivaa nimeä. Avoimien aineistojen tiedostopalvelu on tarkoitus avata toukokuun alkupäivinä.

Aineistot tuodaan palveluun vaiheittain

Emme laita palveluun kerralla kaikki aineistoja, vaan tuotteet on suunniteltu tuotavaksi palveluun vaiheittain.

Toukokuun alussa tarjolla olisi maastotietokanta, laserkeilausaineisto ja maastokarttarasteri 1:50 000. Peruskarttarasteri tulisi seuraavalla viikolla ja ortokuvat toukokuun puolivälissä. Loput aineistot julkaistaan julkaisuaikataulun mukaisesti kesäkuun alkuun mennessä. Pyrimme näin varmistamaan palvelun toimintakyvyn ja kapasiteetin riittävyyden.

Aikataulu voi muuttua käytännön mukaan: jos palvelussa on paljon kuormaa, julkaisuaikataulua hidastetaan, jos mitään ongelmia ei esiinny, sitä nopeutetaan.

Osa avattavista tuotteista tai tuoteversioista jää pois tiedostopalvelusta. Tarve niiden tuomiselle palveluun arvioidaan myöhemmin.

Esimerkiksi ilmakuvat, maastotietokannan vektoriaineistojen osaelementit ja kaikki poistuvassa KKJ-koordinaatistossa olevat aineistot eivät tule palvelun ensimmäiseen versioon. Niitä saa tilaamalla Maanmittauslaitoksesta. Ilmakuvat tarkoittavat alkuperäisiä kuvia, tiedostopalveluun tulee oikaistut ortoilmakuvat, jotka sopivat laajempaan käyttötarpeeseen. KKJ-koordinaatistossa aineistoja ei enää tuoteta tämän vuoden jälkeen. Tilattavista aineistoista peritään toimituskulut.

Tuotteet tulevat tiedostopalveluun pääosin nykyisin käytössä olevissa karttalehtijaoissa. Niiden suurentamista harkittiin, mutta muutos olisi vaikeuttanut aineistojen nykyisten käyttäjien tilannetta. Ortoilmakuviin ja laserkeilausaineistoon on löytynyt tehokkaat pakkaustavat ja ladattavien tiedostojen koko on pienentynyt merkittävästi.

Tekemistä kuitenkin vielä riittää ennen kuin kaikki on valmista.

Uudet toimitusformaatit ortokuville ja laserkeilausaineistoille

Yksi tiedon avaamisen yhteydessä ratkaistavista asioista ovat toimitusformaatit. Koska aineistoja on paljon - ja monet niistä myös suuria kooltaan, toimitusformaatteja voi olla käytössä vain rajallinen määrä.

Viime viikkoina olemme miettineet sopivia toimitusformaatteja latauspalvelussa tarjottaville ortokuville  ja laserkeilausaineistoille, sillä nykyisin käyttämämme olevat formaatit soveltuvat sinne huonosti.

Ortokuvien toimituksessa on käytetty tähän asti tiff-formaattia. Sen tiedostokoko on kuitenkin liian suuri latauspalveluun, sillä yksi 6 km x 6 km kuva on kooltaan noin 420 MB. Ortokuvien latauspalvelussa otetaan käyttöön jpeg2000-formaatti (.jp2).  Kuvat pakkaantuvat silloin noin kolmasosaan alkuperäisestä, mutta kaikki kuvilla oleva informaatio säilyy.

Laserkeilausaineistot saa latauspalvelusta LAZ-formaatissa. Tiedostot tehdään pakkaamalla LAS-formaatissa oleva data LASzip-pakkausohjelmalla. Sovellukset voivat käyttää LAZ-tiedostoja, kunhan sovelluksiin on liitetty tarvittava LASzip ”lisäpalikka”, jonka voi ladata osoitteesta: http://laszip.org/. LASzip on avoimen datan sovellus, jonka pakkaus- ja purkuominaisuudet ovat käyttäjälleen maksuttomia.

Ortokuvia saa edelleen tiff-formaatissa  ja laserkeilausaineistoja LAS-formaatissa, mutta vain tilaamalla erikseen osoitteesta myynti[ät]maanmittauslaitos.fi. Tällöin toimituksista peritään toimituskulut ja korvaus toimitusmediasta. Tällä hetkellä käytössä olevat toimitusformaatit löytyvät avattavien aineistojen tuotekuvauksista.

Maastotiedot verkon kautta ladattavaksi

Maastotiedot on toimitettu asiakkaille tiedostoina DVD-levyillä tai suurempia aineistomassoja siirtokovalevyillä. Sovelluksille olemme kyllä tarjonneet mahdollisuutta maastotietojen suorakäyttöönkin. Jo viime vuonna, ennen avaamispäätöstä, käynnistimme projektin tiedostojen toimittamiseksi verkon kautta. Aikaan piti saada tiedostolatauspalvelu.

Loppuvuodesta projektin tavoitetta tarkennettiin, aloimme keskittyä avattavan maastotietoaineiston tiedostolatauspalvelun rakentamiseen. Avattavien aineistojen koko lasketaan  teratavuina, ihan helposti ne eivät verkon yli liiku. Tarkimmat aineistot on pilkottava tuhansiin tiedostoihin, jotka yhdessä kattavat koko Suomen. Halutun tiedoston valintaan päätimme rakentaa karttakäyttöliittymän.

Maanmittauslaitos on tarjonnut jo ennen avoimia paikkatietoaineistoja myös avointa lähdekoodia. Paikkatietoikkunan karttakäyttöliittymän koodi on jaossa www.oskari.org sivustolla. Tiedostolatauspalvelu rakennetaan hyödyntäen tuota koodia, jonka päälle tarvittavat lisätoiminnot Logica Oy toteuttaa. Ja avoimena lähdekoodina sekin tulee aikanaan jakoon oskariin.

Valmista ei vielä ole, mutta palvelu alkaa hahmottua. Pohdimme teidän lataajien kärsivällisyyttä, joko klikata useita latauslinkkejä tai odotella harvempia, mutta isoja tiedostoja. Pohdimme uusia pakkautuvia tiedostomuotoja. Ja pohdimme kuinkahan paljon teitä toukokuun alussa on piuhan päässä odottelemassa avautuneita maastotietoja. Kaikkia avautuvia maastotietoja tuskin yhtä aikaa palveluun laitamme, mutta kerromme julkaisuaikataulun selkeästi. Kohti kevättä siis!