This is a read only archive of pad.okfn.org. See the shutdown announcement for details.

geocoder mikaelrekola@gmail.com
jaakko@okf.fi
pekka.sarkola@gispo.fi
tomi@flossmanuals.net
Tuukka.Hastrup@iki.fi

Datademo:


Link to this pad: http://pad.okfn.org/p/geocoder
Shorturl to Github http://okf.fi/geocoder 
Code in Github: https://github.com/rekola/okffi-geocoder
Code deployed: http://data.okf.fi/console/
Project description as Trello issue: https://trello.com/c/JqBdRy47/28-avoin-osoitetietopalvelu-jalostusalgoritmit-ja-jalostettu-avoin-data
Bugit, issuet ja product backlog: https://github.com/rekola/okffi-geocoder/issues
Julkaistaan FODE:en https://www.facebook.com/groups/fi.okfn/permalink/10151081405235628/

Kickoff minutes:

Kickoffissa
SUUNNITELLAAN  miten Pääkaupunkiseudun seudullinen osoiteluettelo, OpenStreetMapin  osoitetiedot ja Helsingin kaupungin paikkatietoaineisto rikastetaan   aineistoon
Pätemisjärjesty  päälle kirjoittaen, ensin MML, tarkennetaan seudullisella  osoiteluettelolla, rikastetaan palvelukartan POI pisteillä ja sen  jälkeen tarkennetaan OSM rapun kirjaimilla ja katuvektoreilla.
SUUNNITELLAAN sovelluskomponenttien päivitystapa Githubiin päivitetään muutokset molempiin suuntiin komentoriville.
SUUNNITELLAAN datan kuukausittainen päivitys avohoito.okf.fi:lle
MML vuosittain - manuaalisesti
HEL seudulliset osotteistot parhaimmillaankin vuosittain -manuaalisesti
HPK Palvelukartta reaaliaikainen - Kuitenkin pitää päättää, että miten usein siitä reaaliaikaisesta datalähteestä tehdään importti
OSM dumpit päivittäin - Ei välttämättä päivittäin kannata
lähde mainitaan kolmella merkillä tai urlilla Lähde itse asiassa mainitaan hyvinkin laajasti API:n antamassa vastauksessa. Siellä on aineiston ja toimittajan nimeä ja linkkiä käyttöehtoihin
JAETAAN projektin tehtävät ja lukitaan mitä scopeen kuuluu ja ei kuulu
SOVITAAN valmistumispäivä ja varataan julkaisutilaisuus kalenterista
PÄÄTETÄÄN tuotteen ja palvelun nimi. Varataanko dns? api.okf.fi, julkaistaan demo githubissa ja tässä urlissa
PÄÄTETÄÄN projektin kieli: koodi ja sisältö englanniksi, projektidokumentaatio ja ohjeet suomeksi?

Draft documentation

The geocoder API schema is based on The Google Geocoding API: https://developers.google.com/maps/documentation/geocoding/ and Google Places API https://developers.google.com/places/
Only JSON version of the API is supported. XML is not.

Geocoding API endpoint is used for geocoding and reverse-geocoding, and the Places API is mainly used for autocomplete.

Supported API endpoints:

Supported parameters for Geocoding request:
Unsupported parameters for Geocoding request:

Supported parameters for Places autocomplete request:
Supported parameters for Places details request:

Unnecessary parameters:

Status codes:

Tasks:

SQL schema:

CREATE TABLE `geocoding` (
  `id` int(11) NOT NULL,
  `kunta_nro` bigint(20) DEFAULT NULL,
  `postcode_left` varchar(5) DEFAULT NULL,
  `postcode_right` varchar(5) DEFAULT NULL,
`lang` varchar(3) DEFAULT NULL,
  `name` varchar(80) DEFAULT NULL,
  `kunta` varchar(80) DEFAULT NULL,
  `postname_left` varchar(255) DEFAULT NULL,
  `postname_right` varchar(255) DEFAULT NULL,
  `luokka` bigint(20) DEFAULT NULL,
  `fromleft` bigint(20) DEFAULT NULL,
  `toleft` bigint(20) DEFAULT NULL,
  `fromright` bigint(20) DEFAULT NULL,
  `toright` bigint(20) DEFAULT NULL,
  `tienum` bigint(20) DEFAULT NULL,
  `osanum` bigint(20) DEFAULT NULL,
  `tieosa` bigint(20) DEFAULT NULL,
  `paally` bigint(20) DEFAULT NULL,
  `ykssuu` bigint(20) DEFAULT NULL,
  `vapkor` bigint(20) DEFAULT NULL,
  `tastar` bigint(20) DEFAULT NULL,
  `kulkutapa` bigint(20) DEFAULT NULL,
  `versuh` bigint(20) DEFAULT NULL,
  `valmas` bigint(20) DEFAULT NULL,
  `suunta` bigint(20) DEFAULT NULL,
  `pituus` bigint(20) DEFAULT NULL,
  `syntyhetki` varchar(8) DEFAULT NULL,
  `kuolhetki` varchar(8) DEFAULT NULL,
  `g` geometry NOT NULL,
  SPATIAL KEY `g` (`g`),
  KEY `name` (`name`)
)

Projektin scopeen hyväksytyt tehtävät

Riskien taklailua ennen varsinaista aloittamista, 25.3.2014 mennessä
TESTAA QGIS API http://plugins.qgis.org/plugins/GeoCoding/, Pekka
- Tämä vaatisi tuon QGIS:n plugin puukottamista, katsotaan ehdinkö sitä tekemään
KIRJOITA books.okf.fi manuaalin versio http://books.okf.fi/geocoder/ , jossa http://pad.okfn.org/p/geocoder tiedot. KOMMENTOI puutteet. Tomi
SELVITÄ lisenssimerkinnät, Jaakko
AVAA api.okf.fi Apacheen, Mikael
DOKUMENTOI SQL schema, Mikael
OK VARAA kickoff, Jaakko http://doodle.com/wax5ku7c5p8mc3z9
OK SELVITÄ seuraavan datademon alkamispäivä Seuraava Datademo-kierros ajoittuu tämänhetkisen suunnitelman mukaisesti kevätkesän vaihteeseen ja kolmas kierros syksylle.

Esivalmistelu VALMISTELE 10min omien materiaalien esittely, kickoffiin mennessä
OK MATERIAALIT serverille tai muuten jakoon, Mikael
MATERIAALIT serverille tai muuten jakoon, Pekka
MATERIAALIT serverille tai muuten jakoon, Tuukka
MATERIAALIT books.okf.fi:hin, books-käyttöopastusdemo, Tomi



VARAA julkaisutilaisuus, Jaakko

Toteutus, KIRJOITA alle työkysymyksiä!
KÄÄNNÄ API Pythonille
TOTEUTA komentorivityökalu
TOTEUTA API
PÄIVITÄ tietokantaschema
PÄIVITÄ koodiin lisenssimerkintä EUPL "jaakkoselvittäämitälaitetaan?", Mikael
PÄIVITÄ aineistoon lisenssimerkintä CC4 "jaakkoselvittäämitälaitetaan?", Mikael
KOMMENTOI issueita https://github.com/rekola/geocoder/issues
LUONNOSTELE tiedote, Jaakko
DOKUMENTOI
Jakaisin dokumentaatiota useampaan osaan:
    1) Yleinen johdanto (mikä Geocoder yleensä on, tärkeimpiä terminologisia selityksiä)
    2) Ei-teknisen käyttäjän ohjeet (miten epätekninen käyttäjä voi käyttää Geocoderia, onko se QGIS?)
    3) API:n kuvaus koodaajille (mahdollisesti esimerkkinä vaikka WordPress Plugin PHP:llä)
    4) Asennusohjeet ylläpitäjille
TÄYDENNÄ books.okf.fi manuaalia kommenttien perusteella. Mikael, Tuukka, Pekka

DEADLINE 10.6.
Seuraava Datademo-kierros ajoittuu tämänhetkisen suunnitelman mukaisesti kevätkesän vaihteeseen ja kolmas kierros syksylle.

Toteutuksen jälkeen
KIRJOITA books.okf.fi manuaali puhtaaksi, Tomi
Laitoin tuonne: http://books.okf.fi/geocoder/

Julkaisutilaisuudessa ennen seuraavan datademon alkamista

Projektin scopen ulkopuolelle jää

Kehitysroadmapille kandidaatteja
HÄKÄTÄÄN kimpassa Python-APIn ympäristö
Postgre tarve irrallinen moduuli
  1. Google places API vastaavuus. Mikael mitä tässä tulee lisäksi? Selvitetään
    1. Suggestions API (jätetään pois) Oliko HSL navigaattorissa JS suggestions? Niillä on oma JS kirjasto, joka käyttää Places API:a, eli riittää, että toteutetaan Places Tuukka testaatko palikan toimivuuden, onko jaettu jostain erikseen uudelleenkäytettävänä?
    2. Point Of Intrest suggestions Tulee mukana Places API:ssa Saadaanko joku POI database?
    3. Javascript library (jätetään pois) Oliko HSL navigaattorissa JS lib? Niillä on joku oma ratkaisu, ei tarvi JS kirjastoa.
  2. QGIS export
    1. Onko visualisointi- tms. työkaluja jolla datasta pääsee etsimään virheitä ja epäharmonisuuksia, miten niitä korjataan käsin jos master datasta ajetaan päivitys kuukausittain?
    2. JS komponentti, Places-yhteensopivia JS-komponentteja löytynee
    3. Wordpress-plugin.  Webbisivujen kehittäjänä, tarvitsen valmiiksi paketoidun tavan lisätä  omalle sivulleni geolokaation selvitystä osoitteen avulla tai osoitteen  selvitystä geolokaation avulla.
    4. Oma taustakartta. Datan hyödyntäjänä, otan mielelläni käyttöön useamman datasetin esitestatusta paketista. (vaikka ei olisi samassa kapasiteetissa)
    5. Kuntarajat  visualisoituna. Datan visualisoijana, haluan että visualisointini voi  vaihtaa helposti postinumeroalueista kuntarajoihin.
    6. Kaupunginaluerajat.  Kaupunkikohtaisen datan visualisoijana, haluan että visualisointini voi  vaihtaa helposti postinumeroalueista kaupunginosarajoihin.
    7. Vaalialuerajat  visualisoituna. Vaalidatan visualisoijana, haluan että visualisointini  voi vaihtaa helposti postinumeroalueista vaalialuerajoihin.
    8. Muiden  kaupunkien osoitedatan liittäminen. Muun kaupungin kun helsingin  datojen käsittelijänä, on kiva että minun itse omassa kaupungissa  keräämät datat voi liittää palveluun.
    9. VRK osoitedatan liittäminen. Palvelun datan laatuun liittyvien kysymysten vastaajana, minusta on huojentavaa jos päästään päivittämään osoitedatan laatua dramaattisesti.
    10. Palvelun nopeuden optimointi. Palvelun sysadminina, minusta on siistiä jos palvelu on nopeampi kun kaverilla.
    11. Fuzzy search


    Tuotteen kuvaus
    Geokoodaaja tarjoaa osoitteen geokoodauksen geolokaatioksi, ja geolokaation koodauksen osoiteeksi.
    Postinumeroaluevisualisointi käyttää geokooderia postinumeroalueiden projisoimiseen kartalle. Ei käytä!
    Koodit on julkaistu avoimesti Githubissa EUPL-lisensoituna. 

    Palvelun kuvaus
    Palvelu tarjoaa osoitteet koordinaatteina, ja koordinaatit osoitteina, sekä edellisten dataan perustuen postinumeroaluejaon visualisoituna kartalle.
    Palvelun käyttö on veloituksetonta ja pääsy ympäristöön avointa OKF-FI jäsenille. Datat on kokonaisuudessaan ladattavissa opendefinition.org mukaisesti avoimella lisenssillä. Palvelussa ei ole tehty palvelutasolupausta. Palvelu ja sisältö tarjotaan as-is.

    Projektin lopputulokset
    Alkuperäinen lupaus: https://trello.com/c/JqBdRy47/28-avoin-osoitetietopalvelu-jalostusalgoritmit-ja-jalostettu-avoin-data:
    ###Toteutetaan osoite- ja paikkatietodatan jalostuspalvelu sekä kuukausittain päivittyvä postinumeroaluekartta: Avoimen datan sovelluksen kehittäjänä, tarvitsen avoimet osoitetiedot jalostetussa, luotettavassa ja ajantasaisessa muodossa. 
    Nykyisin yleisin ratkaisu niin avoimissa kuin suljetuissa palveluissa on käyttää Googlen osoiterajapintaa, jonka tiedot ovat kaupunkien osoitetietoja epätarkempia ja jonka lisenssi on suljettu ja kieltää mm. muiden karttapohjien käytön.
    ![kuva](https://scontent-b.xx.fbcdn.net/hphotos-prn1/t31/q79/s720x720/1077260_10202534730603232_1973867873_o.jpg)
    Jatkokehitetään Googlen rajapintamuodon kanssa yhteensopivaa, avointa rajapintapalvelua ja ylläpitoskriptejä, joilla data saadaan päivitettyä kuukausittain, jalostettua ja rikastettua uudestaan, julkaistua http://data.okf.fi/console/ -palvelussa, ja hyödynnetään Pekka Sarkolan kehittämää algoritmiä jolla projisoidaan karttakerrokselle postinumeroiden aluejakomateriaali koko Suomen kattavana. 
    Avoimen osoitetiedon jalostusalgoritmit julkaistaan Githubissa ja ja jalostettu avoin data http://data.okf.fi -palvelussa.
    ***Osallistujan nimi ja tiedot:*** 
    Jaakko Korhonen, Mikael Rekola, Tuukka Hastrup, Pekka Sarkola, 
    ***Datalähteet:*** 
    Maanmittauslaitoksen avoin aineisto Tiestö ja osoitteet
    Itellan osoite- ja postitoimipaikkatieto
    Pääkaupunkiseudun seudullinen osoiteluettelo
    OpenStreetMapin osoitetiedot
    Helsingin kaupungin paikkatietoaineisto
    ***Kaupallisuus:***
    Tulokset julkaistaan githubissa ja jaellaan OKF palveluissa avoimessa ja uudelleenkäytettävässä muodossa.
    ***Lisenssi ja käyttöehdot:***
    Koodit EUPL.
    Content CC4.
    ***Linkit:*** 
    https://www.facebook.com/photo.php?fbid=10202534730603232&set=gm.211958242327874
    http://data.okf.fi/console/, http://data.okf.fi/



    Onko totta, että tähän voi lisätä tekstiä?
    15.1.2017 ainakin voi.