Porin karhureitti gatewayn asennus Tammen tilalle 4.6 ja 21.7

Viime päivityksestä Porin karhureitti iot(Internet Of Things)-kokeiluun liittyen on kulunut jo tovi. Heti alkuun on todettava iso kiitos Markolle että saatiin gateway lopulta toimimaan.

Tässä on kuvia parista viime käyntikerrasta 4.6 ja 21.7

Vihreä boxi ’Muumitalon’ yläkerrassa ja boxista ulostuleva LoraWAN-antenni
4G-reititin ja Draginon LoraWan-Gateway
Draginon hallintapaneeli, The Things Network V3 :n vaatimat muutokset oletuksiin (ServiceProvider ja Server Address) . Wifi kytkettiin pois myös Draginosta, toistaiseksi turhana.

Tämän asennuksen tekemiseen tarvittiin seuraavat tarvikkeet:

  • Draginon LoraWAN-gateway-laite (uusimalla firmwarella päivitettynä)
  • Virtakaapelia kahdella pistokkeella
  • Verkkokaapelia
  • Antennikaapelia LoraWAN-antennia varten
  • GSM-antennin ulkokuori jonka sisukset vaihdettu
    • vaihtoehtoisesti voisi olla vaikka 3/4-tuuman PVC-putkea suojaputkeksi antennille tai ns. sähköputkea
  • 4G-reititin
  • 4G-sim (esim. Elisan laitenetti S)
    • tälle ilmeisesti saisi julkisen IP:nkin jos haluttaisiin
  • Metallinen kaappi esim. Ikean Lixhult
  • Ruuvi (lukoksi)

1. käyntikerralla kaikki näytti hyvältä kunnes ’jokin’ vielä tuntematon seikka aiheutti sen että n. 1 h käytön jälkeen gateway:ta ei enää näkynyt. Se oli tod.näk. bootti-loopissa. Juurisyytä ei helposti paikan päällä löytynyt ja päätimme että vaihdetaan uuteen gatewayhyn (sama malli) jota on onnistuneesti käytetty jo jonkin aikaa V3:lla (tänä vuonna julkaistu uusi API-versio The Things Networkista).

Lopulta Marko kävi vaihtamassa uuden gatewayn 21.7, pitkän testauksen jälkeen, joka näkyy nyt myös ttnmapperilla (V3-gatewayt tulivat näkyviin vasta heinäkuussa):

Kuvassa kolmos-ikonilla merkitty ’tammenleirikeskusv3’-LoraWAN-gateway. Kuvakaappaus otettu https://ttnmapper.org/ [2.8.2021]

https://ttnmapper.org/

Seuraavaksi vuorossa on kävijälaskuri- ja halkovarasto-mittauslaitteiden asennukset Hiivaniemeen, sekä niiden datan näyttäminen esim. hacklabin verkko-sivuilla.

Kävijälaskurin asennusta varten ajattelimme tehdä siihen yhdistetyn kävelyretki- ja grillailu-tapahtuman Silokalliosta (isompi parkkipaikka) tai Rekitaipaleenjärveltä Hiivaniemeen ja takaisin (n. 5 km) . Tästä asennus, grillailu ja patikointi-tapahtumasta ilmoitetaan tarkemmin Satkyn sivuilla.

Porin karhureitti iot-kokeilun 2. maastokäynti

Pari hacklabin jäsentä kävi tekemässä 2. maastokäynnin liittyen Porin karhureitin iot-kokeiluun 27.4. Nyt vuorossa oli Hiivaniemen taukopaikka

Pari hacklabin jäsentä kävi tekemässä 2. maastokäynnin liittyen Porin karhureitin iot-kokeiluun 27.4. Nyt vuorossa oli Hiivaniemen taukopaikka sekä Rekitaipaleenjärven taukopaikka Joutsijärvellä.

Sää oli iltapäivällä epäilyttävän keväinen tosin aika viileä, mutta paluumatkalla sumuksi luultu ilman sakeneminen järven yllä osoittatuikin pian lumipyryksi. 🙂 Eli sää oli lähes vastaava kuin 1. kerralla. Tällä kertaa matkalla olivat vain Marko ja Santeri.

Valkoista sumua..

Maastokäynti osoittautui onnistuneeksi, eväät olivat tosin aika kevyet mutta olipa niitäkin matkassa. 1. kerrasta oppineena päätimme siirtää siirrettävän Lorawan-tukiaseman eli gatewayn mahdollisimman lähelle suunniteltua pysyvämpää paikkaa Tammen Tilan vanhassa päärakennuksessa korkean mäen päällä.

Siirrettävän gatewayn uusi sijainti

Hiivaniemessä käynti oli päätavoite. Toinen lisätavoite mahd. myöhempää tarvetta varten kävelimme Rekitaipaleenjärven taukopaikalle myös, koska se oli autojen pysäköintikohdan tuntumassa.

Hiivaniemen puuvaja n. 2m x 2,5m x 1,75m
Dataa reitiltä lähde:ttnmapper.org

Näiden lisäksi matkan varrella oli yksi kävijälaskurikokeilulle otollinen pieni silta.

Kävijälaskuri jollakin anturitekniikalla tähän?

Eli seuraavat vaiheet kokeilussa liittyvätkin polttopuuvarasto mittarin suunnitteluun ja protoiluun sekä Tammen tilalle asennettavan loraWAN Gatewayn asentamiseen. Niistä tosin kuullaan vasta viikkojen päästä johtuen osittain hankinta ja toimitussyistä… Eli niistä kuullaan tuonnempana..

Porin karhureitti iot-kokeilu alkaa

Pori-Hacklab sekä Porin Kaupungin Luontopaja on ottanut kirjaimellisesti ensiaskeleet lumisissa tunnelmissa Tammen tilalla iot-kokeilussa. Kokeilun tavoitteena saada oppia iot-tekniikasta erityisesti LoraWAN:a käyttävästä tekniikasta sekä tarjottua samalla jotain lisäarvoa ainakin reitin palveluita ylläpitäville.

Pori-Hacklab sekä Porin Kaupungin Luontopaja ovat ottaneet kirjaimellisesti ensiaskeleet lumisissa tunnelmissa Tammen tilalla iot-kokeilussa. Kokeilu alkoi siis muutama viikko sitten. Kokeilun tavoitteena saada oppia iot-tekniikasta erityisesti LoraWAN:a käyttävästä tekniikasta sekä tarjottua samalla jotain lisäarvoa ainakin reitin palveluita ylläpitäville.

Kokeilua voi seurata ja siihen ottaa osaa Satkyn github sivuilta sekä hacklabin slack-kanavalta #porinkarhureitti-iot-kokeilu. Kokeilu päätettiin rajata alueellisesti Tammen Tilan lähellä oleviin Porin karhureitin kohteisiin (I) Hiivaniemi, (II) Siltainsuo ja mahdollisesti (III) Pitkäniemi. Kokeilun aikana mahdollisesti tehdään kenttätestausretkiä muuallekin Porin karhureitillä, esim. Joutsijärven pohjoispuolelle.


Tässä tunnelmakuvia reissusta 9.4.

Sähköistetty rakennus, jonka yläkertaan TheThingsNetwork(tm)-Gateway tarkoitus asentaa

Valopaistaa lautojen välistä. Jee.
Yläkerrasta tehty löytö: ”Valo paistaa lautojen välistä. Jee!”
Markon testi-gateway eli TTN-gateway ja 62 ampeerin akku suojattuna hyvästä syystä. Hätäseis-painikekin löytyi.

Työnjako sopi hyvin mielestäni, Mikko ryhmänjohtajana, Marko (kuvassa kelta-takkinen) valmisteli ja testasi edeltävänä päivänä testausvälineet ja itse toimein kuorma-muulina.

Patikoinnin aikana Marko seurasi ttnmapper:lla että dataa tulee. Pienen patikoinnin päätteeeksi saavuimme Siltainsuolle puuvajan luokse.

Tänne olisi tarkoitus saada klapi-anturi lähettämään dataa Tammen tilan gateway:lle

Siltainsuolla juotiin Markon keittämät kahvit ja päätettiin vielä tarkistaa signaalit lähimmälle huoltotielle, johon pääsee autolla (ao. kuvassa läntisin mittauspiste).

Kuvakaappaus ttnmapper.org sivulta saatavasta mittausdatasta. Huom! Kuvassa näkyvä väliaikainen Tammen tilan TTN-gateway (punainen ikoni) katoaa huhtikuun aikana palvelusta, jolloin URL tod.näk. lakkaa toimimasta myös.

Signaali-mittausdataa käytiin läpi ja todettiin että eri SpreadingFactor-arvoilla esim. kuvassa näkyvä mittapiste oli SF8 ns. toiseksi vähiten virheitä sietävä.

Eli kenttämittaus antoi ns. vihreää valoa suunnitelmille asentaa Tammen tilalle Gateway.

Seuraavat vaiheet kokeilussa ovat

  • Asentaa Tammen tilalle LoraWAN (TTN) gateway
  • Tehdä kenttämittausretki Hiivaniemeen samalla kolmikolla (Tammen tilan sisälle asennettua Gatewayta ei tähän tarvita välttämättä)
  • Suunnitella kohteeseen soveltuva painoanturi klapeille
  • Asentaa 1. painoanturi Luontopajan kanssa
  • Suunnitella kohteeseen soveltuvia ratkaisuja kävijälaskureille
  • Asentaa 1. kävijälaskuri Luontopajan kanssa

Eritoten liittyen kävijälaskureihin vielä sananen. Yksityisyyden suoja tulee pysymään hyvänä syystä että TTN-verkko on turvallinen ja antureilla ei haluta identifioida henkilöitä esim. bluetooth-MAC-, kuva- tai ääni-perusteisesti. Pelkästään teknisesti ajateltuna, kaikkiin edellä mainittuihin tunnistustapoihin liittyy mittalaitteen akun kestoa huonontava ongelma, joka puolestaan on LPWAN-teknologian periaatetta vastaan. LoraWAN on siis LPWAN-teknologia, jossa tärkeänä osana on akunkeston maksimointi. Tämä toki johtaa siihen että kävijälaskurien arvot sisältävät lähtökohtaisesti epätarkkuutta, toisaalta voidaan saada tietoa kävijämääristä ainakin kohtuullisella tarkuudella aiempaan nähden.

Kokeilussa on jo päätetty että mitään arkaluonteista dataa ei edes haluta käsitellä. Päinvastoin tiedon jota käsitellään oletetaan sekä halutaan olevan avointa ja saavutettavissa olevaa tietoa.

Tämän ensimmäisen käynnin aikana tuli muutamia ideoita mihin muuallekin tätä voisi vielä hyödyntää… Mutta edetään kokeilu kerrallaan … ja tämä kokeilu on vasta alkanut, töyssyjäkin saattaa olla luvassa poluilla liukastelun lisäksi.

Lämpötila-paineanturi + TTN + Pipedream + Google Sheet + WordPress

Kokeilussa tavoitteena saada ns. heatmap-tieto (Google Sheet) mittalaitteelta LoraWAN-verkon avulla (The things network) yhdistämällä laitedata Pipedream-palvelun avulla

Kokeilussa tavoitteena saada ns. heatmap-tieto (Google Sheet) mittalaitteelta LoraWAN-verkon avulla (The things network) yhdistämällä laitedata Pipedream-palvelun avulla:

(Tässä demossa google sheet on upotettu iframe-tekniikalla. WordPress-käyttäjän tulee osata määrittää iframe-elementtiin lisäksi width ja height.)

Koko ketjusta ja ehkä itseäni eniten haastaneesta filosofiasta ”ohjelmoinnin demokratisointi” myöhemmin lisää. Todetaan heti että tähän pisteeseen päätymiseen meni muutama ehtoo ainakin allekirjoittaneella. HeatMap-idea tuli Hacklabin ulkopuolelta kävijälaskuri-ideasta Kyläsaaren kyläyhdistykseltä, tässä demossa tavallaan pykälää monimutkaisempi ”laskuridata” ehdon kera. Sovellutusideat sekä Lorawan- ja TTN-perehdytykset tulivat Marko Kauppiselta, iso kiitos kipinän luomisesta itselle uutta aihetta kohtaan. Markolta tuli siis myös laitteet jota tässä demossa hyödynnettiin, lyhyesti siis suurin työ koko kokeilusta. Itse keskityin ainoastaan softa-puoleen.

Melko varmasti tulee muitakin demoja lisää. Mutta ensin tämä demo tullaan palastelemaan paremmin…

Hacklab virtuaalimiittiin muutoksia 1.4. alkaen

Moi,

Joulukuun lopussa 2020 käytiin keskustelua sähköpostilistalla ( https://pori.hacklab.fi/wordpress/?p=884 ) palaveri-alustojen kokeiluista kuten Google Meet, Jitsi, Mumble.

Eipä huomattu helmikuussa kun päätettiin että muutetaan aika kauan perinteenä ollutta aloitus-aikaa klo 18:sta klo 19:een. Näin päätettiin kuitenkin tehdä säännöllisesti osallistuneiden kanssa. Muutoksia osallistujamäärissä ei juurikaan tapahtunut.

Sähköposti-keskustelussa tuli esiin että voitaisiin isojen toimijoiden palaveri-alustojen lisäksi kokeilla jotain muuta.

Lähdimme Google Meetillä liikenteeseen nyt kokeilu tulossa päätökseen. Googlehan ilmoitti että google meet on ainakin 2021 maaliskuun loppuun asti ilmainen.

Google Meet osoittautui helpoksi liittyä ohjelmistojen ja laitteiden puolesta mutta ’guest’- eli avoin-liittyminen ei ollut helppoa. Se vaati että paikalla oli aina joku ’päästämässä’ sisään. Google Meet:ä käytettiin 2020 Satkyn Kevät-/Syyskokouksessa ja sellaisessa käytössä se toimiikin ihan ok.

Seuraavaksi Mumble – tätä Atte olikin testauttanut muutamilla – tai Jitsi seuraa Hacklabin tapahtumat sivua johon laitetaan miittiin liittymisohjeet

22.1.2021 Hacklab ilta

Päätimme että järjestämme hacklab-aiheisen illan tammikuussa. Muutama aktiivinen hacklabillainen toivoi aiheiseksi kahta asiaa:

  1. Pori Hacklab saitin wordpress, päivitys ja uudelleen järjestelyjä.
  2. The thingsnetwork (Lorawan) Gateway ja End node kokeiluja eri dashboard palveluilla, eli iot-kokeiluja.

Tilaisuus on jäsenille avoin Tilaisuudessa syötävää ja juotavaa siksi toivomme ennakkoon ilmoittautumista

https://tapaaminen.net/s/t1ukiu-hacklab-paja-hacklabin-nettisivujen-paivitys-lorawan-dashboard-iot-kokeilut

Mikäli tilaisuuteen on halukkaita osallistujia enemmän kuin 10 ( nyk. alueen korona-suositus) voimme järjestää vastaavan tilaisuuden myöhemmin.

Päivitys: 19.1. tapahtuma-ajankohtaa päivitetty 22.1 perjantaille, koska ilmoittautujille tuli este 20.1.

https + nodejs + heroku -> pulljson.com

Tänään tuli edistettyä taas hiukan tuota tekemääni pulljson.com palvelua.

Palvelua olen lähinnä tehnyt itseäni varten jotta voin yksinkertaisissa html+css+javascript web-sovelluksissa hakea tietoja toiselta verkkosivulta. Mielestäni tämä on aika perustavan laatuinen Internet-selaimista puuttuva ominaisuus. Nykypäivänä puhuttaessa API avoimuudesta niin yleensä ensimmäiset hipsterit jotka ovat tekemässä kokeilujaan jonkun käyttämänsä palvelun parantamiseksi , useimmiten vain itselleen, törmäävät juurikin tähän ettei ko. palvelu tarjoa API:a vaan esim. oma / muu data on ’louhittava’ sivulta itse.

Louhintatyökaluja olen pulljson.com:ssa myös joitakin eritellyt mutta mainitaan tässä ehkä yleisimmät itse käyttämäni:

  1. Työ alkaa yleensä tarkistamalla esim. Chrome-selaimen Developer Tools:n Network seuraten käyttääkö sivu itse jotain tausta palvelua API:a jota itse voisin käyttää
  2. python urllib2 / requests
  3. wget / curl / selaimen osoiterivi / httpie
  4. nightmarejs/electron (electron on headless-tyyppinen chromiumiin perustuva selain jota ohjelmoidaan javascriptilla)
  5. phantomjs (headless-tyyppinen webkit:iin perustuva selain jota ohjelmoidaan javascriptillä)

Yllä olevista vielä mainittakoon se että esim. ASP.net sovellusten login, jossa tapahtuu redirect:a session-key asettelua ja sokerina view-statea-javascripteja navigointi nappuloiden takana, tappaa kuta kuinkin kaikki ei-selain pohjaiset lähestymisyritykset wget, curl, httplib2 jne. Tällöin kohdan esim. kohtien 4 ja 5 keinoja tarvitaan, mikäli kyseessä jatkuvaa datan louhintaa. Tälläiseen törmäsimme kollegani Jounin kanssa koodatessamme hattiwatti.js ää .

No tosiaan tänään tarkoituksenani oli kokeilla ilmaisen https sertifikaatin asentamista tähän ”scrape”-palveluuni (http://pulljson.com) joka pyörii herokussa (https://html-to-json.herokuapp.com/).

Lopputulos muutaman tunnin github:n koodieditorilla pakertamisen ja epämääräisten googletusten jälkeen oli myönnettävä että ilmaiseksi ei saa ihan kaikkea. Vaan siitä pitäisi sitten maksaa esim. 8 dollaria kuussa (1. maksullinen hobby-taso) jos haluaa tuon saada herokussa toimimaan oman domainin kanssa.

No sinällään olin tyytyväinen että sain pidettyä toisen osan scrape-palvelustani toimimassa jquery/css-tyypiseen hakuun perustuva palvelu on suht. ok toiminutkin – mitä nyt lounaspori Android sovellus on ollut tovin päivittämättä eli toimimatta, joka näyttää kuta kuinkin tältä : http://santeriv.github.io/lounaspori/ (kirjoitus hetkellä Ravintola Sofia on ainoa jonka pulljson.com:n kautta tehty scrape vielä toimii).

Lisäksi olin tyytyväinen löytäessäni heroku-instansseihin keinon asentaa phantomjs jota 2. keskeneräiseksi jäänyt palveluni vaatii.

Esimerkki kutsu uudesta palvelusta, jolla voi siis hakea base64 formaatissa kuvakaappauksen selaimelta joltain sivulta – tässä kohtaa pori hacklab:n google calendar print preview sivulta:

https://pulljson.com/snapshot?site=https://calendar.google.com/calendar/print_preview?dates=20160820%2F20161031&hl=fi&ctz=Europe%2FHelsinki&pgsz=letter&wkst=2&mode=AGENDA&src=stkf8hlcbcs3iht3ngk630lomc%40group.calendar.google.com

eli tyyliin näin:

http://pulljson.com/snapshot?site=http://yourdomain.fi

ja paluuviestistä voit vaikka kokeilla kopioida ’kuva’ sivun loppuun asti ilman ” merkkejä

data:image/png.......Jotainmerkkejäennenlainausmerkkiinastimutteilainausmerkkiäeihän

Tämän jälkeen kun olet kopioinut leikepöydälle tämän ”kuvan” voit kokeilla katsella sitä esim. liittämällä leikepöydän sisällön selaimen osoiteriville ja painamalle enter

(toim.huom. mobilistit jompi kumpi kuitenkin tukehtuu joko selain tai leikepöydän muisti 🙂 siksi ohjeessa ”enter” eikä mitään sormella huitomis copy-paste-ohjeita tässä)

Jatka lukemista ”https + nodejs + heroku -> pulljson.com”