https + nodejs + heroku -> pulljson.com

Tänään tuli edistettyä taas hiukan tuota tekemääni pulljson.com palvelua.

Palvelua olen lähinnä tehnyt itseäni varten jotta voin yksinkertaisissa html+css+javascript web-sovelluksissa hakea tietoja toiselta verkkosivulta. Mielestäni tämä on aika perustavan laatuinen Internet-selaimista puuttuva ominaisuus. Nykypäivänä puhuttaessa API avoimuudesta niin yleensä ensimmäiset hipsterit jotka ovat tekemässä kokeilujaan jonkun käyttämänsä palvelun parantamiseksi , useimmiten vain itselleen, törmäävät juurikin tähän ettei ko. palvelu tarjoa API:a vaan esim. oma / muu data on ’louhittava’ sivulta itse.

Louhintatyökaluja olen pulljson.com:ssa myös joitakin eritellyt mutta mainitaan tässä ehkä yleisimmät itse käyttämäni:

  1. Työ alkaa yleensä tarkistamalla esim. Chrome-selaimen Developer Tools:n Network seuraten käyttääkö sivu itse jotain tausta palvelua API:a jota itse voisin käyttää
  2. python urllib2 / requests
  3. wget / curl / selaimen osoiterivi / httpie
  4. nightmarejs/electron (electron on headless-tyyppinen chromiumiin perustuva selain jota ohjelmoidaan javascriptilla)
  5. phantomjs (headless-tyyppinen webkit:iin perustuva selain jota ohjelmoidaan javascriptillä)

Yllä olevista vielä mainittakoon se että esim. ASP.net sovellusten login, jossa tapahtuu redirect:a session-key asettelua ja sokerina view-statea-javascripteja navigointi nappuloiden takana, tappaa kuta kuinkin kaikki ei-selain pohjaiset lähestymisyritykset wget, curl, httplib2 jne. Tällöin kohdan esim. kohtien 4 ja 5 keinoja tarvitaan, mikäli kyseessä jatkuvaa datan louhintaa. Tälläiseen törmäsimme kollegani Jounin kanssa koodatessamme hattiwatti.js ää .

No tosiaan tänään tarkoituksenani oli kokeilla ilmaisen https sertifikaatin asentamista tähän ”scrape”-palveluuni (http://pulljson.com) joka pyörii herokussa (https://html-to-json.herokuapp.com/).

Lopputulos muutaman tunnin github:n koodieditorilla pakertamisen ja epämääräisten googletusten jälkeen oli myönnettävä että ilmaiseksi ei saa ihan kaikkea. Vaan siitä pitäisi sitten maksaa esim. 8 dollaria kuussa (1. maksullinen hobby-taso) jos haluaa tuon saada herokussa toimimaan oman domainin kanssa.

No sinällään olin tyytyväinen että sain pidettyä toisen osan scrape-palvelustani toimimassa jquery/css-tyypiseen hakuun perustuva palvelu on suht. ok toiminutkin – mitä nyt lounaspori Android sovellus on ollut tovin päivittämättä eli toimimatta, joka näyttää kuta kuinkin tältä : http://santeriv.github.io/lounaspori/ (kirjoitus hetkellä Ravintola Sofia on ainoa jonka pulljson.com:n kautta tehty scrape vielä toimii).

Lisäksi olin tyytyväinen löytäessäni heroku-instansseihin keinon asentaa phantomjs jota 2. keskeneräiseksi jäänyt palveluni vaatii.

Esimerkki kutsu uudesta palvelusta, jolla voi siis hakea base64 formaatissa kuvakaappauksen selaimelta joltain sivulta – tässä kohtaa pori hacklab:n google calendar print preview sivulta:

https://pulljson.com/snapshot?site=https://calendar.google.com/calendar/print_preview?dates=20160820%2F20161031&hl=fi&ctz=Europe%2FHelsinki&pgsz=letter&wkst=2&mode=AGENDA&src=stkf8hlcbcs3iht3ngk630lomc%40group.calendar.google.com

eli tyyliin näin:

http://pulljson.com/snapshot?site=http://yourdomain.fi

ja paluuviestistä voit vaikka kokeilla kopioida ’kuva’ sivun loppuun asti ilman ” merkkejä

data:image/png.......Jotainmerkkejäennenlainausmerkkiinastimutteilainausmerkkiäeihän

Tämän jälkeen kun olet kopioinut leikepöydälle tämän ”kuvan” voit kokeilla katsella sitä esim. liittämällä leikepöydän sisällön selaimen osoiteriville ja painamalle enter

(toim.huom. mobilistit jompi kumpi kuitenkin tukehtuu joko selain tai leikepöydän muisti 🙂 siksi ohjeessa ”enter” eikä mitään sormella huitomis copy-paste-ohjeita tässä)

Jatka lukemista ”https + nodejs + heroku -> pulljson.com”

Salkku elektroniikan kehitykseen

Huomio

Kaikki alkoi huomiosta, tarvittiin hacklabillä salkku, minkä avulla voin helpommin kehittää tai testailla sekä rakentaa protoja ja se sisältäisi lähes kaiken tarpeellisen.

Esimerkiksi salkku sulkee sisäänsä yhdessä projektissa tarvittavat osat ja hyllylle siirrettynä toimii aikakapselina, kunnes projektiin palataan seuraavassa tapaamisessa.

Käyttökohteena tällä hetkellä seuraavat kehitysalustat

  • Texas instruments LM120XL ( Wiki )
  • Raspberry Pi ( Wiki )
  • ESP8266 ( Wiki(eng) )
  • Koekytkentälevyn peruselektroniikka. ( Wiki )

Suunnittelu

Päätettiin että pika projektin voisi rakentaa Suomiareena 2016 tapahtuman kunniaksi ständillä näytettäväksi. Aikajara oli aika kireä ja laitteisto rakennettiin osista joita löytyi hacklabin jäsenistöstä, uusia ei tilattu aikarajan vuoksi, sekä haluttiin että salkku kuvastaa pikaisesti tehtyä käytännön läheistä ”ongelma-ratkaisu” tyyliä. (myöhemmin ehkä verhoillaan hienommaksi, ehkä ei)

Must have

Salkun pitää olla kohtuullisen helppo kuljettaa paikasta toiseen, eikä sen sisällä osat saa vaurioittaa toisiaan liikkumalla toisiaan vasten.

Sähköt ulkopuolelta, kassin sisällä vain alle ~ 12 V, eikä yli sen, koska osa piireistä hajoaa jo 15V kohdalla. Powerina on hyvä käyttää läppärin latureja joista tulee 19V (+- 10%).

Nice to have

  • Näyttö
  • kaijuttimet.
  • useita jännitelähtöjä (+5, +12, +3.3, -5, -12, 3.3)
  • säädettävä jännitelähtö
  • säädettävä virtalähtö

Toteutus

Porin Hacklabillä Otavankatu 3:ssa viikonloppuna, silloin kun aikaa löytyy. Valmis salkku tuodaan näytille Suomiareenaan meidän ständille.

Galleria

Päivitetään heti Suomiareenan päätyttyä.

Tekijätiimi

Hämäläinen Marko
Markula Atte

Kiitokset

Osien lahjoittajille
Yhteisökeskukselle tilojen vapaasta käyttömahdollisuudesta

Pori Hacklab miitti 1.3.2016

20160301_182530

Pori Hacklab kookoontuu edelleen vaikka omia tiloja ei ole käytettävänä tällä hetkellä.

Kahvia ja pullaa hyvin tää menee.

Vähän kaikesta tuli keskusteltua kuten Atten paikalle tuomista WiFillä toimivista releistä. Simo paikalle tuomasta softaradio tikusta. Santeri alkoi suunnitteleen uutta prototyyppiä Elisa Lompakko maksukortilleen. Joten autoin häntä vähän FreeCADin maailmaan.

Seuraavaksi tiistaina 15.3.2016 tapaaminen Panimoravintola Beer Hunter’s:ssa Antinkatu 11, 28100 Pori.

Porissa taidetaan muuttaa.

Kävin Atten kanssa äsken Yhteisökeskuksen tiedotustilaisuudessa kuuntelemassa mikä on kivitalon kohtalo. Tiedotuksesta jäi itselle muutama asia mieleen.

  1. Korjauksesta ei ole vielä päätetty.
  2. Ei kannata odottaa korjauksen valmistuvan tänä vuonna.
  3. Mahdollisuus olemassa, että kivitaloa ei korjata.
  4. Tavaroiden siirtäminen kivitalosta jäi vähän epäselväksi.
  5. Väistötiloja ehkä tarjotaan, ainakin varastoja.

Pessimistinä tuota listaa lukiessa ajattelen, että Pori Hacklab voi alkaa etsimään uusia tiloja. Ymmärrän, että uusien tilojen etsintä kaipaa kaikilta panostusta ehkä enemmän kuin henkilökohtaisesti on tarve. Toivon kuitenkin suurella sydämmellä, että toimintamme ei tämän takia lopu tai jää vain nörttien olut kesteiksi.

Toivon Atten tiedottavan paremmin miten saamme kaiken tavaran Kivitalon tiloista. Jos ymmärsin oikein muutto laatikoita tarjoaa Yhteisökeskus ja kevät siivous on suositeltavaa joten romulava tulee paikalle. Mitä tulee tuohon epäselvyyteen tavaroiden siirtämisestä itselle. Jos kivitaloon ei saa mennä miten pääsemme huoneeseen ja varastoomme käsiksi kantaaksemme tavaramme pois?

Onko se sitten niin, että 16.2.2016 keskustelemme asiasta paremmin?

Pori Hacklab miitti 2.2.2016 ei ole yhteisökeskuksella.

Valitettavasti vasta 10.2.2016 saamme tietää, mitä yhteisökeskuksen kivitalon vesivahingon kanssa on käynyt ja mitä toimenpiteitä tullaan tekemään.

Keskustelin tuossa Atten kanssa kun hän yhteisökeskuksella palaveeraamassa, mutta mitään päätöstä ei taida tänään vielä tapahtua. Atte kertoi, että Hacklabin tiloihin pystyy ainakin tällä hetkellä kulkemaan vaikka osa kivitalosta on suljettu.

Tiedotustilaisuus 10.2.2016 12:30 puutalossa, kuten Tapio jo eilen ilmoitti.

Pori Hacklab miitti ei ole 2.2.2016 ainakaan kivitalossa. Otetaan ehdotuksia vastaan missä tavattaisiin.

Pikkunen AVR-piirien fuse-resetointilaite

Aina sama juttu!

Meinaan tehdä laitteen pitkästä aikaa läpijuotoskomponenteilla. Jaa eipä löydy sitä eikä tätä, mut pintaliitoksena on…
Ja tulee korvattua lopulta kaikki osat pintaliitoksilla. Eikä sitä protolevyäkään viittisi paljoa tuhlata…
Lopputulos; pieni kuin mikä. Ja jos tulee vikaa, niin voivoi. Mutta tällä kertaa sentään onnistui!

Eli kyseinen laite nollaa AVR-piirien fuset, jos on vaikka vahingossa säätänyt ulkoiseen kelloon(jota ei löydy laatikosta).

http://homepage.hispeed.ch/peterfleury/avr-hvsp-fuse-restore.html

Itse tarvitsin sitä kun tein 8-bittisen Nintendon pelikasetteihin Attiny13-pohjautuvaa ”AVRCIC”-piiriä isompia määriä, ja väkisin jotkut niistä vaan ei toiminut millään.

12620943_10208348582581698_1715585093_o

Hacklab 19.1.2016 miitti

Tammikuun pakkasillakin saapuu Porin Hacklabiin porukkaa ja kaikki puuhaa jotain. Pari häkkeriä puuttu kuvista kun yks kävi naapuri kaupast hakee pullaa ja toinen kahvinkeittimen alakerran keittiöstä.

20160119_185346
20160119_185339
20160119_185342

Itsestäni en kuvia ota. 😉 Nyt on kahvi tippumassa ja kaikki puuhaa jotain ja keskustelu käy kovaa vauhtia. Minä kirjoitan tätä blogia ja toivottavasti kirjoittelen tästä lähtien tänne vähän enemmän juttuja.

Atte piirtää paperille. En mä vaan jaksais.

20160119_191154

Jotain piirilevy proggista.