Kirjoittaja Aihe: Jatkumon myyttinen tietokanta  (Luettu 6774 kertaa)

0 jäsentä ja 1 Vieras katselee tätä aihetta.

Poissa Lenny

  • Konkari
  • ***
  • Viestejä: 640
  • Ylläpitäjä
Jatkumon myyttinen tietokanta
« : Tammikuu 04, 2019, 14:39:31 »
Monet varmaan muistavat vielä tietokannan, jonka Juha jakoi kiireellä ennen fooruminsa sulkemista. Tämän arkeologisen aarreaitan ehtivät imuroimaan minun lisäkseni ainakin Jaska.

Kysessä on pakattu MySQL-tiedosto, ns. "dumppi", eli käytännössä valikoitu osa Jatkumo-foorumin tietokannasta. Siitä oli poistettu ainakin IP-osoitteet ja yksityisviestit. Tällainen dumppi yleensä otetaan kannasta silloin kun se halutaan varmistaan. Se on siis sellaisessa muodossa, että se voidaan lukea takaisin tietokantaan.

Tämänkin foorumin tietokannasta otetaan vastaava täysi dumppi joka yö.

Mitä sillä sitten voi tehdä? Kokonaista foorumia sillä ei voi rakentaa, koska siitä puuttuu vaikka mitä. Itse muunsin sen aluksi SQLite-muotoon ilmaistyökalulla, joka löytyy täältä: https://github.com/dumblob/mysql2sqlite

SQLite-muodossa kannan käsittely muuttuu helpommaksi, koska SQLite on hyvin yksikertainen: tietokanta tiedostona (vrt. MySQL, joka on hajautettu verkkopalvelu) ja sitten jokin sopiva ohjelma, jolla voi penkoa kantaa. SQLitebrowser on aika hyvä lähtökohta kannan tutkimiseen: https://sqlitebrowser.org/

Rakentelen parhaillaan hieman erikoistuneempaa työkalua, joka edelleen helpottaa tietojen hakemista. Katsotaan nyt miten se etenee, ehkä voisin esitellä sitä tänne jossakin välissä.

Olisi varmaan aika kiva jos kirjoittajat pääsisivät tutkimaan jonkinlaista arkistoa samaan tapaan kuin wanhalla näkökulmalla aikanaan?
(Humans) are large, expensive to maintain, difficult to manage, and they pollute the environment. It is astonishing that these devices continue to be manufactured and deployed.
-- Kaufmann, Perlman, Spenciner

Poissa Hayabusa

  • Kantapeikko
  • ****
  • Viestejä: 1253
Vs: Jatkumon myyttinen tietokanta
« Vastaus #1 : Tammikuu 04, 2019, 14:59:11 »
Ilmeisesti kanta oli ja meni? Viestit sinällään ei kiinnosta, mutta joskus voisi päissään ihmetellä millainen sekasotku tällaisen foorumin rakenne on.

Poissa Lenny

  • Konkari
  • ***
  • Viestejä: 640
  • Ylläpitäjä
Vs: Jatkumon myyttinen tietokanta
« Vastaus #2 : Tammikuu 04, 2019, 15:12:17 »
Ilmeisesti kanta oli ja meni? Viestit sinällään ei kiinnosta, mutta joskus voisi päissään ihmetellä millainen sekasotku tällaisen foorumin rakenne on.

Joo ei sitä enää saa mistään, paitsi jos jossakin vaiheessa laitan sen jonnekin. Mutta tämä ei ole foorumin kanta kokonaisuudessaan (joka toden totta on sekava), vaan ainoastaan viestitaulu.
(Humans) are large, expensive to maintain, difficult to manage, and they pollute the environment. It is astonishing that these devices continue to be manufactured and deployed.
-- Kaufmann, Perlman, Spenciner

Poissa Jaska

  • Konkari
  • ***
  • Viestejä: 803
  • Taivahan tosikko
Vs: Jatkumon myyttinen tietokanta
« Vastaus #3 : Tammikuu 04, 2019, 15:38:41 »

Keskustelua keskustelijoista ja keskustelijoista ketjussa kerrottiin 31.12. kello 14:50 keskustelujen tietokantadumpin ladanneiksi

1   Admin              1546090983   29.12.2018
2   Juha               1546091122   29.12.2018
170   Big Data Lenny     1546097911   29.12.2018
148   Hänen pyhyytensä   1546098721   29.12.2018
7   Jaska Jokunen      1546121854   30.12.2018
8   Kopek              1546260453   31.12.2018

Tämä valikoitu keskustelujen jako ("näkymä") ei kyllä ole sellaiseksi varmistukseksi tehty, että se voitaisiin mitenkään palauttaa toimivaksi keskustelufoorumiksi. Mutta minullakin toki pyörii mielessä, saisiko siitä järjestelyn, jolla voisi hakea halutus ehdot täyttävät viestit. socratesta kiusoitellen vaikkapa hibiscusin kaikkien inkarnaatioiden viestit, joissa esiintyy ´impotentti imbesilli´.

Lenny kertoo jo pyorittäneensä dataa sqllite-systeemillä. Sehän se oli johon Firefoxillakin on liitännäinen eikä MySQL.

Noin massiivisten tiedostojen muokkaaminen editorilla on erinomaisen haastavaa,
Taitaa olla niin, että kannattaa paloitella tekstitiedosto niin, että datat ovat ydessä tiedostossa, sitä edeltävä osa yhdessa ja jälkeinen yhdessä. Näin alkua ja loppua voi pieninä tiedostoina editoida normaalistija lopuksi taas yhdistää kolme tiedostoa yhdeksi.
« Viimeksi muokattu: Tammikuu 04, 2019, 17:12:47 kirjoittanut Jaska »

Poissa Jaska

  • Konkari
  • ***
  • Viestejä: 803
  • Taivahan tosikko
Vs: Jatkumon myyttinen tietokanta
« Vastaus #4 : Tammikuu 04, 2019, 15:48:43 »
Ilmeisesti kanta oli ja meni? Viestit sinällään ei kiinnosta, mutta joskus voisi päissään ihmetellä millainen sekasotku tällaisen foorumin rakenne on.
Jos tarkoitat taulujakoa, niin tällä foorumilla lienee juuri samanlainen. Uusinta en ole katsonut, mutta muistelen siellä muutamankymmentä tietokantataulua olevan. Tässä on yksi vanhentunut database schema:
https://digilander.libero.it/rudoka/stuff/smf_schema_11rc2.htm

Siinä Juhan jakamassa oli kaikki keskustelut kerättynä yhteen yhteiseen näkymään ("yhteen taulukkoon"). Tietoja oli kerätty siihen viestitekstirungon lisäksi mm. viestin otsikosta ja jäsenestä.
« Viimeksi muokattu: Tammikuu 04, 2019, 15:51:41 kirjoittanut Jaska »

Poissa Lenny

  • Konkari
  • ***
  • Viestejä: 640
  • Ylläpitäjä
Vs: Jatkumon myyttinen tietokanta
« Vastaus #5 : Tammikuu 04, 2019, 16:00:20 »
Lenny kertoo jo pyorittäneensä dataa sqllite-systeemillä. Sehän se oli johon Firefoxillakin on liitännäinen eikä MySQL.

No siinä taka-ajatuksena olikin että saisi selaimen käyttöliittymäksi. Löytyykö lisätietoa tuosta selainsysteemistä?
(Humans) are large, expensive to maintain, difficult to manage, and they pollute the environment. It is astonishing that these devices continue to be manufactured and deployed.
-- Kaufmann, Perlman, Spenciner

Poissa Hayabusa

  • Kantapeikko
  • ****
  • Viestejä: 1253
Vs: Jatkumon myyttinen tietokanta
« Vastaus #6 : Tammikuu 04, 2019, 16:02:40 »
^Kiitos! Eihän tuo mikään ERP ole, mutta ihan riittävän perverssi. Onneksi ei itse tarvitse koodata moista hässäkkää.  ;D

Olisi niin paljon kaikenlaista dataa mitä penkoa, ettei ehdi läheskään kaikkea mielenkiintoista kokeilla.

Poissa Jaska

  • Konkari
  • ***
  • Viestejä: 803
  • Taivahan tosikko
Vs: Jatkumon myyttinen tietokanta
« Vastaus #7 : Tammikuu 04, 2019, 17:03:33 »
Lenny kertoo jo pyorittäneensä dataa sqllite-systeemillä. Sehän se oli johon Firefoxillakin on liitännäinen eikä MySQL.

No siinä taka-ajatuksena olikin että saisi selaimen käyttöliittymäksi. Löytyykö lisätietoa tuosta selainsysteemistä?
Jossain aikaisemmassa koneessa minulla oli firefox-liitännäinen - en muista mikä enkä tarkkaan sen käyttöliittymää. Komentorivi siinä oli, johon sai kirjoittaa sql-lauseen suoritettavaksi ja puljattiin oman koneen tiedostossa olevaa kantaa. Muistaakseni copy/pastella jostain muistiinpanotiedostosta suoritettavien lauseiden runkoja poimin.

Näissä useampiakin liitännäisiä:https://addons.mozilla.org/en-US/firefox/search/?q=sqllite

Firefox käyttää itse relaatiokantaa.

https://developer.mozilla.org/en-US/docs/Mozilla/Tech/XPCOM/Storage

https://developer.mozilla.org/en-US/docs/Mozilla/Thunderbird/Thunderbird_extensions/HowTos/Common_Thunderbird_Extension_Techniques/Use_SQLite
« Viimeksi muokattu: Tammikuu 09, 2019, 16:55:36 kirjoittanut Jaska »

Poissa kertsi

  • Kantapeikko
  • ****
  • Viestejä: 2108
Vs: Jatkumon myyttinen tietokanta
« Vastaus #8 : Tammikuu 04, 2019, 17:08:54 »
Näkyykö siinä jatkumolta kopidussa tietokantadumpissa myös nuo Jaskan linkissä olevat smf_members-taulun (olio)attribuutit/sarakkeet, esimerkiksi password, secretQuestion, secretAnswer?

(tähän olikin vastaus jo aloituskirjoituksessa: Varmaan taulua smf_personal_messages ei ole mukana dumpissa?)
« Viimeksi muokattu: Tammikuu 04, 2019, 17:11:17 kirjoittanut kertsi »

Poissa Jaska

  • Konkari
  • ***
  • Viestejä: 803
  • Taivahan tosikko
Vs: Jatkumon myyttinen tietokanta
« Vastaus #9 : Tammikuu 04, 2019, 17:24:55 »
Näkyykö siinä jatkumolta kopidussa tietokantadumpissa myös nuo Jaskan linkissä olevat smf_members-taulun (olio)attribuutit/sarakkeet, esimerkiksi password, secretQuestion, secretAnswer?

(tähän olikin vastaus jo aloituskirjoituksessa: Varmaan taulua smf_personal_messages ei ole mukana dumpissa?)
Ei ole tietenkään yksityisviestejä. On ne kentät, jotka näytin täällä https://kantapaikka.net/index.php/topic,22.msg342.html#msg342  En näe mitään kyseenalaista ladattavaksi kerätyn tiedon valinnassa.

Poissa Herra

  • Administrator
  • Tulokas
  • *****
  • Viestejä: 30
    • Sähköposti: kantapaikanherra@gmail.com
Vs: Jatkumon myyttinen tietokanta
« Vastaus #10 : Tammikuu 04, 2019, 17:55:46 »
Poistin jäsen postmanin aiheeseen kuulumattoman ja täysin käsittämättömän viestin.

Poissa kertsi

  • Kantapeikko
  • ****
  • Viestejä: 2108
Vs: Jatkumon myyttinen tietokanta
« Vastaus #11 : Tammikuu 04, 2019, 18:26:41 »
Näkyykö siinä jatkumolta kopidussa tietokantadumpissa myös nuo Jaskan linkissä olevat smf_members-taulun (olio)attribuutit/sarakkeet, esimerkiksi password, secretQuestion, secretAnswer?
On ne kentät, jotka näytin täällä https://kantapaikka.net/index.php/topic,22.msg342.html#msg342  En näe mitään kyseenalaista ladattavaksi kerätyn tiedon valinnassa.
Meinaatko tosiaan, että dumpissa on vain yksi ainoa taulu, jmo_messages (vastannee smf_messages-taulua aiemmassa linkissäsi)? Eli pelkät viestit, eikä mitään käyttäjän tietoja paitsi jokin sisäinen id (ID_MEMBER eli smf_members-taulun primary key), siis pelkkä tunnus, mutta ei esimerkiksi käyttäjän nimeä (joka on yksi smf_members-taulun kenttä eli memberName).
« Viimeksi muokattu: Tammikuu 04, 2019, 18:30:50 kirjoittanut kertsi »

Poissa Vihervasemmisto

  • Kantapeikko
  • ****
  • Viestejä: 2146
  • Hänen pyhyytensä inkognito-tilassa
Vs: Jatkumon myyttinen tietokanta
« Vastaus #12 : Tammikuu 04, 2019, 18:43:17 »
Näkyykö siinä jatkumolta kopidussa tietokantadumpissa myös nuo Jaskan linkissä olevat smf_members-taulun (olio)attribuutit/sarakkeet, esimerkiksi password, secretQuestion, secretAnswer?
On ne kentät, jotka näytin täällä https://kantapaikka.net/index.php/topic,22.msg342.html#msg342  En näe mitään kyseenalaista ladattavaksi kerätyn tiedon valinnassa.
Meinaatko tosiaan, että dumpissa on vain yksi ainoa taulu, jmo_messages (vastannee smf_messages-taulua aiemmassa linkissäsi)? Eli pelkät viestit, eikä mitään käyttäjän tietoja paitsi jokin sisäinen id (ID_MEMBER eli smf_members-taulun primary key), siis pelkkä tunnus, mutta ei esimerkiksi käyttäjän nimeä (joka on yksi smf_members-taulun kenttä eli memberName).
Siellä on vain yksi taulu ja se on tuo viestit taulu. Pelkällä tunnuksella + foorumilla näkyvä nimi jos foorumilla oleva nimi on eri kuin tunnus. Sitten siinä on viesti + id numero + muiden taulujen id-numeroita + muutamia aikaleimoja
« Viimeksi muokattu: Tammikuu 04, 2019, 18:53:35 kirjoittanut Hänen pyhyytensä »

Poissa Jaska

  • Konkari
  • ***
  • Viestejä: 803
  • Taivahan tosikko
Vs: Jatkumon myyttinen tietokanta
« Vastaus #13 : Tammikuu 09, 2019, 17:39:21 »
Meinaatko tosiaan, että dumpissa on vain yksi ainoa taulu, jmo_messages (vastannee smf_messages-taulua aiemmassa linkissäsi)? Eli pelkät viestit, eikä mitään käyttäjän tietoja paitsi jokin sisäinen id (ID_MEMBER eli smf_members-taulun primary key), siis pelkkä tunnus, mutta ei esimerkiksi käyttäjän nimeä (joka on yksi smf_members-taulun kenttä eli memberName).
Julki panemastani siirtotiedoston alusta kävi ilmi taulun kenttien nimet ja muutamasta ensimmäisestä viestistä annetut tiedot. Muita tietokenttiö kannan datasta ei Juhan jaossa ole. Siinä ei esimerkiksi ole tietoja ketjusta (paitsi kussakin viestissä sen otsikko ja ketjun järjestysnumero), käyttäjien istunnoista, mihin saakka missökin ketjussa kukin käyttäjä on viestejä lukenut. Se ei ole mikään yksittäinen SMF-kantataulu vaan kannasta tehty poiminta.

En tunne, miten Juha toteutti Jatkumolla Kylki-liitännäisen, mutta minulle tuli mieleen, että tuollainen poiminta on voitu tehdä Kylkeä varten.

SMF:n salasanatekniikka on aiemmilla foorumeilla läpikäyty monta kertaa. Kantaan ei talleteta salasanoja sellaisenaan vaan niin kryptattuna ettei salasanaa pysty päättelemään. Käyttäjän antaessa salasanan tehdään vastaava kryptaus ja verrataan kryptausten tuloksia. Niin foorumin pitäjä ei pysty kertomaan sinulle unohtunutta salasanaa eikä kannan kaapannut hakkeri saa salasanoja selville. Pääset kuitenkin sähköpostitilillesi pyytämäsi viestin kautta itse vaihtamaan unohtuneen salasanan uuteen. Kantapaikan sähköpostin lähettämisessä jäsenille ei ole tiedossa ongelmia.
« Viimeksi muokattu: Tammikuu 09, 2019, 17:40:57 kirjoittanut Jaska »

Poissa kertsi

  • Kantapeikko
  • ****
  • Viestejä: 2108
Vs: Jatkumon myyttinen tietokanta
« Vastaus #14 : Tammikuu 09, 2019, 18:16:14 »
kiitti tiedosta