Digitaalisen levyarkiston eheyden varmentaminen

[Janne]

Terve,

ihan mielenkiinnosta kysyn ihmisiltä näkemyksiä siihen, miten onnistuu siirtyminen täydelliseen kovalevylle säilöttyyn digitaaliseen levyarkistoon ja sen jälkeen ripattujen CD-levyjen myyminen ilman pelkoa sisällönmenetyksestä. Jos nyt ihan äärimmilleen mennään niin voi laskea euromääräisesti kaikkien ripattujen levyjen arvon ja miettiä pitäisikö vuosittain viedä satojen gigatavujen varmennuskiintolevy pankkiholviin talteen.

Toisin sanoen, miten voit varmistaa ettei rippaamasi levyt:

• 1. Korruptoidu säilytyksen aikana pikku hiljaa huomaamattasi.
• 2. Tuhoudu kokonaan tai osittain levyrikon sattuessa.
• 3. Tuhoudu kokonaan tai osittain virtalähdevian, kahvien kaatumisen tai muun onnettomuuden hajottaessa tietokoneen/levypalvelimen kaikki kiintolevyt.

Itse en oikein "uskaltaisi" luottaa pelkästään omaan kovalevyarkistoon vielä, vaikka kaikki kovalevylle säilötty musiikki olisi kahdella kiintolevyllä. RAID:it auttaa jonnekin asti mutta ei ole minusta mikään lopullinen ratkaisu ilman manuaalista tai tarkoitukseen ohjelmoitua
varmennusmenettelyä. Ulkoisen kiintolevyn käyttäminen Backup-levynä joka säilytetään eri paikassa kuin varsinainen käyttökiintolevy on jo varmempi ratkaisu kuin kaksi levyä samassa koneessa.

Itse käytän menettelyä:

• 1. "Master" levyarkisto on normaalisti PC:llä jaoteltuina tiettyihin alakansioihin ja näistä alakansioista on
  tehtynä kansiokohtaiset .sfv tarkistussummat. Levyarkisto päivitty jatkuvasti, mutta .sfv tarkistussummia en aja uudestaan kuin määräajoin.
• 2. "Backup" levyarkisto on ulkoisella erillisellä kiintolevyllä sisältäen myös samat määräajoin päivitettävät .sfv tarkistussummat. Backup arkisto ei päivity kuin samaisin määräajoin.
• 3. Kun haluan tehdä backupin, ajan ensin .sfv tarkistusumman "Master" levyarkistosta, jotta voin todeta että kaikki viimeiseen backupiin tallennetut kansiot ovat edelleen kunnossa.
• 4. Sen jälkeen voin luoda uuden .sfv tarkistusumman kaikille "Master" arkiston kansioille eli myös viimeisen backupin jälkeen tehdyt lisäykset tulevat mukaan.
• 5. Nimeän Backup levyn arkiston nimellä "VANHA" enkä poista edellistä Backupia ennen kuin uusi backup on kokonaan valmis ja varmennettu .sfv summalla.
• 6. Kopioin "Master" arkiston kokonaisuudessaan "Backup" levylle.
• 7. Ajan .sfv tarkistussumman "Backup" levyltä jolla voin todeta että Backup onnistui.
• 8. Voin poistaa "VANHA" merkinnällä varustetun edellisen Backupin ja irrottaa ulkoisen kiintolevyn säilöön.

Muita huomioita:

Jos kohtaa 3. ei tekisi, voisi käydä niin että data pikkuhiljaa korruptoituu ja otan huomaamatta backupin korruptoituneesta datasta ja kirjoitan vanhan kunnossa olevan datan päälle.

Kohdan 3. ongelmatilanteissa kokeilisin tarkistusta uudestaan kopioimalla Backup levyn .sfv tiedoston tarkistusta varten ja lopulta tarvittaessa kopioisin "Backup" levyltä "Master" arkistoon ehjät tiedostot.

Jokaista levyä ripatessa käytän ja tarkistan EAC:n työkalua joka vertaa rippauksen onnistumista muiden käyttäjien rippausten tarkistussummien perusteella. Jokaisen uuden ripatun levyn kansioon teen vielä käsin erillisen .sfv tarkistusumman jonka avulla ongelmatilanteissa varmennus onnistuu myös.

Pienenä kehityskohteena on ollut ajatuksena tehdä tuosta .sfv tarkistussummien ajamisesta ja luomisesta jonkinlainen skripti/komentojono esim. DOS -battina. Ei ole vielä ollut aikaa toteuttamiseen ja tokihan esim. tiedostopalvelinsovelluksista löytyy jo valmiita toteutuksia automaattisten tarkistusten ajamiseen. Mikä lieneekään sitten nopein tapa edetä kotikäyttäjälle.

.sfv summien tekemiseen hyvä ja ilmainen työkalu on QuickSFV

www.quicksfv.org

Tämmöistä, ei se niin vain helppoa ollutkaan minulle tämä digiaika! Vie nimittäin pirusti aikaa noiden .sfv summien kanssa pelleily ja sen automatisointi luotettavasti on ainoa keino miten yllä kuvattua prosessia voisi toteuttaa ihan oikeasti, nythän toimin enemmän tai vähemmän "sample" periaatteella eli testaan muutaman kansion satunnaisesti että tiedän ettei varsinainen arkisto nyt ainakaan ihan kuralla ole.

Kommentoikaa toki onko helpompiakin teitä jos haluaa olla 100% varma levyarkistonsa digitaalisesta tulevaisuudesta.

 

[Alex]

Hei,

Miksi backupissa olevat tiedot pitäisi uudelleen back-upata?
Eikö riitä että sinne lisätyt tiedostot vain kopioidaan back-upille?

Levyarkisto on siitä erikoinen tapaus että se vain kasvaa, olemassa olevat tiedostot eivät muut, niihin ei pitäisi tulla minkäänlaisia muutoksia.

itse olen sen verran skeptinen että kaikki alkuperäiset levyt ovat (ja tulevat olemaan) arkistoituna lattikoihin. Tämä siis kaiken muun varmistuksen lisäksi. Tuo on se ultimate back-up. Olen myös harkinnut isojen kelanauhurikelojen käyttöä sellaisen materiaalin varmistukseen josta ei ole alkuperäisiä (esimerkiksi radio ohjelmat).

--

 

[Janne]

Tuo oli ihan hyvä pointti että ei ole järkeä kopioida kuin uudet kansiot. Käytännössä tuo pitäisi hoitaa skriptin keinoin, mutta käsin väkertäessä on helpompi laittaa kopiointiin koko arkisto ja lähteä sen jälkeen puuhastelemaan jotain ihan muuta. Yksi asia joka saattaa muuttua arkistossa on myös esim. kansioiden nimet, vaikka itse sisältö ei muutu. Siten pelkät muutokset kopioimalla Backup arkistossa saattakin olla kohta fyysisesti samoja levyjä kahdella eri kansionimellä. Jos haluaisi että automaattinen skripti osaisi varmentaa ja poistaa ne kansiot joiden nimet ovat muuttuneet ja kopioida ko. kansiot uudestaan uudella nimellä, ollaan jo pykälää mutkikkaammassa toteutuksessa.

Myös itse kopiointitapahtuma on siitä mielenkiintoinen, että Windows resurssienhallinta on äärimmäisen epäluotettava tapa kopioida kymmeniä tai satoja gigatavuja. Jos tulee mieleen ohjelmia joista pystyy seuraamaankin edistymistä ja mahdollisesti keskeyttämään/jatkamaan "kopiointijonoa" kertokaa ihmeessä. FTP-ohjelmat tämän toki osaavat mutta onko se ainoa keino?

 

[pasi]

Ihan vaan asian vierestä mainitsen: Suomen laki sanoo tällä hetkellä, että kopion alkuperäinen kappale pitää olla omistuksessä että kopio olisi laillinen. Eli jos mennään laillisia teitä pitkin, niin alkuperäiset CD:t laatikkoon sängyn alle jemmaan. Nehän toimivat backupin backuppina jos talon kiintsut kilahtaa.

 

[Janne]

Ihan vaan asian vierestä mainitsen: Suomen laki sanoo tällä hetkellä, että kopion alkuperäinen kappale pitää olla omistuksessä että kopio olisi laillinen. Eli jos mennään laillisia teitä pitkin, niin alkuperäiset CD:t laatikkoon sängyn alle jemmaan. Nehän toimivat backupin backuppina jos talon kiintsut kilahtaa.

Onkohan tuosta ihan viimeistä tulkintaa olemassa, että täytyykö alkuperäinen kopio todella olla fyysisesti omistuksessa laillisuuden takaamiseksi? Miten asian voi tulkita oikeudenmukaisesti, jos on levy ollut omistuksessa kopiointihetkellä mutta sen jälkeen levy on rikkoutunut, hävinnyt, varastettu tai annettu lahjaksi ystävälle? Minä ainakin tulkitsen niin että voin rauhassa napsia internetistä muiden tekemiä kopioita ko. tallenteesta, jos se tallenne löytyy omastakin levyhyllystä. Sitten jos ostan joku kaunis päivä internet-levykaupasta .wav muodossa musiikkia, en voi omistaa alkuperäistä kappaletta ja olen pakotettu tekemään useampia kopioita omistamatta fyysistä tallennetta.

Mutta mielellään sitä vielä itsekin nuo levyt jemmaa monestakin syystä

 

[Vuti]

Kommentoikaa toki onko helpompiakin teitä jos haluaa olla 100% varma levyarkistonsa digitaalisesta tulevaisuudesta. Smiley

Olen kytkenyt Time Machinen päälle ulkoisille FW800-levyille yhdellä klikkauksella. Ei kovin vaikeaa

 

[Janne]

Olen kytkenyt Time Machinen päälle ulkoisille FW800-levyille yhdellä klikkauksella. Ei kovin vaikeaa

Jos tätä Applen viritystä http://support.apple.com/kb/HT1427?viewlocale=fi_FI&locale=fi_FI tarkoitat, niin lainaus:

Jos vastaat myönteisesti, Time Machine huolehtii kaikesta automaattisesti taustalla. Sinun ei tarvitse enää koskaan huolehtia varmuuskopioinnista.

JOTENKIN en vain jaksa uskoa että tämä lause pitäisi 100% paikkansa...

Nyt kun Time Machine on asetettu, voit unohtaa sen, kunnes sinulla on tarvetta palauttaa tiedostoja, kansiota tai koko järjestelmä!

Kysymys kuuluukin: eikö Time Machine itse kerro, milloin on tarvetta palauttaa tiedostoja? Käyttääkö se tarkistussummia tarkistamaan että kaikki on edelleen 100% yhtä ehjiä kuin lokakuussa 2008, vai tulkitseeko se kenties tiedoston nimestä, koosta ja päiväyksestä? Kysehän oli nimenomaan siitä, ettei käyttäjä välttämättä tiedä että on tarve palauttaa jotakin ennen kuin on liian myöhäistä.

 

[pkosunen]

Jos tulee mieleen ohjelmia joista pystyy seuraamaankin edistymistä ja mahdollisesti keskeyttämään/jatkamaan "kopiointijonoa" kertokaa ihmeessä.

Windows Resource Kitin mukana tuleva robocopy on hyvä varmistukseen, mirror vivulla se myös poistaa hakemistoja ja osaa jatkaa kesketynyttä sessiota yms.. Microsoftin sivuilta saa ladattua ilmaiseksi.

 

[Janne]

Windows Resource Kitin mukana tuleva robocopy on hyvä varmistukseen, mirror vivulla se myös poistaa hakemistoja ja osaa jatkaa kesketynyttä sessiota yms.. Microsoftin sivuilta saa ladattua ilmaiseksi.

Taitaa olla tämä kyseessä:

http://www.microsoft.com/downloads/details.aspx?FamilyID=9D467A69-57FF-4AE7-96EE-B18C4790CFFD&displaylang=en

Kiitokset vinkistä, Windows XP ja 32 bit osui vielä kohdalleen sekin

Vistassa tämä on jo mukana:

The more you play around with Windows Vista, the more cool things you discover about it. For instance, I just discovered that robocopy, that terrific file copying tool that beats xcopy by a mile is actually included in-box in Vista! Previously you had to get it by downloading the Resource Kit tools. In fact, xcopy is going to be deprecated in future versions of Windows so if you’re not a robocopy fan then start using it today! A good place to start is to type robocopy /? at the command prompt in Vista.

 

[Janne]

Jaahas, tuo mainittu Robocopy tiedostojen kopiointiin tuli asennettua ja myös tämmöinen komentorivillä toimiva SFV:n luonti/tarkistustyökalu löytyi netistä:

http://www.slavasoft.com/fsum/

Noillahan pääsisi jo homman jossain määrin automatisoimaan, enää tarvisi jaksaa vääntää sopiva .bat varmuuskopiointiin yhdellä naksauksella...

Edit: tulipa sitten tehtyä jo. Skriptistä tuli yllättävän monimutkainen, mutta eiköhän tuolla jo alkuun pääse. Saa käyttää vapaasti ilman minkäänlaisia toimivuustakuita

Koko homma perustuu siihen että arkiston pääkansiona on esim. C:\Music ja sen alla alikansiot kuten

Klassinen
Pop
Heavy

ja nämä kansionimet pitää konffata skriptiin varmuuskopioitaviksi kansioiksi.

Tuskin kannattaa kokeilla jos ei tiedä mikä komentokehote, DOS tai .bat-komentojono on.

 

[THD]

OpenSolaris ja ZFS.
http://www.sun.com/software/solaris/zfs_learning_center.jsp

 

[condemned]

Ihan vaan asian vierestä mainitsen: Suomen laki sanoo tällä hetkellä, että kopion alkuperäinen kappale pitää olla omistuksessä että kopio olisi laillinen. Eli jos mennään laillisia teitä pitkin, niin alkuperäiset CD:t laatikkoon sängyn alle jemmaan. Nehän toimivat backupin backuppina jos talon kiintsut kilahtaa.

Ei pidä paikkaansa. Esimerkiksi kirjaston levyjen kopiointi on laillista. Kirjaston levyt saat kopioida lähimmälle tuttavapiirille sekä perheenjäsenille.

Ja minkä takia sitten tehdään noita backupeja? Jos alkuperäinen tuhoutuu tai häviää. Vai pitäisikö alkuperäisen cd:n hävittyä myös poistaa backupit tietokoneelta?

 

[Alex]

Ja minkä takia sitten tehdään noita backupeja? Jos alkuperäinen tuhoutuu tai häviää. Vai pitäisikö alkuperäisen cd:n hävittyä myös poistaa backupit tietokoneelta?

No ainakin minä teen autokäyttöön aina kopion alkuperäisestä levystä.
En luota että auton soitin käsittelee levyjä kunnolla, ja levyjen säilyttämiseenkin auto on aika paha paikka.

Levy voi myös vahingoittua lukukelvottomaksi, kotelo on tietysti silloinkin jäljellä.

--

 

[Janne]

Teinpä vielä uuden version tuosta skriptistä, lähinnä käytettävyyden helpottamiseksi voi vastata jo käynnistäessä "yes to all", mutta tämä syö jo osan koko skriptin ajatuksesta sinällään... uusi feature lähinnä tarkoitettu "ensimmäisen" varmuuskopion luontiin kun tietää että originelli on kunnossa.

Olen tuota siis menestyksekkäästi käyttänyt valokuva- ja musiikkikansioiden varmuuskopiointiin ulkoiselle USB-kiintolevylle muun koneella puuhastelun lomassa. Aikaa ja konetehoja palaa noiden sfv tarkistusten automaattiseenkin tekemiseen siinä määrin paljon että uskallan luvata ettei luultavasti yksikään kaupallinen backup softa moista tarkistusta tee, ainakin jos backup tapahtuu nopeasti...

 

[Patu]

Itsellä on ulkoisella kovolla backupit. Aina muutaman kuukauden välein isken sen kiinni koneeseen ja ajan SyncToylla uudet kansiot ulkoiselle. Muutoin backupkovo on laatikossa sängyn alla.

 

[rajani]

Itsellä on ulkoisella kovolla backupit. Aina muutaman kuukauden välein isken sen kiinni koneeseen ja ajan SyncToylla uudet kansiot ulkoiselle. Muutoin backupkovo on laatikossa sängyn alla.

Entäpä jos alkuperäinen tiedosto korruptoituu ja se kopioidaan myös varmistuksen päälle?

 

[skorde81]

En tiä miten joku mp3- tai wav-tiedosto korruptoituisi yhtään sen herkemmin kuin exe:tkään, joissa ilmiön huomaisi esim siitä, että softa ei toimi?
Levyn pirstaloituminen sit eri juttu mutta sitä voi lääkitä defragilla, muttei tietenkään joka päivä sitäkään.
Varmuuskopiointiin hihasta ravistettuna: rsync, deltacopy, backuppc

 

[Janne]

En tiä miten joku mp3- tai wav-tiedosto korruptoituisi yhtään sen herkemmin kuin exe:tkään, joissa ilmiön huomaisi esim siitä, että softa ei toimi?
Levyn pirstaloituminen sit eri juttu mutta sitä voi lääkitä defragilla, muttei tietenkään joka päivä sitäkään.
Varmuuskopiointiin hihasta ravistettuna: rsync, deltacopy, backuppc

Ei tuo huomaamatta pikku hiljaa korruptoituminen tosiaan ole mitenkään todennäköinen tapahtuma, en muista varsinaisesti kertaakaan näin käyneen itsellä vaikka kovalevyjä on pyörinyt koneessa varovaisesti laskien parisenkymmentä vuosien varrella. Yksi IBM herjasi joskus parikin kertaa peräkkäin bad sectoreista pidemmän scannin jälkeen, mutta bad sectorit sitten sai pois tettua valmistajan työkaluohjelmiston low level formatilla. Tuota levyä en tosin käyttänytkään musiikin varastointiin joten varsinaiset vaikutukset jäivät arvoitukseksi. Nykyaikaiset kovalevyt sisältänevät jo itsessään jonkinlaiset toipumismekanismit datan pelastamiseksi jos levyn pinnalle tulee pienimuotoisia fyysisiä ongelmia.

Kuitenkin, mahdollisuushan on aina olemassa ja ei se paljoa lohduta kuulla että on ollut se yksi tuhannesta jos vaivalla ripattu levyarkisto kurautuu ja homman joutuu aloittamaan alusta ollakseen varma laadusta. Jos koko datamäärän siirtää esim. levyltä levylle satunnaisia USB/firewire/SATA väyliä pitkin niin teoriassahan virheitä voisi syntyä. Lisäksi jos Ethernet verkon tai Internetin yli siirtää isomman datamäärän niin bittivirheet on jo todennäköisiäkin. Muistanpa myös monessakin satunnaisesti internetistä lataamani MP3-formaatin levyissä näitä bittivirheitä olleen, jotka paljastuvat nimenomaan tuolla sfv-tarkistuksella. Mutta tämän skriptin väsäsin siis lähtien siitä ajatuksesta että kovalevyllä on .wav tai FLAC muotoista musiikkia jonka säilöminen varmistetusti kovalevyllä on tarkoitus olla niin varmaa että uskaltaa kantaa vaikka CD-levynsä antikvariaattiin.

 

[pirkka]

Dramaattisin virhe olisi tietty sellainen jossa se bad sector osuisi hakemistopuuhun ja näin tekisi kaiken datan hakemattomaksi... itselle on näin kerran käynyt CD levyn kanssa, jonne varmistin digikuviani. Siellä ne bitit oli varmasti ihan ookoo mutta kun hakemisto on kuralla niin ei löydy. No onneksi alkuperäiset oli tallella ja otin uuden back upin...

Uskoisin (koputan puuta) että oma parin teran flac kokoelmani säilyy ne muutamat vuodet (max 10) kunnes kaikki musiikki on tilattavissa kuukausimaksulla verkosta.

 

[Gretch]

Dramaattisin virhe olisi tietty sellainen jossa se bad sector osuisi hakemistopuuhun ja näin tekisi kaiken datan hakemattomaksi... itselle on näin kerran käynyt CD levyn kanssa, jonne varmistin digikuviani. Siellä ne bitit oli varmasti ihan ookoo mutta kun hakemisto on kuralla niin ei löydy. No onneksi alkuperäiset oli tallella ja otin uuden back upin...

Uskoisin (koputan puuta) että oma parin teran flac kokoelmani säilyy ne muutamat vuodet (max 10) kunnes kaikki musiikki on tilattavissa kuukausimaksulla verkosta.

Yleensä tuollaisessa tapauksessa data on vielä pelastettavissa. Olen tehnyt puolisenkymmentä pelastusoperaatiota niin kiintolevyiltä kuin optisilta levyiltä kun siellä on jokin isompi virhe estänyt levyn varsinaisen käytön. Tietty tuuriakin saa olla mukana, että kaiken saa ehjänä ulos. Yleensä kuitenkin suurimman osan sisällöstä saa ongittua takaisin toiselle medialle.