Digital Preservation discussion part 1
I am posting one interesting discussion which occurred at Digital Preservation mailing list of the American Library Association, http://lists.ala.org/wws/arc/digipres/2012-05/msg00004.html. It was interesting to me how a question about the best solution for archiving audio files on the physical medium developed to the full-scale discussion about digital preservation and information carriers. The names of posters of original emails are omitted. Full credit goes to ALA and respective authors.
*****
At NPR we are trying to move away from multiple physical copies of our archival audio. Our goal is to just have redundant digital copies and one physical copy on some medium in case of catastrophic failure with the servers.
We are curious to know what physical medium other audio archives are using for preservation/backup copies of digital audio files.
*****
I am not a fan of optical media for preservation purposes. The aging tests have shown their life is relatively short. Additionally, in order to recover from them one would need to spend inordinate amounts of time loading and reloading discs. I would suggest digital tape. It's inexpensive, pretty robust, and would be easy to make periodic copies, verify against your storage, and recover from if necessary.
*****
LTO 5
http://en.wikipedia.org/wiki/Linear_Tape-Open
*****
It is important to have redundant digital copies in case of failure; we have had a number of occasions where we needed to recover objects from a second or third copy when other copies failed. There are different ways to accomplish multiple digital copies, such as copies on server, tape (LTO), cloud (DuraCloud and others), and optical discs, or a mixture. There are advantages and disadvantages with each option; we have a mixture of these, but are moving towards two options, server copies with tape backup, and M-DISCs. We have started using the Rosetta software to manage the server copies, which will have tape copies stored in a secure off site location. But I want an additional copy on another medium, which is our M-DISC archive.
In general optical CDs and DVDs have a short lifespan. For a number of years, I have been caring for a very large disc archive of gold CDs and DVDs; there are multiple copies for redundancy. (There are tape copies also, which have had problems as well, but the gold archival discs have been considered the preservation copies.) Multiple copies are necessary since a percentage of the discs fail each year (the percentage depends on the collection). In order to solve that problem, two professors on campus (Information Technology, and Chemistry & Material Science) created a digital storage medium that does not fail over time and is unaffected by any normal factors, such as light, heat, cold, oxidation, pollutants, material decay, bit flips, etc. (Extreme stress tests by the US military could not get the discs to fail.)
The university licensed the technology to a company called Millenniata (millenniata.com) which has partnered with LG and others to produce the M-DISC. Currently the M-DISC is a DVD format, which is somewhat of a drawback if you want to store large archives, but they are developing other densities and options. (There are some organizations using a multi-terabyte Millenniata device, but I have not seen it.) I have tested and used the M-DISCs for several years and have not had any problems. (I plan to start another round of testing on my M-DISC archive this year to check on the status of the discs; I check them for usability, read error levels, and bit transfer integrity.) So I consider this my ‘copy in case of catastrophic failure’, while the Rosetta archive is my ‘active preservation archive’. There are others in the library and on campus (digital lab, records management, etc) that use the M-DISCs for their own long term copy for images, documents, audio, video, and such.
Whatever you choose, you should think about multiple copies in multiple places on multiple media. Whatever you choose needs to fit your circumstances and be sustainable for your program. Let me know if you have questions.
*****
Have you looked into the LOCKSS project?
http://www.lockss.org/about/
*****
This isn't really an answer to the "physical medium" question. But, for your redundant digital copies, another option you may wish to consider is DuraCloud: http://www.duracloud.org/
DuraCloud allows you an easy way to distribute multiple digital copies across one or more cloud storage providers (Amazon, RackSpace, etc), while also providing additional content management/preservation tools and services.
In general, though, I agree with what others have said. Multiple, distributive copies/backups on multiple types of media are a good idea. So, looking into services like LOCKSS or DuraCloud or finding ways to do your own distributive backups (via tape backup or similar) is definitely good practice.
*****
I think that your inquiry is really 2 questions that need separate answers: redundancy and removable media:
Data centers have more than 40 years of well-developed history of handling redundant storage: multiple copies and physical dispersal of these are the key. Formulas for optimal numbers of redundant copies have been developed by the LOCKKS project and Storage Resource Broker (SRB), but are ultimately governed by your budget vs the level of risk you can take.
The most advanced thinking today is that the only reason for removable media is that your total storage needs would be too expensive if put on spinning disks, though that cost difference will vastly diminish over time. For large-scale storage, current thinking focuses on LTO tapes.
But hidden within the "removable media" advocacy are some other issues that are not necessarily solved by removable media at all. One is bit-flipping (which does little damage to a digital audio file if it flips in the "content" part, but is hugely damaging if the bit flips in the header or other metadata). Another is the tying of your content (audio files) to a specific management and retrieval system (removable media sounds like it solves this, but it doesn't), and some people advocate putting each set of replicated files into management/retrieval systems having different types of architectures.
On top of that, of course there are issues of migration (when your Broadcast WAV files are no longer supported by any audio software), periodic check-sums, tracking of any changes made to your files (PREMIS), and other routine digital preservation activities.
*****
Re: benefits of removable media. There is still some benefit there, once you remove the media to a safe storage facility, in protection against malicious or inadvertent destruction of all on-line copies.
*****
Storage on spinning disk does not necessarily mean storage on a server connected to the Internet (or even to another server). And given 2 parallel situations: storage on a spinning disk in a secure area vs storing on removable media in a secure area -- I'd say that a malicious act would have a greater chance of success against removabe media (because there's no further protection once you're inside the secure area, and no trace is left of when a malicious act took place). There might be a slightly larger chance of inadvertent distruction on a spinning disk, but at least check-summing software would warn you that that had happened (whereas with the removable media, it could be years before you discovered that a cleaning crew had buffered the floor with a machine whose motor had demagnetized the tapes stored on the lower shelves).
*****
I am a fan of Archival optical media as the removable option. (cd/dvd/bd)
Yes, I do work for the manufacturer but it will be a good option for some time. The concerns given on file formats do apply.
With the release of BDXL 100gb, we are at least getting a little closer in capacity.
*****
Optical media are not recommended for preservation purposes. Beyond the short lifespan (which may have been lengthened with recent developments) is the limited storage space and constant monitoring to ensure there are no errors. By the time you are setup to do a proper job with optical media it is more expensive and cumbersome than it is to use multiple copies on hard disk and tape, or even in the cloud if you are a trusting soul. Optical media shine when you need a portable copy for presentation and when there is also no streaming version available. Media is not the key to preservation. A comprehensive system that protects your assets and a plan that includes monitoring technological trends for eventual migration of the essence from one file format to another when obsolescence threatens is the key. Please see IASA-TC 04 section 8.1.1 regarding optical media. IASA-TC 04 is available in a web version for free.
http://www.iasa-web.org/tc04/audio-preservation
You may have noticed that file sizes are not decreasing. This means that increasingly your files will not necessarily be on a single, particular piece of media but will most likely be spread across an array of some kind that constitutes a logical volume.
[End of discussion]
Komentari (0) 17.05.2012. 01:20
Adaptation and Implementation of Web 2.0 technologies live stream
U četvrtak 19. aprila 2012. godine u 10:00 časova, u amfiteatru Narodne biblioteke Srbije održaće se predavanje:
Adaptation and Implementation of Web 2.0 technologies in the Ivy League Libraries: A Case Study - a lecture of Liladhar R. Pendse
Liladhar R. Pendse is the librarian for Slavic, Eastern European and Eurasian Studies in the Collection Development department of the Princeton University.
Zahvaljujući angažovanosti koleginice Tamare Butigan iz Narodne biblioteke Srbije, i Zorana Bujoševića iz Računskog centra Univerziteta u Beogradu, koji je stavio na raspolaganje i korisnost bibliotečke zajednice kapacitete Akademske mreže Srbije (AMRES), zainteresovani bibliotekari i stručnjaci iz oblasti Web 2.0 tehnologija moći će da čuju predavanje vrsnog stručnjaka, koji dolazi iz miljea tzv. "Ivy League", tj. grupe vodećih američkih univerziteta. Hvala Tamari i svima koji su doprineli da konačno geografska udaljenost bude prevaziđena modernim tehnologijama.
Link do stream-a: http://media.amres.ac.rs/striming/166-predavanje-qadaptation-and-implementation-of-web-20-technologies-in-the-ivy-league-librariesq.html
Komentari (0) 18.04.2012. 23:52
Elektronska verzija Glasa biblioteke 17
Objavljen je 17. broj stručnog bibliotečkog časopisa "Glas biblioteke" za 2010. godinu, koji izdaje Gradska biblioteka "Vladislav Petković Dis". Ovaj elektronski broj dolazi sa većim zakašnjenjem u odnosu na štampani original, čemu je najviše kumovalo preseljenje svih veb sadržaja naše ustanove na novi (zakupljeni VPS) server, koji sada administrira Centar za digitalizaciju. Ovaj broj "Glasa" značajan je, pored vrednih priloga koje donosi, i zbog toga što dolazi sa izmenama u redakciji, o čemu govori uvodni tekst "Reč zahvalnosti". Na preko 250 strana, sa 15 autorskih priloga domaćih i stranih autora iz najrazličitijih tipova biblioteka, koji pokrivaju širok spektar tema savremene bibliotečko-informacione delatnosti, u prepoznatljivom ruhu, nadamo se da će i ovaj broj dopreti do čitalaca kojima je to potrebno i/ili kojima je zadovoljstvo da ga čitaju.
Preuzmite ceo broj u PDF formatu
IMPRESUM
REČ ZAHVALNOSTI, str. 5-6
Bogdan Trifunović, M. A., DIGITALIZACIJA BIBLIOTEČKE GRAĐE I NOVE PERSPEKTIVE ZAVIČAJNE BAŠTINE, str. 7-20
Predrag Đukić, M. A., DIGITALIZUJEM, DAKLE POSTOJIM!, str. 21-26
Milan Grba, BRITANSKA BIBLIOTEKA I SRBIJA: NASTANAK I RAZVOJ SRPSKE ZBIRKE, str. 27-48
Irina Bazilevski, SVERUSKA DRŽAVNA BIBLIOTEKA STRANE LITERATURE (MOSKVA), str. 49-60
Mirela Šarić, Tatjana Dunović, NARODNA I UNIVERZITETSKA BIBLIOTEKA REPUBLIKE SRPSKE, str. 61-78
Aleksandar Radović, M. A., PLAKATI NACIONALNIH BIBLIOTEKA U SRBIJI U ZBIRCI BIBLIOTEKE MATICE SRPSKE, str. 79-88
Olivera Nedeljković, KOSARA K. CVETKOVIĆ – ŽIVOT PREVEDEN U KNJIGE, str. 89-124
Koviljka Letić, UJEDINJENA KNJIŽNICA I ČITAONICA U ČAČKU, str. 125-138
Mr Marijana Matović, KRIMINALNA BIBLIOTEKA U LEGATU MILIVOJA I BOŽIDARKE FILIPOVIĆ, str. 139-164
Dubravka Simović, TRAG KAO PUTOKAZ, str. 165-174
Dr Dejan Vukićević, O POJMU I IZUČAVANJU ZAVIČAJA, str. 175-196
Bojana Vukotić, ELEKTRONSKE BIBLIOTEKE – TEMATSKI BROJ ČASOPISA KULTURA, str. 197-204
Nataša Popović, OD REČI DO REČI – UŽIVO, str. 205-212
Marija Orbović, PRILOZI ZA ČAČANSKU BIBLIOGRAFIJU, str. 213-236
Danica Otašević, GRADSKA BIBLIOTEKA „VLADISLAV PETKOVIĆ DIS” U 2010. GODINI, str. 237-256
SADRŽAJ
Komentari (0) 03.04.2012. 14:06
Jedna godina u životu Centra za digitalizaciju - II deo
U 2011. godini Centar je nastavio da prikuplja i čuva audio-video građu zavičajnog fonda, pa je do kraja 2011. godine ukupno inventarisano 29 VHS kaseta (1 u 2011), 24 audio trake, 78 kompakt diskova sa audio građom (8 u 2011) i 324 DVD diskova audio-vizuelne građe i multimedije (126 u 2011). Pored toga, u digitalnom obliku čuva se više stotina sati građe snimljene u Gradskoj biblioteci Čačak (intervjui ličnosti, snimci programa, itd.) ili preuzete od drugih ustanova i pojedinaca (arhiva Radio Čačka, snimci televizijskih i radio emisija, stari dokumentarni filmovi, itd.).
Poseta veb sajtu ustanove je porasla u odnosu na 2010. godinu, na 78.239 jedinstvenih poseta u 2011. (povećanje za 16.000 poseta). Stranicu Biblioteke na Facebook-u do kraja 2010. godine sledilo je 1006 korisnika (286 novih u 2011), dok su video isečci na sajtu YouTube (objavljeno ukupno 18 snimaka, 8 u 2011) pregledani 15.670 puta (10.370 u 2011). Do kraja 2011. godine ukupno je 109 osoba bilo prijavljeno za primanje obaveštenja iz Biblioteke putem elektronske pošte (u 2011. prijavilo se njih 26). Profil Biblioteke na društvenoj mreži Tviter do kraja 2011. pratilo je 66 korisnika (37 u 2011).
Tokom 2011. godine digitalizovano je ukupno 25.433 stranica građe, što je povećanje u odnosu na 2010. za skoro 5.000. Nastavljena je digitalizacija novine „Čačanski glas“, pa su u toku 2011. na internet postavljena godišta 1952-1959. Zahvaljujući saradnji sa NBS urađena je i digitalizacija „Slobodnog glasa“ za 1945-1950, pa su kompletirana sva godišta najznačajnijeg lokalnog lista u 20. veku, u štampanoj i digitalnoj formi.Celokupna digitalna građa nastala radom Centra za digitalizaciju smeštena je na serveru i storidžu u Centru, dok se rezervne kopije čuvaju na 308 DVD diskova.
U 2011. godini radnici Centra za digitalizaciju nastavili su sa objavljivanjem stručnih radova i izlaganjima na konferencijama na teme koje se tiču digitalizacije bibliotečke građe. Bogdan Trifunović je objavio rad "Digitalizacija bibliotečke građe i nove perspektive zavičajne baštine" (Glas biblioteke 17/2010, 7-20), pored radova koji su nastali iz njegovog bavljenja istorijskim temama. Aleksandar Vukajlović je govorio na međunarodnoj konferenciji "Ka jugu" u Poljskoj, Vejherovo, maja 2011. na temu "Digitalizacija u Gradskoj biblioteci Čačak", dok je Bogdan izlagao na X konferenciji Nacionalnog centra za digitalizaciju u Beogradu, kao koautor prezentacije "Digital Library Consortium: Just an idea or necessity" (sa kolegom Ivicom Lazarevićem iz Biblioteke u Jagodini), kao i na godišnjoj konferenciji Bibliotekarskog društva Srbije (oktobar 2011), sa temom "Digitalizacija audio-vizuelne građe: potrebe, standardi i praksa u javnim bibliotekama".
Bogdan Trifunović je u 2011. godini radio kao član Radne grupe za Smernice za zavičajne fondove (predsednik dr Dejan Vukićević iz NBS), i kao član grupe za Smernice za digitalizaciju bibliotečko-informacione građe (predsednik Vesna Injac iz NBS). Ova dva važna dokumenta za dalji razvoj bibliotečke struke prosleđeni su na usvajanje od strane viših instanci. I dok se Smernice za zavičajne fondove samo delimično bave digitalizacijom u bibliotekama (pre svega u javnim bibliotekama), ali sa jasno vidljivim poglavljem posvećenim tom pitanju, dotle su Smernice za digitalizaciju bibliotečko-informacione građe nešto novo i dugo očekivano štivo za bibliotečke radnike u Srbiji. Stručnjaci iz Narodne biblioteke Srbije, Biblioteke Matice Srbije, Univerzitetske biblioteke "Svetozar Marković" u Beogradu, Biblioteke grada Beograda i Gradske biblioteke Čačak za svega mesec dana izradili su na nekoliko zajedničkih sastanaka i korišćenjem tehnologija na vebu potpuno novi tekst, koji detaljno opisuje termine kao što su digitalni dokument, digitalni objekat, zbirka, biblioteka, vrste digitalizacije, digitalni formati, veb arhiviranje itd. Kao i svaki početnički posao i ovaj ima svoje mane, kojih smo svesni, mada većina ima opravdanje u izuzetno kratkom roku donošenja gotove verzije u januaru 2012. godine. Nadamo se da će konačna verzija ovog dokumenta uskoro ugledati svetlo dana, čime će biti rešen jedan od problema sa kojim su se bibliotekari suočavali kada su planirali i započinjali projekte digitalizacije. Između ostalog, pored detalja koji su već realnost u digitalizaciji bibliotečko-informacione građe u Srbiji, Smernice za digitalizaciju govore i o nečemu što će biti budućnost našeg rada, kao što je veb arhiviranje ili udruživanje digitalnih biblioteka u zajednički poduhvat pod imenom Digitalna biblioteka Srbije.
Radnici Centra su učestvovali u izradi osam domaćih i jednog stranog projekta za unapređenje bibliotečko-informacione delatnosti (rezultati se još čekaju), obogaćivanje programa i izdavaštva ustanove. Oni su bili angažovani i na poslovima uvođenja optičke mreže u ustanovu, rešavanja problema sa električnom energijom u odeljenjima Doma kulture, kao i na održavanju celokupne tehničke opreme ustanove. Centar je bio aktivan i na pružanju tehničko-informacione podrške zaposlenima Gradske biblioteke, kroz tehničku pomoć pri realizaciji programa Biblioteke, objavljivanje publikacija, skeniranje građe, rešavanje problema nastalih prilikom korišćenja računara i druge opreme.
Komentari (0) 07.03.2012. 10:01
Jedna godina u životu Centra za digitalizaciju - I deo
Kao što je rečeno u našem prethodnom postu, nakon skoro godinu dana aktiviran je blog Digitalizacija i digitalne biblioteke. Sada ćemo se, u što kraćoj formi, osvrnuti na proteklih godinu dana (od aprila 2011. do februara 2012. godine) i na najvažnije događaje koji su obeležili rad Centra za digitalizaciju.
Početak 2011. godine obeležio je nastavak digitalizacije novine "Čačanski glas" i postavljanje posleratnih godišta lista u Digitalnu biblioteku (do 1953. godine). Kako je u 2010. godini urađena digitalizacija mikrofilmovanih godišta lista za period 1932-1995, pristupilo se u 2011. godini obradi te građe, i sporom procesu unošenja ključnih reči za pretragu saržaja lista. Do kraja 2011. godine više zaposlenih Gradske biblioteke Čačak radilo je na tom poslu, da pomenemo Aleksandra Vukajlovića, Tijanu Mutavdžić, Anu Nešić, Dušicu Brković, pa su urađena sva godišta do 1960. godine i postavljena na veb, tj. u Digitalnu biblioteku.

Drugi važan projekat koji je započet u januaru 2011. godine je Formiranje digitalne arhive audio-video gradje, odnosno digitalizacija arhive Televizije "Galaksija 32" Čačak. Sporazumom o poslovno-tehničkoj saradnji naše dve kuće predviđeno je da Centar za digitalizaciju digitalizuje čitavu video arhivu Televizije, koja je nastala tokom proteklih 18 godina rada, a čuva se na najrazličitijim video kasetama, kao što su VHS, S-VHS, BETA, DV Cam, itd. Najveći deo 2011. godine protekao je u pripremama za ovo novo polje delovanja naše ustanove, a koliko smo saznali od drugih kolega i za srpske biblioteke uopšte. Bilo je potrebno prikupiti potrebne informacije, znanja i tehnologije procesa konverzije i digitalizacije analognog audio-video signala, i prema tome odlučiti se za kupovinu potrebne opreme. Kupovina opreme pokazala se kao izazov, jer je trebalo, između ostalog, naći ispravne stare VHS i S-VHS plejere, što se danas u tehnološkom smislu već smatra raritetom. Nakon nabavke i DVD rezača, televizora i nešto kablova oformljeno je novo radno mesto, koje se nezvanično može nazvati "digitalac za audio-video građu". Sa digitalizacijom građe se počelo u novembru 2011. godine i do kraja 2011. urađeno je nekih 70 sati materijala. Veoma povoljna okolnost je i to što od januara 2012. godine jedan radnik Biblioteke radi skoro isključivo na tim poslovima, pa se i digitalizacija znatno ubrzala. Nakon procesa digitalizovanja, odabrani materijal se snima na DVD diskove, po jedan primerak za Biblioteku i Televiziju. Televiziji se inače vraćaju i kasete koje su digitalizovane. Za potrebe digitalizacije ove građe u Centru smo razvili Proceduru digitalizacije VHS i S-VHS građe, kao i Dnevnik digitalizacije, gde se beleže sve informacije o toku digitalizacije, metapodaci o sadržaju, administrativnim podacima, itd. Za sada će dobijani digitalni materijal biti čuvan na DVD diskovima, dok se ne nabavi sistem za arhiviranje sa više hard diskova velikog kapaciteta. Pristup ovoj arhivi za sada neće biti moguć za korisnike, ali će se sigurno raditi na tome da ona postepeno postane dostupna. U ovoj fazi naglasak je na očuvanju jednog dela lokalnog nasleđa.
U 2011. godini na veb je postavljena i digitalna zbirka "Pregled crkve eparhije žičke", 20 godišta (1919-1938) sa oko 6.500 stranica. Ovaj obiman posao urađen je u saradnji sa Narodnom bibliotekom "Stefan Prvovenčani" u Kraljevu, sa kojom je razmenjena digitalizovana građa, dok je u Centru za digitalizaciju urađen OCR i zbirka je kao pretraživa u punom tekstu postavljena u Digitalnu biblioteku. Takođe se digitalne slike ovog važnog časopisa za istorijat Čačka, Kraljeva i okoline mogu naći na sajtu Digitalna NBS, u zavičajnim zbirkama Kraljeva i Čačka.
Nastaviće se...
Komentari (0) 22.02.2012. 13:44
Kategorije
Novi tekstovi
- Digital Preservation discussion part 1
- Adaptation and Implementation of Web 2.0 technologies live stream
- Elektronska verzija Glasa biblioteke 17
Komentari
- Lopare (Anketa popunjena!)
- Filip (Jedan od dobrih sken...)
- Daniela (Bravo! Ovo je doka...)
- Bogdan (Hvala na zeljama. S...)
- Najnovije (Zanimljiva platf...)
