5 технологій, щоб ваші дані жили вічно

Вони кажуть, що в Інтернеті нічого не зникає, нічого не видаляється

Це правда, для популярного контенту, який нескінченно ділиться і ремікс. Але цей вид вірусного льодяника - тільки вершина дійсно великого айсберга. Під поверхнею мемів і голих знаменитостей ховаються нескінченні петабайти даних, занадто нудних для безсмертя. Весільні фотографії, есе для коледжу, домашнє відео, старі листи - більшість наших даних відноситься до цієї категорії, і вони можуть бути марними.

Одним з головних уроків фізики є те, що термодинаміка ненавидить ваші кишки. Комп'ютерні дані не є винятком. Флеш-пам'ять втрачає заряд менш ніж за десять років. Навіть в ідеальних умовах магнітні жорсткі диски не працюватимуть довше десяти років. Компакт-диски в ідеальних умовах тривають близько десяти. Магнітна стрічка, золотий стандарт довготривалого зберігання даних у промисловості, перестає зчитуватися через тридцять-п'ятдесят років.

Як вмирають цифрові дані

Це створює проблему, оскільки вимагає великих зусиль для зберігання даних. Все, що недостатньо цікаво для активного збереження від жорсткого диска до жорсткого диска, від хмарної служби до хмарної служби, просто перестає існувати. 99% наших даних просто викидаються на звалища і провальні інтернет-компанії. Навіть для даних, які нам небайдужі, прогноз не дуже хороший.

Розгляньмо проблеми, пов'язані зі стисненням даних. Для економії місця на диску та пропускної здатності ми часто використовуємо формати файлів (наприклад, .jpg і.mp4), які стискають їх вміст. у певному роді. Використовувані алгоритми стиснення бувають двох основних типів: без втрат і з втратами.

• Формати без втрат усувають надмірність, ідентифікуючи фрагменти файлу, що повторюються, і замінюючи їх більш короткими описами. Це дозволяє вам повністю відновити вихідний файл пізніше, але може тільки стиснути дані настільки сильно (див. посилання вище для візуальної метафори того, як працюють ці алгоритми).
• Формати з втратами набагато потужніші, але йдуть із серйозними компромісами. Формати з втратами працюють, відкидаючи певну інформацію про вихідний файл, щоб мати можливість кодувати файл у меншій кількості місця. Ці алгоритми не можуть точно відновити вихідний файл, але вони налаштовані таким чином, що інформація, яка скидається, як правило, є інформацією, яку люди не помічають. Ці алгоритми можуть значно зменшити розмір файлу при невеликому зниженні якості зображення і використовуються практично для всіх аудіо, відео та зображень.

Як правило, це добре: це дозволяє нам завантажувати набагато більш якісний контент набагато швидше, ніж це було б можливо, якби ми застрягли у форматах без втрат. Тим не менш, у форматів з втратами є і темна сторона, і це виглядає так:

Коли ви перекодуєте файл у формат з втратами, дані будуть втрачені. Перетворення формату з втратами в інший формат з втратами подвоює збиток. Наведене вище відео було згенеровано шляхом багаторазового перетворення між двома форматами з втратами багато сотень разів. До кінця розмовна людина перетворилася на кошмарний безлад кольору і шуму. Цей процес називається розпадом покоління.

У міру того, як файли пересуваються Інтернетом, копіюються, зберігаються, повторно змішуються і перекодуються, ця втрата даних накопичується, і файли можуть сильно деградувати. У міру того, як ми стаємо кращими при кодуванні з втратами, а менш ефективні формати файлів втрачають популярність, оригінальні версії можуть бути втрачені назавжди.

Сподіваємося, що кіностудії дбають про те, щоб де-небудь у безпеці зберігати кодовані без втрат версії Cool Hand Luke і Twelve Angry Men, щоб у нас завжди були якісні версії цих файлів. Однак це, звичайно, не стосується більшості ЗМІ. Ваші цифрові дитячі фотографії та домашнє відео будуть поступово руйнуватися, коли ви перекодуєте їх із застарілих форматів у нові.

Те ж саме стосується і онлайн-контенту. Оригінали більшості відео на YouTube, ймовірно, більше не існують. Коли YouTube перестане існувати і ці відео будуть перенесені на нову платформу, всі вони отримають якісний удар від процесу перекодування. Кілька поколінь платформ для обміну відео в майбутньому, і навіть ті відео, які залишаються досить популярними для копіювання з платформи на платформу, будуть неприйнятно деградовані.

Гвинт Серф, головний євангеліст Google, детально розповів про небезпеку відкидати всю цю інформацію настільки ж кавалерно, як і ми. В одному з інтерв'ю Серф розповів, як у 2005 році історик Доріс Гудвін написав книгу про Авраама Лінкольна і вивчив його звички, відвідуючи бібліотеки по всій країні, викопуючи його старі листи і відновлюючи розмови, які вони втілюють. Серф зазначає, що сьогодні «ці листи будуть електронними листами, і через 100 років шанси знайти їх будуть зникаюче малі».

Такий вид розпаду даних створить величезну проблему для майбутніх істориків. Двадцять перше століття цілком може стати зяючою дірою в історичних записах - цифровий темний вік.

Чи можемо ми зробити краще?

Одним з рішень цієї проблеми є створення архівного сховища, яке може працювати набагато довше з меншим обслуговуванням, щоб було простіше архівувати інформацію протягом дуже тривалого терміну. Багато розумних людей працюють над цією проблемою, і ми зібрали кращі дані про їхні технології.

Наприклад, ви бажаєте створити резервну копію файла протягом довгого часу. Як ви повинні це зробити?

... 50 років

Рішення: магнітна стрічка

Якщо вам потрібно зберігати свої дані тільки кілька десятиліть за раз, вам найкраще вибрати хорошу старомодну магнітну стрічку (таку, яка використовується ІТ-відділами в усьому світі). Зберігаються під землею в холодному, сухому, магнітно-екранованому середовищі зі здоровим ступенем надлишковості магнітна стрічка відносно стабільна в порівнянні зі звичайними компакт-дисками або жорсткими дисками і тільки приблизно в три рази дорожче, ніж недорогі жорсткі диски (близько 3,0 дол. США за гігабайт).

... 100 років

Рішення: оптичні диски архівної якості

Звичайні компакт-диски - жахливий спосіб зберігання даних: алюмінієва або срібна підкладка починає окислюватися, як тільки ви відкриваєте упаковку, і низька якість складання може викликати інші проблеми. Не очікуйте, що вони триватимуть довше, ніж кілька років - годин, якщо ви випадково залишите їх на сонці. Тим не менш, деякі КD і DVD зроблені з золотою підкладкою і набагато більш високою якістю складання. Золото не окисляється, що означає, що ці диски можуть прослужити дуже довго. Важко точно сказати, як довго, тому що у нас їх не було дуже довго, але ми можемо отримати хорошу оцінку, взявши диски, по-справжньому злісні до них, а потім спробувавши відновити дані: це називається прискореним випробування на старіння.

На підставі цих випробувань виробники заявляють про тривалість життя в діапазоні 1-3 століття. Для максимальної щільності даних ви можете взяти архівні «блакитні промені» приблизно за 2,5 гігабайта на долар при прогнозованій тривалості життя 200 років. Прискорені тести на старіння не зовсім вірні, але, ймовірно, на них можна розраховувати протягом століття або близько того. Як бонус, на відміну від магнітної стрічки, вони не вимагають спеціального обладнання для читання і запису, тому витрати на запуск мінімальні.

... 1000 років

Рішення: M-Диски

Гаразд, забудь цю нісенітницю «століття», давай серйозно. Щоб дати вам уявлення про терміни, тисячу років тому граф Ерік Хааконссон вперше заборонив берсеркерів у Норвегії. Ось ці хлопці вигравірувані на бронзовій плиті, виявленій у 20 столітті:

До недавнього часу не було багато хороших промислових варіантів для такого роду термінів. Однак нещодавно з'явився цікавий варіант під назвою «М-диск». Це архівні DVD-диски, зроблені з товстого шару «кам'яного» мінерального композиту, який призначений для протравлювання спеціальними пальниками (хоча їх можна читати за допомогою звичайних DVD-приводів). Вони абсурдно стійкі і, як очікується, виживуть як мінімум тисячу років. Це амбітне твердження, але у компанії є серйозні дослідження (в тому числі дослідження Міністерства оборони США), щоб підтвердити це.

Ці диски навіть досить дешеві, по 5,7 гігабайта за долар, хоча вам також знадобиться спеціальний пишучий привід. Якщо ви серйозно зацікавлені в зберіганні великої кількості даних протягом тривалого часу, M-диски - явний переможець.

млрд 10000 років

Рішення: гравірування надзвичайно стабільних металів

Тут ми починаємо трохи відхилятися від тореного шляху. На даний момент немає цифрових форматів, які могли б вижити десь близько десяти тисяч років. Це означає, що будь-які дані, заархівовані за цей період, буде дуже важко відновити У деякому сенсі, це нормально - це не означає, що DVD-рідери будуть приблизно через десять тисяч років.

Так як ви зберігаєте дані так довго? Відповідь полягає в тому, що єдиними матеріалами, здатними витримати такі часові рамки, є хімічно стабільні метали і дорогоцінне каміння. Ця технологія вже використовувалася на практиці для записів Voyager - золотих дисків, на яких вигравірувана інформація, що представляє аудіо і зображення, які були випущені на борту зонда Voyager. Зонд знаходиться на виході з Сонячної системи, щоб забезпечити постійну історію людства для інопланетян, щоб коли-небудь знайти.

Сучасний погляд на проблему - це нано літографія. Компанія під назвою Norsam адаптувала методи літографії, спочатку розроблені для гравіювання напівпровідників, і може використовувати їх для травлення дрібних візерунків на поверхнях, таких як алмаз або нікель. Дозвіл пристойний (близько 165 гігабайт на 12 сантиметровий диск), а також практично не піддається руйнуванню. Ці диски, що зберігаються в безпеці, повинні прослужити багато тисяч років і можуть пережити ЕМІ, більшість пожеж і крах людської цивілізації. Інформація про ціни не легко доступна, але «дорого» - це дійсно гарне припущення.

Одним з ранніх застосувань цієї технології було створення сучасних пластин «Розеттський камінь», виготовлених з титану, для зберігання в безпечних місцях по всьому світу, що містять близько тисячі сторінок тексту, перекладеного на багато мов, для надання довідкової інформації. для майбутніх істориків, якщо деякі сучасні мови будуть втрачені. Як додаткова перевага, диски також виглядають неймовірно круто:

Понад 100 000 років

Давайте прояснимо ситуацію: якщо ви купуєте комп'ютерне сховище, а титан з нано-гравіюванням занадто недовговічний для вас, то ваш горизонт планування жахає мене. Сто тисяч років тому рання людина вперше почала виходити з африканського континенту в Європу. Якщо ви дійсно дбаєте про те, щоб ваші цифрові дані вижили так довго в майбутньому, то ви покинули світ простих смертних, а також, ймовірно, розсудливості і здорового глузду.

Що не означає, що у вас немає варіантів.

Рішення: скам'яніла ДНК

Однією з переваг біотехнологічної революції є те, що існує безліч компаній, які будуть створювати для вас індивідуальну ДНК з ланцюжка пар підстав, яку ви надаєте в Інтернеті за граничну плату. Кожна базова пара має чотири можливі комбінації, які можуть зберігати два біти. Потім дані можна прочитати, впорядкувавши ці гени пізніше, використовуючи різні методи. Це дозволяє ДНК служити свого роду екзотичним сховищем даних. Тепер самі ваші ланцюжки ДНК досить недовговічні і через кілька років хімічно зруйнуються при кімнатній температурі. Є кілька способів продовжити термін його служби.

Ви можете об'єднати свої дані в ДНК довгоживучого організму, такого як сосна Великого Басейну Брістлекон (яка, як відомо, живе більше п'яти тисяч років). Оскільки ці дерева можуть розмножуватися, вашою головною турботою стає забезпечення їх безпеки від численних великомасштабних пожеж, метеорних впливів і вивержень вулканів, які можуть відбутися в майбутньому. Можливо, вам вдасться вижити ваші дані на кілька десятків тисяч років, посадивши кілька лісів архівних дерев у безпечних, віддалених місцях; але - звичайно - ви не зацікавлені в такій маленькій картоплі.

Щоб по-справжньому отримати цінність своїх грошей зі сховища ДНК, вам необхідно хімічно виправити ДНК, щоб захистити її від хімічних змін і радіоактивного розпаду. Дослідники знайшли спосіб впровадити ДНК у розплавлене скло, щоб створити «синтетичне копалини», яке буде захищати ДНК протягом дуже довгого часу. Цей процес заснований на природному скам'янілості і був розроблений після того, як з'ясувалося, що часто можна витягти інтактну ДНК із скам'янілостей, вік яких становить мільйони років. При правильному використанні кодів з виправленням помилок і надлишковості немає причин, з яких ви не змогли б зберегти багато гігабайт інформації протягом однозначних мільйонів років.

З точки зору економічної ефективності: якщо ви турбуєтеся про ціну, цей метод зберігання не для вас. Це не комерційний процес у будь-якому випадку. Ви збираєтеся витратити не менше сотень тисяч доларів на виготовлення і збереження ДНК. Це не починання для слабкодухих. Тим не менш, це варіант, і якщо ви дійсно хочете впевнитися, що найважливіші дані в Інтернеті все ще доступні після того, як людство загинуло і зникло, ви можете зробити це.

Ви стурбовані цифровим темним століттям? Які дані ви хочете зберегти для майбутніх поколінь? Обговорення починається в коментарях!