Nowości w ZFS pod OpenSolaris
- Dodano: 8 listopada 2009
- Wprowadził: bartus
- Komentarze: 28
Kilka dni temu światło dzienne ujrzały wiadomości dotyczące bardzo ciekawych funkcjonalności, jakie znajdą się w rozwojowej wersji OpenSolarisa na początku grudnia.
Mowa tutaj o długo wyczekiwanej funkcji „deduplikacji” czyli redukcji zapotrzebowania na przestrzeń dyskową, dzięki wykorzystaniu tego samego bloku danych w kilku różnych plikach. Pozwala to zmniejszyć zarówno fizyczny rozmiar naszych danych, jak i zwiększyć wydajność systemu, gdyż jeżeli wykonywana jest operacja zapisu pliku, którego zawartość (przynajmniej w części) znajduje się już na dysku, to nie trzeba fizycznie zapisywać danych, a jedynie odnośnik do bloku na dysku. Prace nad deduplikacją w ZFS trwały od grudnia 2008 roku. Użytkownicy nową funkcjonalność będą mogli przetestować juz za kilka tygodni, wraz z wersją snv_128 OpenSolarisa.
Drugim ważnym dodatkiem do systemu plików firmy Sun jest narzędzie do odzyskiwania poola, gdy uberblock jest niespójny z resztą systemu plików. Błędy takie pojawiały się w przypadku używania taniego/wadliwego sprzętu (dysków twardych), które we własnym zakresie manipulowały kolejnością zapisu danych otrzymanych od systemu. Uberblock zawsze powinien być zapisany jako ostatni. Jeżeli uberblock zostanie zapisany wcześniej niż reszta metadanych ZFS i nastąpi awaria systemu zanim te metadane trafią na dysk, system plików będzie niespójny. Aby odzyskać stan sprzed zapisu ostatniego (wadliwego) uberblocku dotychczas należało dokonać ręcznej manipulacji w strukturze systemu plików. Wraz z wersją snv_128 dołączone zostanie narzędzie automatycznie przywracające wcześniejszą wersję uberblocku, a co za tym idzie spójny stan systemu plików. Jedynym negatywnym efektem takiej operacji jest utrata ostatnich kilkudziesięciu sekund aktywności w obrębie systemu plików.
Więcej informacji: http://blogs.sun.com/bonwick/en_US/entry.../zfs_dedup
Znalazłeś literówkę? Zgłoś ją używając formularza!
Jeśli uważasz, że ten nius jest nieobiektywny, przedstawia nieprawdziwe wydarzenie, jest spamem lub nie spełnia standardów serwisu, napisz raport.
Niusy na podobny temat:
Komentarze są prywatnymi opiniami dodających je osób. Prosimy o zachowanie kultury wypowiedzi. Komentarze obraźliwe oraz obniżające poziom serwisu będą usuwane. Więcej w regulaminie komentowania.
28 komentarzy
Wszystkie autorskie niusy w serwisie publikowane są na licencji Creative Commons Uznanie autorstwa 2.5 Polska.
Zfs coraz mniej zabiera miejsce w ramie i na dysku , jest coraz bardziej uzyteczny i przyjazny dla uzytkownika np. timeslide
Nic tylko czekać na jeszcze szybszy rozwój OpenSolarisa 
Akurat stosowanie deduplikacji… zwiększy zużycie RAMu
Ale zmniejszy uzycie dysku. Co jest bardzo istotne w przypadku na przyklad wirtualizacji na poziomie systemu – w porownaniu do wirtualizacji maszyn (VMWare, Xen, KVM itp) taka wirtualizacja jest wydajniejsza i zuzywa mniej pamieci, ale zajetosc dysku jest niewiele mniejsza, chyba ze administratorowi chce sie kombinowac (nullfs itp). Dodanie deduplikacji likwiduje problem.
Za to bardzo nieistotne w przypadku zastosowań developerskich.
@Low Year: Pewnie tak. I m.in. dlatego jest to funkcjonalnosc opcjonalna, ktora mozna w dowolnym momencie wlaczyc lub wylaczyc. Podobnie jak na przyklad kompresje.
Więc nie bardzo rozumiem, jaki jest target tego systemu. Na razie najpopularniejszy jest na maszynach Suna, gdzie i tak od zawsze siedział Solaris. Dla małych serwerów w hostowniach www i zwykłych użytkowników, różne ficzery OpenSolarisa/ZFS są zwyczajnie mało potrzebne. Niedawno intensywnie promowano ten system jako wybór dla developera, ale developerowi ram i cpu żrą kompilator tudzież IDE i tak trywialne procesy jak system plików powinny w możliwie największym stopniu "siedzieć cicho", a ZFS to nadal "resource hog" mimo wszystkiego co daje.
Właściwie zostaje rynek większych serwerów, tyle że tam każdy liczący się producent (łącznie z Sunem) daje swoje systemy i Linuksa w opcji.
@Low Year: Target ten sam, co innych uniksow, czyli przede wszystkim serwery. Po prostu ZFS daje administratorowi mozliwosci, ktorych nie maja inne systemy plikow.
A Linuksa owszem, daje kazdy producent. Tyle, ze klient moze chciec cos bardziej funkcjonalnego.
Ale kto powieadział ze OpenSolaris to system TYLKO dla deweloperów? To także platforma rozwojowa dla Solarisa, więc to co teraz wprowadza się w OpenSolarisie niedługo znajdzie się właśnie w Solarisie. Poza tym pierwszy raz widze żeby ktoś narzekał na wprowadzenie tak długo wyczekiwanej funkcjonalności "bo deweloperom na pewno się nie przyda". Czas pokaże czy się nie przyda, a narzekać na coś czego się nawet nie widziało w akcji jest co najmniej dziwne. Naprawdę nie podoba Ci się, że ZFS jest tak do przodu, nie używaj. Proste.
No właśnie, kto? Bo na przykład ja powiedziałem coś dokładnie odwrotnego. Do czego pijesz?
Uważasz, że system plików to "trywialny proces" i powienien "siedzieć cicho". Używaj więc trywialnych systemów plików, które potrzebują znacznie mniej zasobów od ZFS. ZFS jest dla ludzi którzy cenią bezpieczeństwo danych ponad wymagania systemowe (chociaż nie są one nie wiadomo jak wysokie). Jeżeli tak bardzo nie odpowiada Ci złożoność tego systemu plików po prostu nie używaj.
Tak, dla developera to jest trywialny proces. Dla zwykłego użytkownika tym bardziej. Na pomniejszych serwerkach bezpieczeństwo danych jest ważne, ale nie za cenę utrzymywania ciężkiego sprzętowo systemu. Na dużych nikt (prócz Suna) OpenSolarisa nie używa, bo duzi producenci mają swoje systemy. Innego zastosowania poza byciem, jak trafnie określiłeś, "platformą rozwojową dla Solarisa" istotnie nie widać. Cóż, jeśli takie są tego systemu ambicje, nie mi je oceniać
@Low Year: Ach, do tego pijesz. Wiesz, rownie dobrze moglbys spytac, do kogo jest skierowana Fedora. Fedora to po prostu wersja developerska RHEL-a – tak, jak OpenSolaris to wersja developerska Solarisa. Z tym, ze oficjalnej wersji RHEL-a za darmo nie dostaniesz, a Solarisa – jak najbardziej.
Oczywiście, ale Fedora nie aspiruje do jakiejś większej roli – chociaż jej społeczność może twierdzić co innego i przez jakiś czas była dość popularna. Jednak to było, jest i będzie poletko doświadczalne Red Hata
Przez chwilę wydawało się, że OpenSolaris aspiruje do jakiejś większej roli, bo zawiera naprawdę sporo ciekawych rozwiązań. Jednak rozwój tego systemu jest nawet w większym stopniu prowadzony "pod Solka" niż rozwój Linuksa "pod serwery". Zaryzykowałbym twierdzenie, że taki od początku był zamiar Suna, co przejawia się użyciem licencji w założeniach mającej niezgodność z GPL. Szkoda.
@Low Year: Tak gwoli scislosci, to niezgodnosc z innymi licencjami jest w zalozeniach GPL, nie CDDL. Sun nie mogl dac uzytkownikom ochrony patentowej, zachowujac jednoczesnie kompatybilnosc z GPL.
No wydanie 2010.02 zapowiada się ciekawie. Ciekawie dlatego bo mi w końcu zaczął działać na moim laptopie. Stąd można pobrać wydania testowe systemu http://www.genunix.org/
Instalujesz duże wydanie systemu (jak 2009.06).
Ustawiasz publisher na pkg.opensolaris.org/dev komendą:
# pkg set-publisher -P -O http://pkg.opensolaris.org/dev dev
Aktualizujesz system komendą:
# pkg image-update
Aktualną wersją rozwojową OpenSolarisa jest snv_126
A czy działa dobrze pod Virtualboksem?
Oczywiście że tak.
bez virtualboxa też działa
Używam na laptopie i niedługo na stacjonarnym też.
Moim zdaniem na uwagę zasługują komentarze pod oryginalnym wpisem podnoszące problem kolizji potęgowany przez paradoks dnia urodziń(en). Co prawda przy 256-cio bitowym skrócie trzeba by trzymać ok 10^20 PT żeby prawdopodobieństwo kolizji było porównywalne z prawdopodobieństwem błędnego odczytu, niemniej jednak jest to dużo mniej niż 10^77 (cała 256-cio bitowa przestrzeń) i raczej nie trzymałbym na "dedupowanych" systemach żadnych cennych danych.
I dlatego w ZFS, jesli nie ufasz prawdopodobienstwu, mozesz wlaczyc dedup w trybie 'verify', w ktorym zadna kolizja ci nie grozi.
Dlaczego? Dla takich ja Ty niedowiarków (sam takim jestem) jest opcja verify, czyli w przypadku kiedy potencjalnie zaistniała by kolizja, to system wykona weryfikację bajt po bajcie. Oczywiście zajmuje to czas… ale coś za coś.
Miało być: "10^20 PB" (Petabajtów)
Produkcyjny system plików! nie ma co! ROTFL!
Mysle, ze to nie taka znow tragedia. Taka sytuacja (bledny uberblock) nie powinna sie nigdy zdarzyc zakladajac, ze dysk zachowuje kolejnosc wykonywania komend, a synchroniczne komendy sa rzeczywiscie wykonywane synchronicznie. Te zalozenia przywiecaly developerom ZFS. Jednak znalazly sie tanie dyski w ktorych te zalozenia sa lamane, uzytkownicy zglaszali problemy (gdy cos padlo podczas zapisu i struktura zostala niespojna).
Minelo troche czasu, zanim zidentyfikowano i rozwiazano problem, najpierw przez reczne manipulacje, a pozniej tworzac odpowiednie narzedzie.
Polecam dyskusje pod http://www.osnews.com/story/22423/Should_ZFS_Have… (czyli http://www.osnews.com/comments/22423)
@Apage: W przypadku typowych systemow – chociazby wszystkich dostepnych pod Linuksem – w tej sytuacje mialbys ciche uszkodzenie danych lub filesystemu. Tyle, ze pod Linuksem jest tak nadal (i bedzie nadal, bo w tradycyjnym systemie plikow nie da sie tego wykryc), a w ZFS jest juz mechanizm rozwiazujacy problem.
Nie wiesz co piszesz człowieku. W takich sytuacjach ext3 czy ext4 praktycznie są nie do odzyskania. Po drugie na maszynach produkcyjnych nie używasz takich dysków które robią takie oszustwa, jak zmiana kolejności danych w kolejce, albo nie respektowanie komend opróżniania bufoerów. Bądź co bądź i tak ZFS jest o wiele bezpieczeniejszy, i nigdy mnie nie zawiódł, mimo wielu awarii sprzętowych. W tym samym czasie ext3 czy ext4 sypał się, wymagał ręcznych interwencji, traciły się dane, albo lądowały w dziwnych miejscach, szkoda gadać.
Freebsd w ZFS będzie zawsze trochę za OpenSolarisem .
Jednak portowanie tylu rzeczy (min dtrace itd) z Fbsd do Osol mnie cieszy systemy te się upodobnią . Freebsd zyska świetne narzędzia a Opensolaris możliwość łatwego portowania programów z FreeBSD