Dzięki nowej usłudze (zintegrowanej z innymi produktami Google jak Places, Latitude czy Maps) możemy ocenić miejsca, które często odwiedzamy, sprawdzić jak oceniają i komentują je inni, w obietnicy dostając spersonalizowane rekomendacje w skali globalnej — Google podpowie nam gdzie powinniśmy się stołować, gdziekolwiek nas poniesie. Sugestie te dostępne będą przy przeszukiwaniu Google Places.

Hotpot dostępny jest jako usługa www oraz aplikacja Androida. Wersja na iPhone ma się pojawić wkrótce.

Przed chwilą jeszcze na stronie www.google.com/hotpot można było znaleźć komunikat, że serwis nie jest dostępny w Polsce, ale firma zachęca do skorzystania z wersji anglojęzycznej. Ta wersja jednak przekierowywała pod każdym łączem na niedziałającą wersję polską i zapewne dlatego zdecydowano się ją wyłączyć.

Wdrożenie było możliwe, gdyż algorytm stworzony przez zespół Filmastera opublikowany jest na licencji Affero GPLv3. Oznacza, że każdy może go wykorzystać w swoim projekcie, o ile wszelkie zmiany i poprawki udostępni publicznie na tej samej licencji.

To własnie potęga otwartości! Dobre rozwiązania, stworzone na potrzeby jednego projektu, szybko replikowane są w innych. Korzystają z tego wszyscy zainteresowani, gdyż algorytm unowocześniany przez kilka zespółów jednocześnie dąży do doskonałości szybciej niż ma to miejsce w przypadku zamkniętych, chronionych pod kluczem rozwiązań.

Marcin Szajda, twórca LubimyCzytać.pl, chwali wdrożenie:

Od dłuższego czasu poszukiwaliśmy rozwiązania, które na podstawie ocen użytkowników pozwoliłoby nam z dużą precyzją sugerować im książki warte przeczytania. Wybór padł na silnik rekomendacji Filmastera. Nowy silnik rekomendacji działa w serwisie od kilku dni, a odzew społeczności jest bardzo pozytywny. Każdy użytkownik, który ocenił w serwisie co najmniej 20 książek, otrzymuje codziennie aktualizowaną, pokategoryzowaną listę książek. Sam silnik nie jest trudny do wdrożenia, działa szybko, sprawnie i co najważniejsze bardzo dobrze poleca książki. Skuteczność algorytmu mierzona pierwiastkiem z błędu średniokwadratowego jest w granicach RMSE=0.88.

Jesteśmy bardzo zadowoleni z wdrożenia algorytmu rekomendacji Filmastera.

Autorem algorytmu rekomendacji jest Jakub Tlałka. Jego prezentację z Auli Polskiej można obejrzeć na stronie konferencji: Filmaster – komputerowe wróżbiarstwo czyli jak poprawić wyniki silnika rekomendacji o 20%? W miniony weeken Jakub na Jesieni Linuksowej w Ustroniu Jaszowcu, wygłosił również referat na temat rekomendacji, gdzie opowiedział m.in. o sposobach poprawiania skuteczności algorytmu. Wideo z tej prezentacji nie jest jeszcze dostępne.

Szczegółowo o algorytmie rekomendacji poczytać można na wiki projektu Filmaster: New recommendation engine, a na bitbuckecie ściągnąć można otwarty kod algorytmu.

Nowy silnik rekomendacji serwisu stworzony został w oparciu o dobre praktyki wypracowane przez programistów pracujących nad rozwiązaniem konkursu Netflix (zwiększenie o 10% celności filmowych rekomendacji).
Trafność rekomendacji nowego algorytmu Filmastera wyliczona za pomocą testu silników rekomendacji, jest prawie 20% większa niż wcześniejszego algorytmu. Konkretnie, wartość RMSE wyliczona na podstawie około ćwierć miliona ocen wynosi:
- 1,55 dla starego algorytmu
- 1,30 dla nowego

Nowy algorytm pobiera dane dotyczące głosów z bazy danych, następnie przetwarza je generując rekomendacje, by ostatecznie nadpisać wcześniej wygenerowane rekomendacje w bazie. Pierwsza i ostatnia część jest oczywiście specyficzna dla Filmastera. Sam algorytm jednak, będący sercem silnika, jest całkowicie uniwersalny i może być wykorzystany w dowolnym projekcie open source.

Nad nowym algorytmem rekomendacji pracował Jakub Tlałka. W zeszłym roku licealista w Staszicu i finalista Olimpiady Matematycznej, obecnie student pierwszego roku matematyki i informatyki Uniwersytetu Warszawskiego oraz dorywczo programista Filmastera.

Mimo że serwis Filmaster napisany jest w większości w Pythonie (framework django), silnik rekomendacji zaimplementowany został w C++ ze względu na większą wydajność. Kod nowego silnika pobrać można z repozytorium. Podobnie jak całość kodu Filmastera dostępny jest on na licencji AGPLv3.

Szczegółowa dokumentacja techniczna nowego algorytmu znajduje się na wiki: New recommendation engine. Porównać ją można z wcześniejszym algorytmem oraz z niezaimplementowanym pomysłem na alternatywny algorytm rekomendacji.

Algorytm przetestować możecie oceniając co najmniej 20 filmów w serwisie Filmaster (wymagane jest konto), a następnie przechodząc na stronę rekomendacji filmów. Alternatywnie, możecie zaaplikować mechanizm rekomendacji na własnych danych. W przypadku sukcesów lub porażek, prosimy o komentarze.

Jak tłumaczą deweloperzy MySpace:

Środowiska MapReduce stosowane są przez serwisy przetwarzające jednocześnie ogromne ilości danych, takie jak strony Google czy Amazon. Podobnie w MySpace, miliony użytkowników odtwarzają i tworzą treści wideo i inne, co powoduje przesyłanie przez sieć ogromnych ilości informacji. Qizmt przetwarza dane naszych użytkowników (aktywne dane) jak również dane generowane przez nasze systemy analityczne (pasywne) i generuje na ich podstawie rekomendacje w czasie rzeczywistym [...]

MySpace wykorzystuje wprawdzie Qizmt głównie do generowania rekomendacji, ale framework jest podobno ogólny i może służyć do przetwarzania dowolnych danych.

Otwarcie kodu przez MySpace to na pewno świetna informacja dla wszystkich kodujących w środowisku .NET / Windows. Podobny framework — Hadoop MapReduce — rozwija jednocześnie Fundacja Apache.

Qizmt dostępny jest na licencji GNU GPLv3 i ściągnąć go można ze strony qizmt na Google Code (gdzie też poczytać możemy o technicznych aspektach projektu).

W ciągu tych trzech lat informacje o netflix prize pojawiały się w różnych mediach, od technicznego magazynu Wired do New York Timesa i amerykańskiego publicznego radia. Autor nie brał udziału w konkursie, ale ponieważ nie zauważył zainteresowania polskich mediów tym ciekawym tematem, postanowił zwrócić na niego uwagę niniejszym tekstem.

Netflix to wypożyczalnia, która wysyła filmy pocztą (tradycyjną), a od niedawna również przez Internet. Płacąc miesięczny abonament klient może wypożyczać płyty DVD tak często jak chce. Dla przykładu, za $9 (mniej więcej tyle co bilet do kina albo niedrogi lunch w USA) można wypożyczać po jednym filmie, a za $17 po trzy naraz. Po odesłaniu filmów trzeba poczekać parę dni na następną porcję — poczta musi dostarczyć przesyłkę tam i z powrotem. 10M (milionów) klientów ma do dyspozycji 100k (tysięcy) tytułów na 55M płyt. Wypożyczalnia wysyła dziennie około 2M płyt DVD i płaci amerykańskiej poczcie ok. $300M rocznie.

Obejrzane filmy można oceniać, a system, analizując dotychczasowe oceny, poleca kolejne pozycje. Na podstawie tych rekomendacji klienci wypożyczają aż 60% filmów, więc odgadnięcie, co się komu spodoba, jest ważne dla korporacji, bo zniechęceni klienci oglądają mniej filmów i nieraz, dochodząc do wniosku, że stały abonament im się nie opłaca, wracają do tradycyjnych wypożyczalni.

W 2006 roku, przed ogłoszeniem konkursu, było już wiele portali wdrażających ideę wspólnej filtracji (collaborative filtering) oraz sklepów internetowych stosujących spersonalizowane rekomendacje. Byli też naukowcy badający wzorce ludzkich wyborów i szukający najlepszych algorytmów. Wśród nich grupa z Uniwersytetu stanu Minnesota, która przyjęła nazwę GroupLens. Ta grupa zainwestowała sporo czasu w stworzenie MovieLens, jednego z popularniejszych serwisów dających spersonalizowane rekomendacje filmowe. Dzięki temu dysponowała danymi do swoich badań — największą akademicką bazą filmowych ocen — w 2006 roku było to 13M ocen wystawionych przez 140k użytkowników. Mniej więcej tyle ocen, ile Netflix otrzymywuje w ciągu tygodnia.

W październiku 2006 roku Netflix udostępnił małą część swoich danych, 100M ocen, i ogłosił konkurs na najlepszy algorytm przewidujący kolejne oceny. Udostępnione dane z ocenami miały postać czwórek: użytkownik – film – ocena – data wystawienia. Uczestnicy dostali też zbiór testowy w postaci trójek: użytkownik – film – data, i zostali poproszeni o uzupełnienie tego zbioru o oceny. Dla ochrony prywatności klientów użytkownicy zostali oznaczeni numerami i jedyne, co o nich wiadomo, to kiedy i jak oceniali filmy. Upubliczniona baza danych, wraz z obiecaną nagrodą, dały nowy impuls do badań nad collaborative filtering.

W tamtym czasie naukowcy z Minnesoty wydawali się już zmęczeni szukaniem najlepszego algorytmu i zajmowali się innymi tematami. Na przykład tym, czy trafność rekomendacji rzeczywiście odzwierciedla ich użyteczność. W jednej z publikacji wręcz kontestowali istniejące algorytmy, porównując je do systemu dla turystów, który poleca nam podróże w te miejsca, w których już byliśmy. Badali też zagrożenia dla prywatności wynikające z ujawniania swoich preferencji (wideo z wykładu). Wkrótce okazało się jednak, że szukając odpowiedzi na podstawowe pytanie, jaki matematyczny model najlepiej opisuje gusty ludzkie, można odkryć jeszcze wiele nowych rzeczy. I odkryją to uczestnicy konkursu.

Za punkt odniesienia w konkursie posłużył algorytm stosowany wówczas przez Netflixa, nazwany Cinematch. Regulamin przewidywał, że główna nagroda, milion dolarów, zostanie przyznana dopiero 30 dni po tym, jak jedna z drużyn osiągnie wynik o 10% lepszy niż Cinematch (teraz znamy już datę, 30 dni minie 26 lipca). W międzyczasie co rok przyznawano nagrodę za postępy, $50K dla drużyny pierwszej w rankingu.

Za miarę skuteczności algorytmu przyjęto RMSE (pierwiastek z błędu średniokwadratowego, ang. root mean squared error). Cinematch miał RMSE=0.9525. W tydzień po ogłoszeniu konkursu pierwsza z drużyn dysponowała algorytmem dającym mniejszy RMSE. Miesiąc później poprawa wynosiła już około 5%. Rok później — ponad 8%, ale poprawianie wyników stawało się coraz trudniejsze. Pod koniec 2008 roku, kiedy najlepsze drużyny rozciągnięte były między 8 a 9%, niektórzy zawodnicy zastanawiali się, czy cel jest w ogóle możliwy do ociągnięcia. W końcu, dwa lata i 9 miesięcy po rozpoczęciu konkursu, 10% zostało przekroczone.

Zwykła średnia z ocen dla danego filmu, bez żadnej personalizacji, daje RMSE o ok. 10% większy niż Cinematch. RMSE o 10% mniejszy dawał z kolei główną nagrodę. Dużo wskazuje na to, że pomiędzy prostą średnią a najlepszym możliwym algorytmem jest dwadzieścia kilka procent różnicy, a szum, z którym nie da się nic zrobić, przekracza poziom RMSE=0.8. Użytkownicy Netflixa mogą mogą przyznawać filmom od 1 do 5 gwiazdek. Niepewność bliska jednej gwiazdki wydaje się dość duża, bo przecież, obstawiając ocenę na środku skali, możemy się pomylić najwyżej o 2 gwiazdki. Na szum, który uniemożliwia dokładniejsze prognozy, składają się czynniki, których nie sposób uwzględnić w modelu, takie jak nasz humor w trakcie oglądania filmu. Być może przeszkodą jest również mała ilość ocen na skali. Wielu użytkowników Netflixa narzeka na brak połówkowych gwiazdek, ale przeprowadzone testy pokazały, że większy wybór zniechęca ludzi do oceniania. Dziesięć procent poprawy, które było celem konkursu, nie brzmi imponująca, jednak według analizy Yehudy Korena z drużyny prowadzącej w rankingu, niewielka poprawa RMSE, nawet o 1%, przekłada się na znacznie trafniejszy wybór polecanych filmów.

Cinematch, tak samo jak algorytmy w MovieLens, Amazon i większości innych silników rekomendacji w 2006 roku, opierał się na podobieństwie filmów lub użytkowników. Jeśli ktoś ma gust podobny do mojego, to pewnie nasze oceny będą zbliżone również w przyszłości. Jeżeli dwa filmy są oceniane podobnie, to znaczy, że są podobne, więc jeśli wysoko oceniliśmy jeden z nich, to system zakłada, że spodoba nam się również drugi. Podobieństwo obliczano przy użyciu algorytmu k najbliższych sąsiadów (kNN). Tym tropem szli też na samym początku uczestnicy konkursu. Wkrótce jednak nastąpił przełom.

Jedną z rzeczy, która zaskoczyła organizatorów konkursu, było to, jak chętnie uczestnicy dzielą się swoimi doświadczeniami. Wprawdzie organizatorzy zadbali o forum dyskusyjne do wymiany myśli, ale współpraca drużyn przerosła ich oczekiwania. Dyskusje na forum dotyczyły różnych rzeczy. Narzędzi programistycznych. Osobliwości znalezionych w bazie danych, takich jak 17k guy, rekordzista, który ocenił prawie wszystkie filmy (ponad 17k) z udostępnionego podzbioru danych. Ale co najważniejsze, dotyczyły również stosowanych algorytmów. Wielu uczestników, czy to z braku wiary w wygraną, czy z akadmickich przyzwyczajeń, ujawniało swoje sekrety, dzięki czemu wszyscy czynili szybkie postępy.

Przełomem, który nastąpił w pierwszym miesiącu trwania konkursu, było zastosowanie SVD, po polsku: rozkładu macierzy według wartości szczególnych. Odpowiada to rozłożeniu filmów na czynniki, które mogą się podobać lub nie. Okazało się, że porównywanie filmów całościowo daje gorszy rezultat niż porównywanie elementów, które składają się na film, a ludzki gust może być modelowany jako liniowe reakcje na poszczególne elementy. Dwie osoby mogą lubić tego samego aktora, ale jedna z nich może nie lubić magii albo przemocy. Końcowa ocena filmu, zawierającego te i inne elementy, będzie wypadkową wszystkich czynników. Przy dostatecznej ilości danych algorytm może te czynniki rozdzielić. Jeden z członków zespołu prowadzącego w rankingu pisze, że modelowanie widza przy pomocy tylko 50 czynników daje całkiem dobre rezultaty, a powyżej 200 dalsze zwiększanie liczby czynników nie powoduje już poprawy. Powyższy przykład może być o tyle mylący, że film jest rozkładany na czynniki automatycznie. Komputer powie nam, w jakich filmach i w jakich ilościach występuje, dajmy na to, czynnik numer 23, ale interpretacja, co naprawdę te filmy mają ze sobą wspólnego i czemu dany czynnik odpowiada, wydaje się niemożliwa. Na szczęście, nie jest to potrzebne do przewidywania ocen. Co ciekawe, przydatność SVD dla collaborative filtering była już wzmiankowana w pracach naukowych w ubiegłym stuleciu, jednak do czasu konkursu Netflixa nie znalazła szerszego uznania.

Yehuda Koren, w swojej pracy przedstawionej na konferencji w ubiegłym roku, wyróżnia dwa rodzaje podejść do konkursowego problemu: modele sąsiedzkie (czyli podobieństwo filmów bądź użytkowników) i modele z ukrytymi czynnikami (takie jak SVD). Jak pisze, najlepsze rezultaty daje połączenie różnych modeli. Łączenie algorytmów jest tutaj bardzo proste. Dwa algorytmy można połączyć biorąc średnią z przewidywanych ocen. Rozwiązania, które teraz znajdują się w czołówce rankingu, są liniową kombinacją wyników uzyskanych z setek różnych algorytmów.

Walcząc o ostatnie dwa procenty, zawodnicy stosowali coraz bardziej subtelne metody. W roku 2008 najważniejszym postępem stało się uwzględnienie daty oceny i zmienności gustu w czasie. Dużo pracy włożono też, aby zbudować lepszy model przy użyciu danych zewnętrznych, takich jak gatunek filmu albo występujący aktorzy. W końcu jednak okazało się, że dodatkowe informacje nic nie wnoszą do przewidywania ocen.

Granicę 10% została przekroczona po połączeniu się dwóch drużyn z czołówki. Powstały zespół, BellKor’s Pragmatic Chaos, aktualnie z wynikiem 10,05%, składa się łącznie z trzech drużyn, a jego najgroźniejszy konkurent, Grand Prize Team, 9,84%, to 9 zespołów, które wymieszały swoje wyniki.

Grupa BellKor’s Pragmatic Chaos składa się z siedmiu specjalistów z USA, Kanady, Austrii i Izraela. Jeszcze nie jest pewne, czy to oni zdobędą główną nagrodę, ale wygląda na to, że niektórzy z pozostałych uczestników też mogą być zadowoleni z udziału w zabawie. Ponad rok temu magazyn Wired poświęcił długi artykuł bezrobotnemu psychologowi z Londynu (bezrobotnemu z wyboru), który niespodziewanie znalazł się w czołówce. W matematyce pomagała mu córka. Obecnie psycholog prowadzi rodzinną firmę zajmującą się podobnymi analizami i pisze, że ma więcej zleceń niż jest w stanie przyjąć.

Obecnie udostępniona wersja oznaczona jest jako alfa. Nie można więc spodziewać się cudów. Można jednak:

• przesyłać informacje o słuchanych piosenkach dzięki integracji z audioscrobbler.com oraz kilkoma odtwarzaczami audio, jak ZOMG (wspiera wysyłanie piosenek jednocześnie do libre.fm i last.fm) czy Rhythmbox, Herrie i lastfmsubmitd (a tu lista tego co wspierane będzie),
• przeglądać rekomendacje nowych piosenek/artystów online,
• porównać swój gust z gustem innych użytkowników

Docelowo projekt ma m.in. pobierać muzykę z serwisów takich jak Jamendo i działać bardzo podobnie do Last.fm, tyle że oparty będzie na wolnych utworach. Więcej w Roadmapie.

W skrócie, to taki Filmaster.pl tylko dla muzyki

Libre.fm jest wolnym oprogramowaniem. Dostępna jest wersja w PHP oraz alternatywna (niepełna) implementacja w Pythonie i Django. Nad projektem pracuje już spora grupa programistów, ale każdy jest mile widziany.

Zachęcam do wzięcia udziału w testach i nie zrażania się chwilowymi niedoróbkami. Nie-programiści mogą pomóc np tłumacząc serwis na język polski lub zgłaszając błędy i propozycje ulepszeń.