Geoffrey Hinton

Geoffrey Everest Hinton

Data i miejsce urodzenia	6 grudnia 1947 Wimbledon
Zawód, zajęcie	informatyk, psycholog poznawczy
Multimedia w Wikimedia Commons
Strona internetowa

Geoffrey Everest Hinton CC FRS FRSC (ur. 6 grudnia 1947 w Wimbledonie)^[1] – kanadyjsko-brytyjski informatyk, psycholog poznawczy, najbardziej znany ze swoich prac nad sztucznymi sieciami neuronowymi, jeden z pionierów sztucznej inteligencji, nazywany jej ojcem chrzestnym. Profesor emeritus (od 2014) Uniwersytetu w Toronto.

Życiorys

Urodził się w 1947 r. w Wimbledonie, w rodzinie z tradycjami naukowymi. Jego prapradziadkiem był George Boole, żonaty z Mary Boole. Jego wujem był wynalazca Sebastian Hinton, stryjecznym dziadkiem matematyki i pisarz Charles Howard Hinton, który stworzył koncepcję czwartego wymiaru, kuzynką Joan Hinton, która była fizyczką nuklearną zatrudnioną przy projekcie Manhattan, stryjeczną ciotką pisarka i muzyczka Ethel Lilian Voynich. Jego ojcem był entomolog Howard Hinton^[2]. Jego drugie imię pochodzi od innego krewnego, George’a Everesta, generalnego geodety Indii, na cześć którego najwyższemu szczytowi na Ziemi nadano nazwę Mount Everest^[3].

Na University of Cambridge początkowo zamierzał studiować fizjologię i fizykę, po czym krótko zgłębiał filozofię, ale ostatecznie uzyskał dyplom w 1970 r. w zakresie psychologii eksperymentalnej. Po studiach krótko pracował jako stolarz, ale w 1972 r. wrócił do nauki. W 1977 r., na Uniwersytecie w Edynburgu, na podstawie rozprawy Relaxation and its Role in Vision uzyskał doktorat w zakresie prac nad sieciami neuronowymi^[2]. Promotorem pracy był Christopher Longuet-Higgins^[4][5][1]. Tematyka prowadzonych przez Hintona badań nie wzbudzała wówczas zainteresowania, stąd też trudno było o jej finansowanie. Hinton wyemigrował do Stanów Zjednoczonych, gdzie dołączył do grupy psychologów poznawczych jako postdoc na University of California, San Diego. W dwóch artykułach z 1986 r. spopularyzował również opracowane wyniku prac z Ronaldem J. Williamsem pojęcie propagacja wsteczna. Pozwoliła ona pokonać ograniczenia opisane wcześniej przez Marvina Minsky′ego^[1].

Gdy w USA badania nad systemami głębokiego uczenia się i komputerowymi sieciami neuronowymi nie były doceniane, przeniósł się do Kanady^[6]. W 1987 r. przyjął ofertę Canadian Institute of Advanced Researchand i zainaugurował tam program Learning in Machines and Brain^[2], tworząc prężny ośrodek badawczy na Uniwersytecie w Toronto^[6]. Od 1998 do 2001 r. pracował w Gatsby Computational Neuroscience Unit at University College London, po czym wrócił do Toronto^[1]. W 2012 r. wraz z zespołem wygrał doroczny konkurs ImageNet, prezentując komputerowy system, który potrafił rozpoznać 1000 obiektów dzięki głębokiemu uczeniu. W 2013 r. jego firma DNNresearch Inc. została przejęta przez Google, a on sam pracował od tej pory dla tego koncernu^[2].

W 2014 r. odszedł na uczelnianą emeryturę i założył w Toronto oddział Google Brain. Od 2017 r. pracował wolontariacko jako główny doradca naukowy Toronto’s Vector Institute w projekcie wdrożenia uczenia maszynowego na potrzeby kanadyjskiej opieki zdrowotnej i innych usług publicznych^[1].

Badania naukowe

Hinton jest postrzegany jako wiodąca postać w nurcie badań naukowych głębokiego uczenia się^{[7][8][9][10][11]}.

Hinton wspólnie z Davidem Ackleyem i Terrym Sejnowskim wynaleźli maszyny Boltzmanna^[12]. Jego inny wkład w badania sieci neuronowych obejmują reprezentacje rozproszone, sieci neuronowe z opóźnieniem czasowym, mieszanki ekspertów, maszyny Helmholtza i produkt ekspertów. W 2007 roku Hinton był współautorem artykułu dotyczącego uczenia się bez nadzoru zatytułowanego Uczenie się bez nadzoru transformacji obrazu^[13]. Przystępne wprowadzenie do badań Hintona można znaleźć w jego artykułach w Scientific American we wrześniu 1992 i październiku 1993 r.^[14]

W czasie badań postdoktoral^[15][16] w Uniwersytecie Kalifornijskim w San Diego, w 1986 r. Hinton wraz z Davidem Rumelhartem i Ronaldem J. Williamsem opublikowali pracę, która spopularyzowała algorytm propagacji wstecznej do uczenia wielowarstwowych sieci neuronowych^[17]. Praca ta była ważna w popularyzacji propagacji wstecznej, lecz autorzy nie byli jedynymi, którzy zaproponowali takie podejście^[18]. Automatyczne różnicowanie w trybie odwrotnym, którego szczególnym przypadkiem jest wsteczna propagacja, zostało zaproponowane przez Seppo Linnainmaa w 1970 r., a Paul Werbos zaproponował wykorzystanie go do uczenia sieci neuronowych w 1974 r.^[19]

Badania Hintona dotyczą sposobów wykorzystania sieci neuronowych do uczenia maszynowego, pamięci, percepcji i przetwarzania symboli. Jest autorem lub współautorem ponad 200 recenzowanych publikacji^[20][21]. Na konferencji poświęconej systemom przetwarzania informacji neuronowych (NeurIPS) przedstawił nowy algorytm uczenia się sieci neuronowych, który nazywa algorytmem „Forward-Forward”. Ideą nowego algorytmu jest zastąpienie tradycyjnych przebiegów propagacji wstecznej w przód i w tył dwoma przebiegami w przód, jednym z dodatnimi (tj. rzeczywistymi) danymi, a drugim z ujemnymi danymi, które mogą być generowane wyłącznie przez sieć^[22].

Promotor naukowców i kontynuatorów badań

Hinton był promotorem wielu doktoratów^[23], w Uniwersytecie w Toronto i Uniwersytecie Carnegie Mellon, z zakresu badań nad rozwojem sztucznej inteligencji: Richard Zemel^[24][25], Radford Neal^[26], Brendan Frey^[27], Yee Whye Teh^[28], Ruslan Salakhutdinov^[29], Ilya Sutskever^[30], późniejszy współzałożyciel i główny naukowiec firmy OpenAI^[31]. W ramach prac na rozwojem sztucznej inteligencji, w badaniach postdoctoral^[15][16] współpracował z naukowcami: Yann LeCun^[32], Alex Graves^[32], Zoubin Ghahramani^[32], Peter Dayan^[32], Sam Roweis^[32], Max Welling^[32].

Wyróżnienia i nagrody

Hinton został wybrany członkiem Royal Society FRS w 1998 r.^[33] Był pierwszym laureatem nagrody Rumelharta w 2001 r.^[34] W 2001 r. Hinton otrzymał tytuł doktora honoris causa Uniwersytetu w Edynburgu^[35]. W 2005 r. otrzymał nagrodę IJCAI Award for Research Excellence za całokształt twórczości^[36]. Został również odznaczony Złotym Medalem Herzberg Canada w 2011 r. w dziedzinie nauki i inżynierii^[37]. W 2013 r. Hinton otrzymał tytuł doktora honoris causa Université de Sherbrooke^[38]. W 2016 r. został wybrany członkiem zagranicznym National Academy of Engineering „za wkład w teorię i praktykę sztucznych sieci neuronowych oraz ich zastosowanie do rozpoznawania mowy i widzenia komputerowego”^[39]. Otrzymał również nagrodę IEEE/RSE Wolfson James Clerk Maxwell Award w 2016 r.^[40]

Hinton otrzymał w 2018 r. Nagrodę Turinga, często nazywaną „nagrodą Nobla w dziedzinie informatyki”, „za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się krytycznym elementem informatyki”^[41]. Hinton otrzymał nagrodę wraz z Yannem LeCunem i Yoshuą Bengio, za swoją pracę nad głębokim uczeniem się^[42]. Są oni czasami określani jako „ojcowie chrzestni sztucznej inteligencji” i „ojcowie chrzestni głębokiego uczenia się”^[43][44] i publicznie, wspólnie, wygłaszają wykłady^[45][46]. Hinton i nagrodzeni uczeni zdobyli nagrodę Turinga za koncepcyjne i inżynieryjne przełomy, które sprawiły, że głębokie sieci neuronowe stały się kluczowym elementem informatyki^[47][48][49].

W 2018 r. został Kawalerem Orderu Kanady^[50]. W 2021 r. otrzymał nagrodę Dickson Prize in Science od Carnegie Mellon University^[51], a w 2022 r., wspólnie z Yan LeCun, Yoshua Bengio i Demisem Hassabisem nagrodę księżnej Asturii w kategorii badań naukowych^[52].

Kontynuacja aktywności

Po tym, jak OpenAI wypuściła w 2023 r. kolejną wersję chatbota ChataGPT, ponad tysiąc ekspertów i badaczy technologii opublikowało list otwarty wzywający do trwającego pół roku moratorium na rozwój nowych systemów. Hinton nie był jednym z sygnatariuszy listu, gdyż nie chciał publicznie krytykować firmy Google jako jej pracownik. Wkrótce potem zdecydował się jednak na odejście z firmy, ze względu na to, że zmieniła politykę wobec AI i przyśpieszyła prace nad nią pod presją konkurencji. Hinton przyznał, że już w momencie, gdy podjął publiczną krytykę szybkiego rozwoju narzędzi AI, były one narzędziem do wytwarzania i szerzenia dezinformacji obejmującej zdjęcia, nagrania i teksty^[6].

Przypisy