Približne pol roka po tom, čo Google vydal svoj prelomový model MUM, Baidu odpovedala vlastným prelomom. V decembri 2021 čínsky vyhľadávací gigant zverejnil dokument s podrobnosťami o ERNIE 3.0 Titan, vylepšenej verzii jeho už tak pôsobivého modelu ERNIE.
Čo všetko teda ERNIE 3.0 Titan dokáže, v čom sa líši od pôvodného ERNIE 3.0, čím sa líši od MUM a bude jeho nástupcom OSCAR 4.0 Grouch? Odpovede na prvé tri otázky nájdete dopredu (žiaľ, zdá sa, že na obzore nie sú žiadne modely OSCAR – zatiaľ).
Čo je ERNIE 3.0 Titan?
Prvá vec je prvá – čo je vlastne ERNIE 3.0 Titan? Ako vysvetlili výskumníci Baidu v referát na danú témuje to model AI, ktorý je navrhnutý na vykonávanie úloh spracovania prirodzeného jazyka (NLP).
Inými slovami, má dešifrovať, čo používatelia myslia, keď zadajú vyhľadávací dopyt. Ide o rovnakú funkciu, ktorú má Google v úmysle dosiahnuť pomocou svojho algoritmu MUM a pred ním BERT, a dokáže to dosiahnuť pomocou rozsiahleho školenia založeného na miliardách parametrov (tj úryvkov údajov, z ktorých sa model môže učiť).
Zatiaľ čo pôvodný model ERNIE 3.0 od Baidu bol trénovaný s pôsobivými 10 miliardami parametrov, ERNIE 3.0 Titan bol trénovaný s priam úžasnými 260 miliardami parametrov. To je ohromujúci pokrok, najmä preto, že medzi oznámením ERNIE 3.0 a oznámením ERNIE 3.0 Titan uplynulo iba približne šesť mesiacov.
Možno sa výskumníkom Baidu podarilo dosiahnuť takýto výkon, pretože sa im podarilo drasticky zvýšiť možnosti ERNIE 3.0 bez toho, aby úplne prepracovali jeho rámec. Rovnako ako ERNIE 3.0, aj ERNIE 3.0 Titan používa rozsiahle textové údaje a znalostný graf na uľahčenie niekoľkonásobného učenia (učenie s obmedzenými príkladmi), učenia nulového záberu (učenie bez príkladov) a dolaďovania (ďalšie vylepšenia). :
Keďže Baidu je zďaleka popredným čínskym vyhľadávačom, nemalo by byť prekvapením, že ERNIE 3.0 Titan je navrhnutý tak, aby porozumel čínskemu jazyku. A so svojím neskutočným množstvom parametrov je Titan doteraz najväčším čínskym hustým predtrénovaným modelom.
Najdôležitejšie je, že výkon Titanu podporuje jeho obrovskú veľkosť. Podľa výsledkov experimentov výskumníkov z Baidu prekonáva ERNIE 3.0 Titan najmodernejšie (SOTA) modely v 68 úlohách NLP. To zahŕňa strojové čítanie s porozumením, sémantickú podobnosť, klasifikáciu textu, odpovedanie na otázky v uzavretej knihe a ďalšie.
Pre porovnanie, pôvodný ERNIE 3.0 prekonal SOTA modely v 58 čínskych úlohách NLP. Opäť to predstavuje obrovské zlepšenie v časovom rámci len pol roka.
Ako sa porovnáva ERNIE 3.0 Titan s MUM od Google?
Google oznámila MUM v máji 2021 a Pandu Nayak – viceprezident spoločnosti pre vyhľadávanie – sa neostýchal propagovať svoju silu. Je „1 000-krát výkonnejší ako BERT,“ povedal, a „má potenciál zmeniť spôsob, akým Google pomáha [users] so zložitými úlohami.”
To preto, že MUM je:
- schopný nielen porozumieť jazyku, ale ho aj generovať;
- vyškolených v 75 jazykoch; a
- multimodálny, čo znamená, že rozumie textom aj obrázkom (a jedného dňa bude rozumieť aj videu, zvuku a iným formátom).
Je to obdivuhodné a v blízkej budúcnosti to určite zlepší kvalitu SERP spoločnosti Google. Faktom však je, že jeho rozsah sa jednoducho nedá porovnávať s rozsahom ERNIE 3.0 Titan. Ako The Verge vypočítanéMUM má približne rovnakú veľkosť ako OpenAI Jazykový model GPT-3, ktorý má 175 miliárd parametrov. To znamená, že Titan má stále o neuveriteľných 85 miliárd parametrov viac ako MUM.
Aj keď je Titan nepopierateľne väčší ako MUM, je dôležité poznamenať, že Titan bol trénovaný iba v jednom jazyku (čínština), a nie v 75 jazykoch ako MUM. Navyše, Titan bol navrhnutý tak, aby rozumel jazyku a jazyku, zatiaľ čo MUM bol navrhnutý tak, aby okrem jazyka porozumel aj obrázkom, videám a zvukom.
To však neznamená, že MUM je vo svojej podstate lepšia ako Titan, ani to neznamená naopak. Namiesto toho to jednoducho znamená, že oba modely NLP sú veľmi odlišné a presne navrhnuté tak, aby slúžili konkrétnym potrebám materskej spoločnosti.
Ak chcete lepšie pochopiť, prečo je to tak, zvážte najväčšie silné stránky MUM: jej schopnosť porozumieť mnohým rôznym jazykom v rôznych formátoch. Pre Google to dáva zmysel, pretože je to popredný vyhľadávací nástroj nielen v USA, ale aj vo veľkých oblastiach Ameriky, Austrálie, Európy a Ázie. Google tiež veľa investuje do vizuálneho vyhľadávania a videa na webe, takže je pre nich veľkým prínosom vytvorenie multimodálneho modelu, akým je MUM.
Na druhej strane, ERNIE 3.0 Titan je výrazne väčší ako MUM, ale je vyškolený na to, aby porozumel a generoval výlučne čínsky jazyk. Na prvý pohľad sa to môže zdať ako obmedzenie, ale v skutočnosti je to pre Baidu prínosom. Predsa používateľská základňa Baidu pozostáva takmer úplne ľudí, ktorí žijú v Číne.
Takže MUM a ERNIE 3.0 Titan sú každý prispôsobený tak, aby spĺňali príslušné požiadavky Google a Baidu. A keďže Google v roku 2010 úplne opustil čínsky trh, žiadna zo spoločností nekonkuruje druhej (aj keď sme si istí, že ktorákoľvek z nich by bola šťastná, keby získala viac práv na vychvaľovanie).
Čo znamená ERNIE 3.0 Titan pre budúcnosť vyhľadávania?
Vydanie ERNIE 3.0 Titan nemusí priamo ovplyvniť každodenný život nikoho mimo Číny, ale nič neexistuje vo vzduchoprázdne (a to platí najmä na internete). Najnovší model NLP od Baidu ako taký stále ovplyvňuje oblasť vyhľadávania vo všeobecnosti.
Konkrétne Titan posúva hranice toho, o čom vieme, že je takzvaná „maximálna“ veľkosť modelu NLP, čínskeho alebo iného. A s GPT-4 sa očakáva, že bude mať okolo 100 parametrov keď v budúcnosti vyjde, otázka „Aký veľký môže byť model NLP?“ je relevantnejšia ako kedykoľvek predtým.
Okrem toho môže Titan ukázať svetu, ako hlboko dokáže model AI porozumieť jedinému zložitému jazyku, keď má dostatok údajov na prácu. (Naproti tomu MUM od Google nám ukáže, ako dobre dokáže model NLP porozumieť desiatkam jazykov súčasne.)
Titan je jeden veľký krok pre Baidu, jeden obrovský skok pre hľadanie
Ak sa stránky, ktoré optimalizujete, zameriavajú predovšetkým na nečínske publikum, možno ste sa príliš nezamýšľali nad optimalizáciou pre Baidu alebo učením sa o jeho algoritmoch, a je to pochopiteľné. Ale pravdou je, že vám záleží na tom, čo Baidu robí – jeho veľkosť a vplyv znamenajú, že jeho akcie majú dominový efekt na celý svet SEO a vyhľadávačov vo všeobecnosti, či už čínskych alebo nie.
A v prípade ERNIE 3.0 Titan to platí viac ako kedykoľvek predtým. S jeho vydaním Baidu dosiahol skutočný prielom a môžete sa staviť, že inžinieri Google pozorne sledujú každý detail. Vyhľadávače ešte len začínajú skúmať potenciál modelov NLP, ako sú ERNIE a MUM, a Baidu práve výrazne zvýšilo svoj náskok.
Obrazové kredity
Snímka obrazovky od autora / január 2022
Google / máj 2021
