Foto: Magnific
Umělá inteligence dnes zvládne napsat program, připravit cestovní plán nebo poradit s nákupem elektroniky. Jenže co se stane, když jí uživatel neřekne přesně, co očekává? Právě na tuto otázku se zaměřila redaktorka Mahnoor Faisal z technologického magazínu XDA. Po dobu jednoho týdne zkoušela tři známé chatboty, ChatGPT od OpenAI, Claude od společnosti Anthropic a Gemini od Googlu , aniž by jim poskytovala podrobné instrukce.
Experiment vycházel z jednoduché úvahy. Vývojáři moderních jazykových modelů zdůrazňují jejich schopnost uvažovat, pracovat se souvislostmi a samostatně řešit úkoly. Uživatelé však stále dostávají doporučení, aby své požadavky formulovali co nejpřesněji. Redaktorka proto chtěla zjistit, nakolik si dnešní AI dokáže potřebné informace domyslet, případně zda se umí správně zeptat.
Aby jednotlivé služby nemohly čerpat z předchozích rozhovorů, využila dočasné nebo anonymní konverzace a deaktivovala paměťové funkce. Každému chatbotu následně zadala pět stejných, záměrně obecných úkolů.
Šlo o výběr mezi iPadem a tabletem s elektronickým inkoustem, naplánování třídenní návštěvy Tokia, vysvětlení rekurze v programování, návrhy témat pro YouTube a vytvoření firemního webu. Zadání neobsahovala podrobnosti o rozpočtu, zkušenostech, zájmech ani konkrétních požadavcích na výslednou práci.
AI chatbots Foto: Magnific
Gemini odpovídal správně, ale často skončil příliš brzy Nejméně přesvědčivě podle autorky dopadl Google Gemini. Nešlo přitom o to, že by zadání nechápal nebo poskytoval vyloženě nepoužitelné odpovědi. Problém spočíval především v jejich omezeném rozsahu a menší ochotě nabídnout další praktickou pomoc.
Dobře to ukázalo vysvětlování rekurze. ChatGPT připravil postupné vysvětlení, názorný příklad v Pythonu a dokonce kontrolní otázku. Claude se věnoval také tomu, jak se při rekurzivním volání funkcí postupně vracejí výsledky. Gemini zůstal u jednoduchých přirovnání a obecného popisu bez ukázky programového kódu.
Podobný rozdíl se projevil při rozhodování mezi iPadem a elektronickým zápisníkem. Zatímco Claude sestavil praktické porovnání a ChatGPT nabídl interaktivní dotazník pro upřesnění potřeb, Gemini především popsal vlastnosti obou kategorií zařízení. Informace tedy poskytl, ale uživateli podle autorky tolik nepomohl s konkrétním rozhodnutím.
Při plánování cesty do Tokia zase ChatGPT připravil itinerář včetně mapy a odhadovaných nákladů. Claude nabídl přehledně uspořádaný program. Gemini sestavil použitelný plán, jedna z nabízených interaktivních funkcí se však při testování nepodařila načíst.
Právě poslední případ upozorňuje na důležitou okolnost. Uživatel nehodnotí pouze jazykový model, ale celý produkt včetně jeho uživatelského rozhraní a dostupných nástrojů. Nefunkční interaktivní prvek proto nemusí vypovídat o samotných schopnostech modelu.
ChatGPT chtěl pracovat okamžitě. Claude poznal, kdy se má nejdříve zeptat Zajímavější než samotné pořadí byly rozdílné přístupy dvou úspěšnějších chatbotů. ChatGPT se podle redaktorky většinou snažil rovnou vytvořit použitelný výsledek. Když mu chyběly podrobnosti, pracoval s vlastními předpoklady a následně nabízel možnosti, jak odpověď upravit.
Výhodou byly také interaktivní prvky. Namísto dlouhého dopisování dalších požadavků mohl uživatel v některých případech jednoduše vybrat odpovědi z nabízených možností. ChatGPT tím dokázal usnadnit pokračování konverzace.
Taková iniciativa ale nemusí být vždy správná. Ukázal to úkol vytvořit firemní webovou stránku. ChatGPT bez dalších otázek vygeneroval HTML web, který bylo možné stáhnout. Výsledek byl funkční, ale vycházel z předpokladů, které si chatbot vytvořil sám.
Claude naopak nejdříve požádal o informace týkající se podnikání a požadovaných funkcí. Teprve potom připravil stránky pro fiktivní kavárnu Brew & Bloom. Podle hodnocení autorky výsledek lépe odpovídal skutečnému zadání.
Tento rozdíl má praktický význam. Pokud uživatel hledá inspiraci nebo první návrh, rychlá iniciativa šetří čas. Při vývoji skutečného firemního webu však mohou chybějící informace o zákaznících, nabízených službách nebo obchodních cílech změnit téměř celé řešení. V takové situaci představuje doplňující otázka výhodu, nikoliv zdržení.
Přesto je potřeba interpretovat výsledek opatrně. Autorka sice nechala odpovědi anonymně posoudit další umělou inteligencí, ale stále jde o omezený uživatelský experiment. Pět různých úkolů bez zveřejněného systematického opakování nestačí ke stanovení obecného pořadí nejlepších jazykových modelů. Z dodaného popisu navíc není zřejmé přesné označení všech testovaných verzí.
Srovnání také hodnotilo určité preference. Rozsáhlá odpověď s interaktivními prvky může být pro jednoho člověka užitečná, zatímco jiný upřednostní stručné vysvětlení bez dalších funkcí. Automaticky proto neplatí, že delší odpověď znamená kvalitnější výsledek.
Znamená to tedy, že už nemusíme umělé inteligenci psát podrobné instrukce? Nikoliv. Doporučení samotných společností OpenAI, Anthropic i Google nadále zdůrazňují význam jasného cíle, potřebného kontextu a vhodně zvoleného formátu odpovědi. Není však nutné chatbotu předepisovat každý jednotlivý krok.
Při výběru tabletu například nemusíme sestavovat několikastránkové zadání. Stačí uvést, zda zařízení potřebujeme především ke čtení, poznámkám nebo práci, přidat rozpočet a požádat o doporučení s vysvětlením výhod a nevýhod. Pokud některá zásadní informace chybí, můžeme AI výslovně vyzvat, aby se nejprve zeptala.
Z experimentu tak vyplývá především jeden užitečný poznatek. Schopnost chatbota nespočívá pouze v tom, kolik informací dokáže vygenerovat. Důležité je také rozpoznat, kdy má samostatně pokračovat, kdy nabídnout rozhodnutí a kdy bez dalších podrobností nemá smysl začínat.
Zdroj: