Proč dva detektory ukážou u stejného textu jiné číslo
Každý detektor počítá něco trochu jiného a učil se na jiných textech, takže dvě různá čísla u jednoho textu nejsou chyba — jsou to dva různé pohledy. Skóre neříká, kolik procent textu napsal model; říká, nakolik se text podobá tomu, co daný nástroj zná jako strojové psaní. Když se nástroje výrazně rozcházejí, je to samo o sobě informace: text je na hraně a podle procent se rozhodnout nedá. DetekceGPT proto ukazuje sedm detektorů vedle sebe a do jednoho čísla je neslučuje.
Každý měří jinou vlastnost textu
Jeden nástroj počítá, jak předvídatelné je další slovo, druhý sleduje rozptyl délky vět, třetí hledá obraty typické pro modely a čtvrtý porovnává text s vašimi staršími pracemi. Tohle nejsou různě přesné odpovědi na jednu otázku, ale odpovědi na čtyři různé otázky.
Proto se stává, že text vyjde vysoko u jednoho detektoru a nízko u druhého: má strojový rytmus, ale žádné typické fráze, nebo naopak. V DetekceGPT to vidíte přímo — Fráze AI, Strojový dojem a Odchylka stylu jsou tři samostatná čísla a každé se čte zvlášť.
Stejný signál, jiná stupnice
I když dva nástroje sledují podobnou věc, výsledek převádějí na procenta po svém. Každý má vlastní hranici, od které větu označí, a vlastní sadu textů, na kterých se kalibroval. Šedesát procent v jednom nástroji tak neznamená totéž co šedesát v druhém.
Roli hraje i jazyk. Většina detektorů vznikla na angličtině a na češtině se chová jinak, takže rozdíl mezi nástroji bývá u českého textu větší než u anglického.
Co s rozporem udělat
Neprůměrujte. Průměr dvou čísel, která měří jinou věc, nedává smysl a hlavně zakryje to nejzajímavější — že se nástroje neshodly. Místo toho si přečtěte věty, které jednotlivé detektory označily, a porovnejte, jestli ukazují na stejná místa.
Když se shodnou na stejných pasážích, máte silnější podklad. Když každý ukazuje jinam, berte to jako signál, že text je hraniční, a rozhodnutí opřete o něco dalšího — o odchylku od dřívějších textů autora nebo o rozhovor nad obsahem.
Časté dotazy
Který detektor je ten správný?
Žádný. Zvenku se přesnost ověřit nedá, protože neznáte texty, na kterých se nástroj učil. Vyplatí se vyzkoušet ho na pěti textech, u kterých víte, kdo je psal.
Má smysl pustit text víc nástroji?
Jako sonda ano, jako důkaz ne. Víc čísel neznamená větší jistotu, jen víc pohledů — a ty se mohou rozcházet.
Proč DetekceGPT nedá jedno výsledné číslo?
Protože by muselo sloučit veličiny, které měří jinou vlastnost textu. Jedno číslo vypadá jistěji, ale schovalo by rozpor mezi detektory, tedy tu nejužitečnější informaci.
Zkuste to na vlastním textu
Vložte text nebo nahrajte soubor a podívejte se na skóre i na konkrétní věty, které vyšly podezřele.
Spustit detekci