900 českých otázek pro pět lokálních rozhodovacích modelů
Nimble měl v českém testu o 11 shod s referencí více než Tev1 4B. Nešlo ale o stejné chyby. Porovnali jsme pět lokálních modelů a podívali se i na rychlost opakovaných požadavků a kvalitu samotných testových dat.
Jaroslav Urbánek, zakladatel TECHNOMATONu 2. října 2026 13 min čtení
Na pěti lokálních modelech jsme ověřovali výběr odpovědi na sadě Belebele. Každý zpracoval všech 900 českých a 900 anglických otázek. Celkem máme 4 500 českých odpovědí a stejný počet anglických. Ke každému případu je uložený vstup, skutečná odpověď modelu i porovnání s referencí.
Nejvyšší shodu s referencí měl v češtině Nimble 9B: 91,2 %. Za ním Tev1 4B s 90,0 %. Pro praktické rozhodnutí jsou ale užitečné i podrobnosti: zda modely selhávají na stejných otázkách a co přesně znamená naměřený čas. Při kontrole jednotlivých odpovědí jsme narazili také na jeden rozpor v českém překladu testu.
Co jsme porovnávali a proč
Podnětem byl endpoint Ollamy pro rozhodovací modely, oznámený 29. září 2026. Model dostane kontext a předem popsané možnosti. Vrací strukturované rozhodnutí: výběr možnosti (choice), pravděpodobnost pravdivosti (noul) nebo hodnocení na stupnici (score).
Takový výstup může sloužit například ke směrování požadavku zákazníka k fakturaci, technické podpoře nebo člověku k posouzení. Model vybírá z daných možností a aplikace s výsledkem dále pracuje. V tomto článku ověřujeme hlavně porozumění pasáži a výběr odpovědi, nikoli kvalitu takové provozní aplikace.
Porovnáváme Tev1 0.8B Q8, Tev1 4B Q8 a Nimble 9B Q8 přes Ollamu, Layu Multilingual 322M FP16 přes MLX a Decider 2B v11 Q8 přes llama.cpp. Všechny výpočty proběhly lokálně na Apple M3 Pro s 36 GiB paměti a využívaly Metal. Ollama byla připnutá na verzi 0.35.0. Jde o konkrétní kombinace modelu, číselné přesnosti vah a softwaru, který model spouští.
Stejné zadání, přesně vymezená metrika
Belebele je veřejný test porozumění textu. Ke krátké pasáži patří otázka a čtyři možné odpovědi; dataset označuje jednu jako správnou. Použili jsme celou připnutou českou variantu ces_Latn a celou anglickou eng_Latn, každou s 900 otázkami.
V české variantě byly pasáž, otázka i všechny možnosti česky. Obecná instrukce byla pro oba jazyky anglická: „Answer the question using the passage only. Choose the best answer.“ V zadání nebyly vyřešené ukázky. Úplně česká instrukce by byla další samostatný experiment.
Přesností v tomto článku rozumíme shodu zvolené možnosti s uloženou referencí datasetu. Referenční odpověď se do vstupu modelu neposílala. Vstupy jsme nekrátili a očekávání po zjištění výsledků neměnili. U Laya a Decider jsme předem ověřili, že se zadání i možnosti vejdou do jejich limitů.
Tev1 a Nimble dokončily běh 30. září 2026, Laya a Decider 2. října. Všech pět profilů dostalo stejné uložené otázky a reference. České výsledky vycházejí ze skutečných českých odpovědí, bez odvozování z angličtiny nebo dopočtu chybějících případů.
Čeština a angličtina na stejných otázkách
Syté pruhy označují češtinu, světlé angličtinu. Barva každého modelu je v celém článku stejná a společná stupnice začíná na nule.
Sytý pruh: čeština. Světlý pruh: angličtina. Přesná shoda vybrané odpovědi s referencí.
Přesné počty a modelové profily
| Model | Čeština | Angličtina |
|---|---|---|
| Tev1 0.8BQ8 · Ollama | 59,0 %531 z 900 | 72,7 %654 z 900 |
| Tev1 4BQ8 · Ollama | 90,0 %810 z 900 | 93,0 %837 z 900 |
| Nimble 9BQ8 · Ollama | 91,2 %821 z 900 | 95,4 %859 z 900 |
| Laya Multilingual322M · FP16 · MLX | 31,1 %280 z 900 | 30,6 %275 z 900 |
| Decider 2B v11Q8 · llama.cpp | 82,1 %739 z 900 | 89,9 %809 z 900 |
Nejvyšší přesnost v každém sloupci je tučná.
Za rozdílem 11 odpovědí jsou různé chyby
Nimble měl v češtině 821 shod s referencí, Tev1 4B 810. Rozdíl je přibližně 1,2 procentního bodu. Při porovnání stejných případů se ale ukáže podstatná podrobnost:
- U 784 otázek se s referencí shodly oba modely.
- U 37 se shodl pouze Nimble.
- U 26 se shodl pouze Tev1 4B.
- U 53 se s referencí neshodl ani jeden.
Nimble tedy nepředstavoval prosté doplnění jedenácti chybějících odpovědí. Přechod z Tev1 4B na Nimble by v tomto uloženém testu znamenal 37 získaných a 26 ztracených shod. Vyšší celková přesnost sama nezaručuje zachování konkrétního rozhodnutí, které původní model zvládal. Proto má při změně modelu význam porovnávat i jednotlivé případy. Statistickou významnost rozdílu jsme netestovali; z těchto počtů také neplyne ověřený postup, jak oba modely kombinovat.
Anglický výsledek nestačí k odhadu českého
U Tev1 0.8B je rozdíl mezi angličtinou a češtinou 123 shod z 900, přibližně 13,7 procentního bodu. U Tev1 4B je to 27 shod, tedy 3,0 bodu. Jazykový odstup tedy není jedna konstanta, kterou lze odečíst od anglického výsledku všech modelů.
Laya měla v obou jazycích podobně nízkou shodu: 31,1 % v češtině a 30,6 % v angličtině. Její výsledek v tomto zadání tak nelze vysvětlit jen češtinou. Decider dosáhl 82,1 % v češtině a 89,9 % v angličtině.
Konkrétní omezení reference: změněný zápor
Při čtení uložených odpovědí jsme našli případ, kde český překlad mění význam možností. Pasáž říká, že podezřelý utrpěl zranění a úřady znají jeho etnickou příslušnost. Otázka žádá vybrat nepravdivé tvrzení. V anglickém zdroji, řádek 557 zní možnost 4 „He was uninjured“. V českém zdroji na stejném řádku je z ní „Byl zraněn“. Reference v obou jazycích zůstává 4.
V češtině se zároveň obrátil význam možnosti 3: tvrdí, že úřady etnickou příslušnost neznají. Tev1 4B, Nimble a Decider vybraly právě možnost 3. Podle našeho čtení české pasáže tím odpověděly správně, ale automatické hodnocení jim přidělilo chybu. Text i referenci jsme ověřili přímo v připnuté verzi zdrojových souborů; nejde o změnu při našem převodu dat.
Uvedená čísla nadále počítáme proti původním referencím. Tento jednotlivý nález není úplným auditem českých překladů a neříká, kolik podobných případů sada obsahuje. Ukazuje ale, proč je přesnost benchmarku shodou s konkrétním klíčem a proč má smysl číst i případy označené za chybu.
Jazykové verze jsou vydané jako překlady stejných otázek; nejsou to nezávislé vzorky. Ani otázky nad společnou pasáží nelze automaticky považovat za nezávislé. Belebele navíc neověřuje psaní českého textu nebo vedení rozhovoru. U veřejné sady neumíme vyloučit, že se její obsah objevil při trénování některého modelu.
Rychlost závisí i na opakování vstupu
Všech pět profilů jsme 2. října změřili na stejném Macu, bez uspávání, postupně a bez souběžné inference. Vzorek obsahoval 20 českých a anglických párů vybraných podle délky vstupu v pěti skupinách. Po deseti zahřívacích požadavcích následovaly tři průchody po 40 případech: 120 měření na model, celkem 600.
Čas měří celý lokální HTTP POST s jednou otázkou, bez načítání modelu. Hodnoty v grafu jsou zaokrouhlené na milisekundy. Mezi průchody se cache nevyprázdňovala; souhrnný medián tedy popisuje opakovaný vzorek.
Sytý pruh: medián (p50). Světlý pruh: 95. percentil (p95), tedy hranice, do které se vešlo 95 % požadavků. Čas zahrnuje celý lokální HTTP POST s jednou otázkou; načtení modelu je mimo něj.
Cache mezi průchody nečištěna. Časy popisují tento opakovaný vzorek a použitý backend; nejsou garancí latence nového vstupu.
Souhrnný medián může skrýt změnu pořadí
Tev1 4B a Decider mají v souhrnu blízké mediány: 222 a 231 ms. V prvním průchodu ale měl Tev1 4B medián 885 ms, zatímco Decider 235 ms. Ve třetím průchodu to bylo 136 a 232 ms. Podle zvoleného průchodu se tedy obrátí, který z nich vychází rychleji.
Podobně u Nimble klesl medián z 1 927 ms v prvním průchodu na 196 ms ve třetím. Příčinu zrychlení jsme samostatně neizolovali. Pořadí modelů bylo pevné a zahřívání používalo jeden případ ze vzorku, takže ani první průchod není čistým testem zcela nových vstupů.
Praktický důsledek je konkrétní: u měření rychlosti je potřeba uvést, zda model zpracovává nové, nebo opakované požadavky. Zde naměřené souhrnné časy nelze bez dalšího použít jako očekávání pro proud nových dokumentů nebo ticketů. Provozní souběžnost zatím ověřená není.
Jak se časy změnily mezi třemi průchody
Medián celého požadavku, 40 měření v každém průchodu. Časy jsou zaokrouhlené na milisekundy.
| Model | 1. průchod | 2. průchod | 3. průchod |
|---|---|---|---|
| Tev1 0.8B | 191 ms | 80 ms | 38 ms |
| Tev1 4B | 885 ms | 168 ms | 136 ms |
| Nimble 9B | 1 927 ms | 596 ms | 196 ms |
| Laya Multilingual | 50 ms | 33 ms | 51 ms |
| Decider 2B v11 | 235 ms | 229 ms | 232 ms |
Na telefonu lze tabulku posunout do stran.
Laya měla nejkratší medián, 45 ms, ale zároveň nejnižší shodu s referencí v českém Belebele. Bodový graf proto ukazuje čas společně s přesností. Dobrý výsledek v jedné ose sám o sobě neurčuje použitelnost v konkrétní aplikaci.
Přesnost pochází z celé sady 900 českých otázek. Čas z opakovaného vzorku 40 českých a anglických případů; cache se nečistila. Graf srovnává konkrétní lokální profily, ne nezávislou rychlost modelů.
Původní časy širší směsi úloh z 30. září, během níž se Mac uspával, zůstávají archivované. Zde používáme pouze společné měření všech pěti profilů z 2. října.
Další úlohy mění pořadí modelů
Další veřejné sady prošly pouze oba Tev1 a Nimble. Laya a Decider na nich zatím měřené nejsou. Širší běh měl 6 004 případů na model: Belebele, 13 připnutých veřejných podsad z benchmarkové sady Bespoke Labs s 3 880 případy a oddělený syntetický holdout Nimble se 324 případy.
Graf ukazuje výběr pěti anglických úloh. Metrikou je přesná shoda štítku; u binárních úloh používáme práh pravděpodobnosti 0,5. Různé úlohy neslučujeme do jednoho skóre.
MASSIVE
350 případů · směrování do 18 domén
MultiNLI
299 případů · vztah mezi tvrzeními
PAWS
250 případů · shoda významu vět
BoolQ
300 případů · ano/ne podle pasáže
VitaminC
599 případů · ověření tvrzení
Společná stupnice 0–100 % v každé úloze. Přesná shoda štítku; u binárních úloh práh pravděpodobnosti 0,5. Laya a Decider těmito podsadami neprošly.
Nimble vedl v porozumění pasáži na Belebele, ale na PAWS, které porovnává význam vět, měl 188 shod z 250 proti 205 u Tev1 4B. Vyšší výsledek v jedné úloze tedy v tomto měření neznamenal vyšší výsledek v jiné. Na směrování MASSIVE EN je rozdíl mezi Tev1 4B a Nimble menší: 297 proti 294 shodám z 350. Tyto anglické výsledky samy nepotvrzují kvalitu českého třídění požadavků.
Záleží i na způsobu hodnocení
U škálových úloh jsme vedle přesné shody nejpravděpodobnější úrovně počítali MAE, průměrnou absolutní odchylku váženého skóre od referenčního indexu stupnice. Menší hodnota znamená menší odchylku; není to procento správných odpovědí.
HelpSteer2
249 případů · průměrná absolutní chyba váženého skóre
SummEval · konzistence
144 případů · průměrná absolutní chyba váženého skóre
SummEval · relevance
240 případů · průměrná absolutní chyba váženého skóre
Společná stupnice 0–1,25 MAE. Delší pruh znamená větší chybu; hodnota není procentem správných odpovědí. Laya a Decider těmito podsadami neprošly.
Nimble měl nejnižší MAE ve všech třech uvedených sadách. Na SummEval · konzistence přitom Tev1 0.8B častěji vybral přesnou referenční úroveň: 121 ze 144 případů proti 119 u Nimble. Nimble měl současně nižší chybu váženého skóre, 0,386 proti 0,645. Obě metriky tedy mohou dát jiné pořadí, protože odpovídají na jinou otázku. Pro hodnocení výsledku je potřeba předem určit, zda záleží na přesném zařazení, nebo na velikosti odchylky.
Co z měření použít při vlastním ověřování
Na této sadě měly nejvyšší českou shodu s referencí Nimble 9B a Tev1 4B. Decider skončil mezi nimi a dvěma nejmenšími profily. Rychlejší Laya ukázala, že krátká doba odpovědi může být doprovázená nízkou přesností v dané úloze. To je rozsah závěru, který z Belebele máme.
Pro ověření konkrétní aplikace z těchto výsledků vyplývají čtyři praktické kontroly:
- Porovnat jednotlivé chyby. Při změně modelu zkontrolovat i případy, které se nově zhoršily. Souhrnný přírůstek může takové regrese zakrýt.
- Přečíst reference sporných případů. Neměnit je automaticky podle odpovědi modelu. Případnou opravu dat oddělit a verzovat, aby zůstalo jasné, proti čemu se měřilo.
- Přiblížit časový test skutečnému provozu. Oddělit nové a opakované vstupy, načítání modelu a požadovanou souběžnost.
- Zvolit data a metriku podle rozhodnutí. Porozumění pasáži, třídění požadavků a hodnocení na stupnici jsou odlišné úlohy. Stejně tak může mít jiný dopad chybné směrování a chybně schválená refundace.
Vlastní lidsky označená česká provozní sada, změny rozhodujícího faktu, permutace možností a plně česká instrukce jsou navazující testy. V tomto měření zatím neproběhly.
Dohledatelnost a rozsah ověření
Audit přepočítal všech 18 012 odpovědí širšího běhu a dalších 3 600 odpovědí Laya a Decider. Ověřil shodu vstupů a referencí s připnutými daty, identity případů, modelové digesty, uložené odpovědi, úplné pokrytí a metriky. Nešlo o nové lidské posouzení správnosti všech referencí. Časový audit samostatně zkontroloval 600 měřených a 50 zahřívacích požadavků. Porovnání chyb Tev1 4B a Nimble v tomto článku vzniklo ze stejných uložených odpovědí, bez nového volání modelů.
Všechny požadavky vrátily validní odpověď bez chyby API. Tím je ověřené dokončení a formát odpovědí; jejich věcnou správnost posuzuje až vyhodnocení obsahu. Hashe sad, modelové checksumy, konfigurace, surové odpovědi a přepočtené souhrny jsou zachované.
U Laya navíc proběhla kontrola MLX portu proti původním vahám: shodovalo se všech 170 tensorů a na 20 kontrolních otázkách vyšla stejná nejpravděpodobnější volba. To je kontrola převodu modelu, nikoli další měření přesnosti.
Produkční Jev jsme nevolali. Publikované srovnání Jev má vlastní původ a částečně jinou metodiku. Zde jsou výsledky pěti konkrétních lokálních profilů, s původními referencemi a popsanými podmínkami běhu.