# Counts for raw text (trunc) # sample/sec tokens lexemes unique # -------------- ------- ------- ------- hebr/tav/gen.1 18744 7213 5100 hebr/tav/exo.1 15079 5712 3882 hebr/tav/num.1 14862 5307 3697 hebr/tav/lev.1 10509 3861 2609 hebr/tav/deu.1 12962 5456 3972 hebr/tav/tot.1 9912 4187 2980 hebr/tad/tot.1 38112 11857 7842 geez/gok/tot.1 34788 12356 8385 geez/eno/tot.1 18215 6356 4228 engl/wow/tot.1 35606 4878 2472 engl/wnm/tot.1 831 194 100 engl/cul/her.1 36193 3489 1613 engl/cul/rec.1 7084 1260 642 engl/cul/tot.1 34144 3371 1570 engl/cpn/tot.1 544 402 323 engl/twp/tot.1 41419 4222 2242 latn/ptt/gen.1 26748 5714 3485 latn/ptt/exo.1 21271 4702 2790 latn/ptt/num.1 20604 4341 2595 latn/ptt/lev.1 14633 3234 1909 latn/ptt/deu.1 19461 4467 2815 latn/ptt/tot.1 9672 2449 1473 latn/nwt/mat.1 17502 3914 2280 latn/nwt/mrk.1 10959 2916 1812 latn/nwt/luk.1 19155 4407 2743 latn/nwt/joh.1 14905 2524 1377 latn/nwt/tot.1 10420 2731 1632 latn/ock/tot.1 35389 5643 2947 latn/ahl/tot.1 6544 1355 828 grek/nwt/mat.1 19816 3959 2350 grek/nwt/mrk.1 12310 2899 1842 grek/nwt/luk.1 21037 4610 3015 grek/nwt/joh.1 16798 2587 1422 grek/nwt/tot.1 10477 2551 1559 span/qvi/one.1 35549 5467 3248 span/qvi/two.1 35625 5715 3568 span/qvi/tot.1 17281 3294 1993 ital/psp/tot.1 35621 6655 4106 fran/tal/tot.1 36012 6344 3785 port/csm/tot.1 35056 6278 3778 germ/sim/tot.1 35274 6879 4265 russ/pic/tot.1 36263 9767 6663 russ/ptt/gen.1 28445 4899 2704 russ/ptt/exo.1 22960 4084 2112 russ/ptt/num.1 22530 3952 2142 russ/ptt/lev.1 16901 2659 1305 russ/ptt/deu.1 20988 3913 2238 russ/ptt/tot.1 8911 2252 1295 russ/ptr/gen.1 28445 4897 2703 russ/ptr/exo.1 22960 4084 2112 russ/ptr/num.1 22530 3952 2142 russ/ptr/lev.1 16901 2659 1305 russ/ptr/deu.1 20988 3913 2238 russ/ptr/tot.1 8911 2251 1294 arab/quf/tot.1 37054 10983 7392 arab/quv/tot.1 37040 10800 7219 arab/qud/tot.1 37001 8536 5247 arab/qph/tot.1 36980 9435 6044 arab/qcs/tot.1 37102 9026 5649 viet/ptt/gen.1 36162 1693 423 viet/ptt/exo.1 34775 1652 370 viet/ptt/num.1 35949 1462 369 viet/ptt/lev.1 25831 1210 341 viet/ptt/deu.1 32092 1617 441 viet/ptt/tot.1 9022 995 351 viet/nwt/mat.1 26411 1821 566 viet/nwt/mrk.1 16326 1575 558 viet/nwt/luk.1 28276 2118 750 viet/nwt/jhn.1 22428 1290 428 viet/nwt/tot.1 10178 1257 455 chin/ptt/gen.1 36068 1377 276 chin/ptt/exo.1 36028 1425 277 chin/ptt/num.1 36034 1292 310 chin/ptt/lev.1 26404 1096 261 chin/ptt/deu.1 32282 1434 336 chin/ptt/tot.1 9383 862 234 chin/ptn/gen.1 35736 1381 312 chin/ptn/exo.1 35725 1440 321 chin/ptn/num.1 35657 1255 288 chin/ptn/lev.1 29292 1170 274 chin/ptn/deu.1 35627 1458 367 chin/ptn/tot.1 9173 851 260 chin/red/tot.1 35263 2421 663 chin/voa/tot.1 35691 1674 381 chip/voa/tot.1 35342 832 98 tibe/vim/tot.1 0 0 0 tibe/ccv/tot.1 0 0 0 tibe/pmi/tot.1 0 0 0 chrc/red/tot.1 0 0 0 enrc/wow/tot.1 0 0 0 envt/wow/tot.1 0 0 0 envg/wow/tot.1 35606 12920 9134 voyp/grs/tot.1 1950 635 365 voyp/grm/tot.1 726 313 208 viep/grs/tot.1 31200 7760 3216 viep/mky/tot.1 36013 3342 1174