Dennis challenged me to find a statistically convincing mapping from Latin to Voynichese.
First, let's try to maximize the H2 of latin, by adding some contractions. Obvious problems
in the standard spelling are "q" (always followed by "u"), "t" and "m" (often followed by " ").
Also "s" is often followed by " ". So let's try:
cat latn.txt \
| sed \
-e 's/$/ /g' \
-e 's/at /A/g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/ot /O/g' \
-e 's/ut /U/g' \
-e 's/qu/Q/g' \
-e 's/th/T/g' \
-e 's/ $//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxzTQAEIOU'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z T Q A E I U
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1093 . 90 86 5 73 12 36 62 43 49 11 9 16 124 8 83 56 56 51 44 . 1 3 48 . 121 . 6
i 739 107 7 63 49 26 36 121 12 13 35 36 5 25 73 8 22 37 20 3 19 12 . 2 3 3 1 1 .
a 546 50 8 1 19 37 . 51 16 5 24 44 8 34 29 9 62 26 60 . 40 . . 17 3 . . 3 .
u 407 11 16 10 12 9 13 38 26 15 8 25 1 4 84 . 11 14 93 1 1 6 . . . 1 . 8 .
e 751 152 28 4 27 5 12 61 138 4 18 19 52 11 66 . 26 24 56 3 1 27 . 11 3 3 . . .
o 422 70 7 4 . 1 . 88 32 13 28 15 2 5 49 1 12 8 71 . 4 2 . . 10 . . . .
n 443 81 59 38 41 40 32 4 . 4 8 . 15 . 24 . 17 63 . 4 5 2 . . 3 . 1 2 .
r 380 45 31 48 24 105 30 6 12 . 4 . 9 1 7 1 14 4 8 2 11 . 1 . . 10 1 6 .
p 118 . 12 7 8 27 20 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . .
c 212 23 37 22 36 50 19 . 2 . 7 3 . . . 4 . 5 . . . . . . . . 2 . 2
l 174 10 52 21 9 17 39 . . . 3 12 . . . . 1 9 . . 1 . . . . . . . .
g 103 2 27 3 7 22 12 17 9 . . 2 2 . . . . . . . . . . . . . . . .
b 108 7 18 16 23 19 7 1 1 . . 1 . . 3 . . . 1 . . . . . . 3 . 8 .
s 515 219 21 72 46 41 15 . 9 7 12 . . . 15 . . 45 . . . . . . 5 . 5 3 .
h 48 . 9 4 3 24 7 . 1 . . . . . . . . . . . . . . . . . . . .
d 267 38 56 24 11 41 78 . 1 1 . . . . . 3 3 . . . . . . . . . 1 10 .
t 300 43 53 32 58 72 9 . 17 . . . . . . . . . . . . . . . 15 . 1 . .
m 374 189 58 12 9 40 43 9 . 2 . . . 3 . . . 1 2 . . . . . 5 . 1 . .
f 70 . 36 8 9 9 4 . 3 . . . . . . . . . . 1 . . . . . . . . .
v 133 . 49 7 5 30 14 . . . . . . . . . . . . . . . . . . 4 . 24 .
x 49 23 5 . . 9 . . . . . . . . . . . 2 . . . . . . . . . 10 .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . .
T 34 3 4 17 . 1 . . 4 . . . . . 5 . . . . . . . . . . . . . .
Q 98 . 24 22 . 37 14 . . . . . . . . . . . . . . . . . . . . 1 .
A 24 2 2 2 . 4 . 1 3 . 2 . . . 4 1 2 . . . 1 . . . . . . . .
E 137 12 23 16 2 6 3 9 6 7 8 1 . 6 15 1 7 . 3 5 3 . . 1 2 . 1 . .
I 76 6 4 6 4 5 2 1 6 4 5 . . 3 8 3 7 3 3 . 3 . . . 1 . 2 . .
U 8 . 3 1 . . . . . . 1 . . . 2 . . . 1 . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 7631 1093 739 546 407 751 422 443 380 118 212 174 103 108 515 48 267 300 374 70 133 49 2 34 98 24 137 76 8
Next-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z T Q A E I U
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 8 8 . 7 1 3 6 4 4 1 1 1 11 1 8 5 5 5 4 . . . 4 . 11 . 1
i 99 14 1 8 7 3 5 16 2 2 5 5 1 3 10 1 3 5 3 . 3 2 . . . . . . .
a 99 9 1 . 3 7 . 9 3 1 4 8 1 6 5 2 11 5 11 . 7 . . 3 1 . . 1 .
u 99 3 4 2 3 2 3 9 6 4 2 6 . 1 20 . 3 3 23 . . 1 . . . . . 2 .
e 99 20 4 1 4 1 2 8 18 1 2 3 7 1 9 . 3 3 7 . . 4 . 1 . . . . .
o 99 16 2 1 . . . 21 8 3 7 4 . 1 11 . 3 2 17 . 1 . . . 2 . . . .
n 99 18 13 8 9 9 7 1 . 1 2 . 3 . 5 . 4 14 . 1 1 . . . 1 . . . .
r 99 12 8 13 6 27 8 2 3 . 1 . 2 . 2 . 4 1 2 1 3 . . . . 3 . 2 .
p 99 . 10 6 7 23 17 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . .
c 99 11 17 10 17 23 9 . 1 . 3 1 . . . 2 . 2 . . . . . . . . 1 . 1
l 99 6 30 12 5 10 22 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . .
g 99 2 26 3 7 21 12 16 9 . . 2 2 . . . . . . . . . . . . . . . .
b 99 6 17 15 21 17 6 1 1 . . 1 . . 3 . . . 1 . . . . . . 3 . 7 .
s 99 42 4 14 9 8 3 . 2 1 2 . . . 3 . . 9 . . . . . . 1 . 1 1 .
h 99 . 19 8 6 50 14 . 2 . . . . . . . . . . . . . . . . . . . .
d 99 14 21 9 4 15 29 . . . . . . . . 1 1 . . . . . . . . . . 4 .
t 99 14 17 11 19 24 3 . 6 . . . . . . . . . . . . . . . 5 . . . .
m 99 50 15 3 2 11 11 2 . 1 . . . 1 . . . . 1 . . . . . 1 . . . .
f 99 . 51 11 13 13 6 . 4 . . . . . . . . . . 1 . . . . . . . . .
v 99 . 36 5 4 22 10 . . . . . . . . . . . . . . . . . . 3 . 18 .
x 99 46 10 . . 18 . . . . . . . . . . . 4 . . . . . . . . . 20 .
z 99 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . .
T 99 9 12 50 . 3 . . 12 . . . . . 15 . . . . . . . . . . . . . .
Q 99 . 24 22 . 37 14 . . . . . . . . . . . . . . . . . . . . 1 .
A 99 8 8 8 . 17 . 4 12 . 8 . . . 17 4 8 . . . 4 . . . . . . . .
E 99 9 17 12 1 4 2 7 4 5 6 1 . 4 11 1 5 . 2 4 2 . . 1 1 . 1 . .
I 99 8 5 8 5 7 3 1 8 5 7 . . 4 10 4 9 4 4 . 4 . . . 1 . 3 . .
U 99 . 37 12 . . . . . . 12 . . . 25 . . . 12 . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 14 10 7 5 10 5 6 5 2 3 2 1 1 7 1 3 4 5 1 2 1 0 0 1 0 2 1 0
Symbol entropy: 4.182
Next-symbol entropy:
ntrpy count i a u e o n r p c l g b s h d t m f v x z T Q A E I U
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
4.094 1093 . 0.297 0.289 0.036 0.261 0.071 0.162 0.235 0.184 0.201 0.067 0.057 0.089 0.356 0.052 0.282 0.220 0.220 0.206 0.187 . 0.009 0.023 0.198 . 0.352 . 0.041
I 4.075 76 0.289 0.224 0.289 0.224 0.258 0.138 0.082 0.289 0.224 0.258 . . 0.184 0.342 0.184 0.317 0.184 0.184 . 0.184 . . . 0.082 . 0.138 . .
a 3.967 546 0.316 0.089 0.017 0.169 0.263 . 0.319 0.149 0.062 0.198 0.293 0.089 0.249 0.225 0.098 0.356 0.209 0.350 . 0.276 . . 0.156 0.041 . . 0.041 .
i 3.960 739 0.404 0.064 0.303 0.260 0.170 0.212 0.427 0.097 0.103 0.208 0.212 0.049 0.165 0.330 0.071 0.151 0.216 0.141 0.032 0.136 0.097 . 0.023 0.032 0.032 0.013 0.013 .
E 3.902 137 0.308 0.432 0.362 0.089 0.198 0.121 0.258 0.198 0.219 0.239 0.052 . 0.198 0.349 0.052 0.219 . 0.121 0.174 0.121 . . 0.052 0.089 . 0.052 . .
e 3.687 751 0.466 0.177 0.040 0.172 0.048 0.095 0.294 0.449 0.040 0.129 0.134 0.267 0.089 0.308 . 0.168 0.159 0.279 0.032 0.013 0.172 . 0.089 0.032 0.032 . . .
u 3.609 407 0.141 0.184 0.131 0.150 0.122 0.159 0.319 0.254 0.176 0.111 0.247 0.021 0.066 0.470 . 0.141 0.167 0.487 0.021 0.021 0.090 . . . 0.021 . 0.111 .
n 3.519 443 0.448 0.387 0.304 0.318 0.313 0.274 0.061 . 0.061 0.105 . 0.165 . 0.228 . 0.181 0.400 . 0.061 0.073 0.035 . . 0.049 . 0.020 0.035 .
r 3.518 380 0.365 0.295 0.377 0.252 0.513 0.289 0.094 0.157 . 0.069 . 0.128 0.023 0.106 0.023 0.175 0.069 0.117 0.040 0.148 . 0.023 . . 0.138 0.023 0.094 .
o 3.361 422 0.430 0.098 0.064 . 0.021 . 0.472 0.282 0.155 0.260 0.171 0.037 0.076 0.361 0.021 0.146 0.108 0.433 . 0.064 0.037 . . 0.128 . . . .
A 3.304 24 0.299 0.299 0.299 . 0.431 . 0.191 0.375 . 0.299 . . . 0.431 0.191 0.299 . . . 0.191 . . . . . . . .
b 3.082 108 0.256 0.431 0.408 0.475 0.441 0.256 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . 0.144 . 0.278 .
p 3.048 118 . 0.335 0.242 0.263 0.487 0.434 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . .
c 3.040 212 0.348 0.440 0.339 0.434 0.492 0.312 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . . 0.063 . 0.063
l 2.832 174 0.237 0.521 0.368 0.221 0.328 0.484 . . . 0.101 0.266 . . . . 0.043 0.221 . . 0.043 . . . . . . . .
g 2.823 103 0.110 0.506 0.149 0.264 0.476 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . . . . . . .
s 2.802 515 0.525 0.188 0.397 0.311 0.291 0.149 . 0.102 0.084 0.126 . . . 0.149 . . 0.307 . . . . . . 0.065 . 0.065 0.043 .
t 2.770 300 0.402 0.442 0.344 0.458 0.494 0.152 . 0.235 . . . . . . . . . . . . . . . 0.216 . 0.027 . .
d 2.722 267 0.400 0.473 0.312 0.190 0.415 0.519 . 0.030 0.030 . . . . . 0.073 0.073 . . . . . . . . . 0.030 0.177 .
v 2.357 133 . 0.531 0.224 0.178 0.485 0.342 . . . . . . . . . . . . . . . . . . 0.152 . 0.446 .
m 2.302 374 0.498 0.417 0.159 0.129 0.345 0.359 0.129 . 0.040 . . . 0.056 . . . 0.023 0.040 . . . . . 0.083 . 0.023 . .
U 2.156 8 . 0.531 0.375 . . . . . . 0.375 . . . 0.500 . . . 0.375 . . . . . . . . . .
f 2.130 70 . 0.493 0.358 0.380 0.380 0.236 . 0.195 . . . . . . . . . . 0.088 . . . . . . . . .
T 2.092 34 0.309 0.363 0.500 . 0.150 . . 0.363 . . . . . 0.407 . . . . . . . . . . . . . .
h 2.023 48 . 0.453 0.299 0.250 0.500 0.405 . 0.116 . . . . . . . . . . . . . . . . . . . .
Q 1.980 98 . 0.497 0.484 . 0.531 0.401 . . . . . . . . . . . . . . . . . . . . 0.067 .
x 1.953 49 0.512 0.336 . . 0.449 . . . . . . . . . . . 0.188 . . . . . . . . . 0.468 .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.402 7631 0.402 0.326 0.272 0.226 0.329 0.231 0.238 0.216 0.093 0.144 0.124 0.084 0.087 0.262 0.046 0.169 0.184 0.213 0.062 0.102 0.047 0.003 0.035 0.081 0.026 0.104 0.066 0.010
It seems that "th" -> "T", "ot " -> "O", and "ut " -> "U" are not useful.
Ok, now let's fix "m" (coomon endings) and v ("ve", "vi"):
cat latn.txt \
| sed \
-e 's/$/ /g' \
-e 's/at /A/g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/qu/Q/g' \
-e 's/ve/Y/g' \
-e 's/vi/W/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/om /O/g' \
-e 's/um /U/g' \
-e 's/ $//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxzQAEIYWHMOU'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z Q A E I Y W H M O U
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
946 . 79 76 9 65 12 32 51 34 46 11 6 15 108 7 71 48 49 40 14 . . 47 . 99 . 13 14 . . . .
i 690 103 6 48 36 25 36 121 4 13 34 36 5 25 72 8 6 33 20 3 4 12 . 3 3 1 1 6 3 10 1 . 12
a 500 50 8 1 19 37 . 51 16 5 24 44 8 34 29 9 62 43 14 . 18 . . 3 . . 3 5 17 . . . .
u 330 11 16 5 4 9 13 38 26 15 8 25 1 4 84 . 11 22 8 1 1 6 . . 1 . 8 . . 5 . . 8
e 668 152 28 . 6 5 12 54 121 4 18 19 52 11 61 . 26 35 3 3 1 27 . 3 2 . . . . 4 . . 21
o 420 70 7 4 . 1 . 88 32 13 28 15 2 5 49 1 12 8 69 . 1 2 . 10 . . . 3 . . . . .
n 443 81 59 38 30 27 32 4 . 4 8 . 15 . 24 . 17 63 . 4 . 2 . 3 . 1 2 2 3 . 13 . 11
r 380 45 31 40 21 100 30 6 12 . 4 . 9 1 7 1 14 4 8 2 7 . 1 . 10 1 6 . 4 8 5 . 3
p 118 . 12 7 8 26 20 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . . . 1 . .
c 212 23 37 22 21 50 19 . 2 . 7 3 . . . 4 . 5 . . . . . . . 2 . . . . . . 17
l 174 10 52 16 7 16 37 . . . 3 12 . . . . 1 9 . . 1 . . . . . . . . 5 1 2 2
g 103 2 27 3 7 11 12 17 9 . . 2 2 . . . . . . . . . . . . . . . . . 11 . .
b 108 7 18 14 22 19 7 1 1 . . 1 . . 3 . . . 1 . . . . . 3 . 8 . . 2 . . 1
s 515 219 21 71 45 41 15 . 9 7 12 . . . 15 . . 45 . . . . . 5 . 5 3 . . 1 . . 1
h 82 3 13 21 3 25 7 . 5 . . . . . 5 . . . . . . . . . . . . . . . . . .
d 267 38 56 23 11 39 78 . 1 1 . . . . . 3 3 . . . . . . . . 1 10 . . 1 2 . .
t 342 51 53 30 54 53 9 . 17 . . . . . . 34 . . . . . . . 15 . 1 . . . 2 19 . 4
m 188 3 58 10 8 40 43 9 . 2 . . . 3 . . . 1 2 . . . . 5 . 1 . . . 2 . . 1
f 70 . 36 8 9 9 4 . 3 . . . . . . . . . . 1 . . . . . . . . . . . . .
v 54 . . 7 2 . 14 . . . . . . . . . . . . . . . . . 4 . 24 . . . . . 3
x 49 23 5 . . 9 . . . . . . . . . . . 2 . . . . . . . . 10 . . . . . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 98 . 24 19 . 37 14 . . . . . . . . . . . . . . . . . . . 1 . . 3 . . .
A 24 2 2 2 . 4 . 1 3 . 2 . . . 4 1 2 . . . . . . . . . . . 1 . . . .
E 137 12 23 16 2 6 3 9 6 7 8 1 . 6 15 1 7 1 3 5 1 . . 2 . 1 . 1 1 . . . .
I 76 6 4 6 4 5 2 1 6 4 5 . . 3 8 3 7 3 3 . . . . 1 . 2 . . 3 . . . .
Y 30 . . . . . . 7 17 . . . . . 5 . . . . . . . . . 1 . . . . . . . .
W 49 4 1 2 . . . . 8 . 1 . . . 1 . 16 6 . . 5 . . . . . . . 1 3 . . 1
H 46 7 1 4 2 2 . . 6 1 . . . . 4 1 2 2 3 3 1 . . . . 6 . . 1 . . . .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 4 . . 1 1 . 8 . . . . . . .
O 2 1 . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . .
U 85 15 9 3 . 5 . 4 5 5 2 . 3 . 6 . 6 7 3 3 . . . . . 8 . . 1 . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 7261 946 690 500 330 668 420 443 380 118 212 174 103 108 515 82 267 342 188 70 54 49 2 98 24 137 76 30 49 46 53 2 85
Next-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z Q A E I Y W H M O U
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 8 8 1 7 1 3 5 4 5 1 1 2 11 1 7 5 5 4 1 . . 5 . 10 . 1 1 . . . .
i 99 15 1 7 5 4 5 17 1 2 5 5 1 4 10 1 1 5 3 . 1 2 . . . . . 1 . 1 . . 2
a 99 10 2 . 4 7 . 10 3 1 5 9 2 7 6 2 12 9 3 . 4 . . 1 . . 1 1 3 . . . .
u 99 3 5 2 1 3 4 11 8 5 2 8 . 1 25 . 3 7 2 . . 2 . . . . 2 . . 2 . . 2
e 99 23 4 . 1 1 2 8 18 1 3 3 8 2 9 . 4 5 . . . 4 . . . . . . . 1 . . 3
o 99 17 2 1 . . . 21 8 3 7 4 . 1 12 . 3 2 16 . . . . 2 . . . 1 . . . . .
n 99 18 13 8 7 6 7 1 . 1 2 . 3 . 5 . 4 14 . 1 . . . 1 . . . . 1 . 3 . 2
r 99 12 8 10 5 26 8 2 3 . 1 . 2 . 2 . 4 1 2 1 2 . . . 3 . 2 . 1 2 1 . 1
p 99 . 10 6 7 22 17 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . . . 1 . .
c 99 11 17 10 10 23 9 . 1 . 3 1 . . . 2 . 2 . . . . . . . 1 . . . . . . 8
l 99 6 30 9 4 9 21 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . . 3 1 1 1
g 99 2 26 3 7 11 12 16 9 . . 2 2 . . . . . . . . . . . . . . . . . 11 . .
b 99 6 17 13 20 17 6 1 1 . . 1 . . 3 . . . 1 . . . . . 3 . 7 . . 2 . . 1
s 99 42 4 14 9 8 3 . 2 1 2 . . . 3 . . 9 . . . . . 1 . 1 1 . . . . . .
h 99 4 16 25 4 30 8 . 6 . . . . . 6 . . . . . . . . . . . . . . . . . .
d 99 14 21 9 4 14 29 . . . . . . . . 1 1 . . . . . . . . . 4 . . . 1 . .
t 99 15 15 9 16 15 3 . 5 . . . . . . 10 . . . . . . . 4 . . . . . 1 6 . 1
m 99 2 31 5 4 21 23 5 . 1 . . . 2 . . . 1 1 . . . . 3 . 1 . . . 1 . . 1
f 99 . 51 11 13 13 6 . 4 . . . . . . . . . . 1 . . . . . . . . . . . . .
v 99 . . 13 4 . 26 . . . . . . . . . . . . . . . . . 7 . 44 . . . . . 6
x 99 46 10 . . 18 . . . . . . . . . . . 4 . . . . . . . . 20 . . . . . .
z 99 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 99 . 24 19 . 37 14 . . . . . . . . . . . . . . . . . . . 1 . . 3 . . .
A 99 8 8 8 . 17 . 4 12 . 8 . . . 17 4 8 . . . . . . . . . . . 4 . . . .
E 99 9 17 12 1 4 2 7 4 5 6 1 . 4 11 1 5 1 2 4 1 . . 1 . 1 . 1 1 . . . .
I 99 8 5 8 5 7 3 1 8 5 7 . . 4 10 4 9 4 4 . . . . 1 . 3 . . 4 . . . .
Y 99 . . . . . . 23 56 . . . . . 17 . . . . . . . . . 3 . . . . . . . .
W 99 8 2 4 . . . . 16 . 2 . . . 2 . 32 12 . . 10 . . . . . . . 2 6 . . 2
H 99 15 2 9 4 4 . . 13 2 . . . . 9 2 4 4 6 6 2 . . . . 13 . . 2 . . . .
M 99 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 7 . . 2 2 . 15 . . . . . . .
O 99 50 . . . . . . . . . . . . . . . . . 50 . . . . . . . . . . . . .
U 99 17 10 3 . 6 . 5 6 6 2 . 3 . 7 . 7 8 3 3 . . . . . 9 . . 1 . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 13 9 7 4 9 6 6 5 2 3 2 1 1 7 1 4 5 3 1 1 1 0 1 0 2 1 0 1 1 1 0 1
Symbol entropy: 4.328
Next-symbol entropy:
TT TT i a u e o n r p c l g b s h d t m f v x z Q A E I Y W H M O U
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
4.137 946 . 0.299 0.292 0.064 0.265 0.080 0.165 0.227 0.172 0.212 0.075 0.046 0.095 0.357 0.052 0.280 0.218 0.221 0.193 0.090 . . 0.215 . 0.341 . 0.085 0.090 . . . .
I 4.075 76 0.289 0.224 0.289 0.224 0.258 0.138 0.082 0.289 0.224 0.258 . . 0.184 0.342 0.184 0.317 0.184 0.184 . . . . 0.082 . 0.138 . . 0.184 . . . .
i 4.011 690 0.410 0.060 0.268 0.222 0.173 0.222 0.440 0.043 0.108 0.214 0.222 0.052 0.173 0.340 0.075 0.060 0.210 0.148 0.034 0.043 0.102 . 0.034 0.034 0.014 0.014 0.060 0.034 0.089 0.014 . 0.102
a 4.000 500 0.332 0.095 0.018 0.179 0.278 . 0.336 0.159 0.066 0.210 0.309 0.095 0.264 0.238 0.104 0.373 0.304 0.144 . 0.173 . . 0.044 . . 0.044 0.066 0.166 . . . .
E 3.936 137 0.308 0.432 0.362 0.089 0.198 0.121 0.258 0.198 0.219 0.239 0.052 . 0.198 0.349 0.052 0.219 0.052 0.121 0.174 0.052 . . 0.089 . 0.052 . 0.052 0.052 . . . .
u 3.824 330 0.164 0.212 0.092 0.077 0.142 0.184 0.359 0.289 0.203 0.130 0.282 0.025 0.077 0.502 . 0.164 0.260 0.130 0.025 0.025 0.105 . . 0.025 . 0.130 . . 0.092 . . 0.130
U 3.755 85 0.442 0.343 0.170 . 0.240 . 0.208 0.240 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.170 . . . . . 0.321 . . 0.075 . . . .
r 3.738 380 0.365 0.295 0.342 0.231 0.507 0.289 0.094 0.157 . 0.069 . 0.128 0.023 0.106 0.023 0.175 0.069 0.117 0.040 0.106 . 0.023 . 0.138 0.023 0.094 . 0.069 0.117 0.082 . 0.055
H 3.694 46 0.413 0.120 0.306 0.197 0.197 . . 0.383 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 0.257 0.120 . . . . 0.383 . . 0.120 . . . .
n 3.690 443 0.448 0.387 0.304 0.263 0.246 0.274 0.061 . 0.061 0.105 . 0.165 . 0.228 . 0.181 0.400 . 0.061 . 0.035 . 0.049 . 0.020 0.035 0.035 0.049 . 0.149 . 0.132
e 3.604 668 0.486 0.192 . 0.061 0.053 0.104 0.293 0.446 0.044 0.140 0.146 0.287 0.098 0.315 . 0.182 0.223 0.035 0.035 0.014 0.187 . 0.035 0.025 . . . . 0.044 . . 0.157
M 3.563 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.281 . . 0.108 0.108 . 0.412 . . . . . . .
o 3.372 420 0.431 0.098 0.064 . 0.021 . 0.472 0.283 0.155 0.260 0.172 0.037 0.076 0.362 0.021 0.147 0.109 0.428 . 0.021 0.037 . 0.128 . . . 0.051 . . . . .
A 3.304 24 0.299 0.299 0.299 . 0.431 . 0.191 0.375 . 0.299 . . . 0.431 0.191 0.299 . . . . . . . . . . . 0.191 . . . .
t 3.229 342 0.409 0.417 0.308 0.420 0.417 0.138 . 0.215 . . . . . . 0.331 . . . . . . . 0.198 . 0.025 . . . 0.043 0.232 . 0.075
b 3.218 108 0.256 0.431 0.382 0.468 0.441 0.256 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . 0.144 . 0.278 . . 0.107 . . 0.063
c 3.164 212 0.348 0.440 0.339 0.330 0.492 0.312 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . 0.063 . . . . . . 0.292
p 3.100 118 . 0.335 0.242 0.263 0.481 0.434 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . . . 0.058 . .
l 3.064 174 0.237 0.521 0.317 0.186 0.317 0.475 . . . 0.101 0.266 . . . . 0.043 0.221 . . 0.043 . . . . . . . . 0.147 0.043 0.074 0.074
g 3.037 103 0.110 0.506 0.149 0.264 0.345 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . . . . . . . . 0.345 . .
W 2.964 49 0.295 0.115 0.188 . . . . 0.427 . 0.115 . . . 0.115 . 0.527 0.371 . . 0.336 . . . . . . . 0.115 0.247 . . 0.115
s 2.830 515 0.525 0.188 0.394 0.307 0.291 0.149 . 0.102 0.084 0.126 . . . 0.149 . . 0.307 . . . . . 0.065 . 0.065 0.043 . . 0.017 . . 0.017
d 2.788 267 0.400 0.473 0.305 0.190 0.405 0.519 . 0.030 0.030 . . . . . 0.073 0.073 . . . . . . . . 0.030 0.177 . . 0.030 0.053 . .
m 2.774 188 0.095 0.523 0.225 0.194 0.475 0.487 0.210 . 0.070 . . . 0.095 . . . 0.040 0.070 . . . . 0.139 . 0.040 . . . 0.070 . . 0.040
h 2.591 82 0.175 0.421 0.503 0.175 0.522 0.303 . 0.246 . . . . . 0.246 . . . . . . . . . . . . . . . . . .
f 2.130 70 . 0.493 0.358 0.380 0.380 0.236 . 0.195 . . . . . . . . . . 0.088 . . . . . . . . . . . . .
Q 2.109 98 . 0.497 0.459 . 0.531 0.401 . . . . . . . . . . . . . . . . . . . 0.067 . . 0.154 . . .
v 2.093 54 . . 0.382 0.176 . 0.505 . . . . . . . . . . . . . . . . . 0.278 . 0.520 . . . . . 0.232
x 1.953 49 0.512 0.336 . . 0.449 . . . . . . . . . . . 0.188 . . . . . . . . 0.468 . . . . . .
Y 1.549 30 . . . . . . 0.490 0.464 . . . . . 0.431 . . . . . . . . . 0.164 . . . . . . . .
O 1.000 2 0.500 . . . . . . . . . . . . . . . . . 0.500 . . . . . . . . . . . . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.506 7261 0.383 0.323 0.266 0.203 0.317 0.238 0.246 0.223 0.097 0.149 0.129 0.087 0.090 0.271 0.073 0.175 0.208 0.136 0.065 0.053 0.049 0.003 0.084 0.027 0.108 0.069 0.033 0.049 0.046 0.052 0.003 0.075
The contractions "at " -> "A", "om " -> "O" seem harmless.
Now the main problems are "s" (often folloed by space), "d" (usually followed by "i", "e", "o"),
and "m" (usually followed by "i", "e", "o").
We can condense "is " -> "Z" and "us " -> "S".
Since we are at it, let's also condense "ere" -> "R" and "e " -> "3".
cat latn.txt \
| sed \
-e 's/$/ /g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/um /U/g' \
-e 's/is /Z/g' \
-e 's/us /S/g' \
-e 's/e /3/g' \
-e 's/qu/Q/g' \
-e 's/ve/Y/g' \
-e 's/vi/W/g' \
-e 's/ere/R/g' \
-e 's/ $//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxzQREIYWHMUZS3'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z Q R E I Y W H M U Z S 3
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
735 . 61 60 8 49 9 22 42 25 35 9 6 8 86 7 58 36 35 36 13 . . 41 . 65 . 11 13 . . . . . .
i 645 103 4 51 13 20 36 121 4 13 34 36 5 25 27 8 6 33 20 3 4 12 . 3 . 1 1 6 3 10 1 12 2 23 5
a 524 50 8 1 19 13 . 51 16 5 24 44 8 34 29 9 62 67 14 . 18 . . 3 . . 3 5 17 . . . . . 24
u 253 11 14 6 . 9 13 38 26 15 8 25 1 4 7 . 11 22 8 1 1 6 . . . . 8 . . 5 . 8 2 4 .
e 506 . 26 2 . . 12 53 116 4 18 19 52 11 61 . 26 31 3 3 1 27 . 3 . . . . . 4 . 21 2 6 5
o 422 70 7 4 . 1 . 88 32 13 28 15 2 5 49 1 12 8 71 . 1 2 . 10 . . . 3 . . . . . . .
n 443 81 54 38 17 16 32 4 . 4 8 . 15 . 24 . 17 63 . 4 . 2 . 3 . 1 2 2 3 . 13 11 5 13 11
r 375 45 27 50 20 87 30 6 12 . 4 . 9 1 7 1 14 4 8 2 7 . 1 . 2 1 6 . 4 8 5 3 4 1 6
p 118 . 12 7 8 25 20 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . . . 1 . . . 1
c 212 23 36 22 21 45 19 . 2 . 7 3 . . . 4 . 5 . . . . . . . 2 . . . . . 17 1 . 5
l 174 10 50 16 4 16 39 . . . 3 12 . . . . 1 9 . . 1 . . . . . . . . 5 1 2 2 3 .
g 103 2 16 3 7 2 12 17 9 . . 2 2 . . . . . . . . . . . . . . . . . 11 . 11 . 9
b 108 7 18 17 6 19 7 1 1 . . 1 . . 3 . . . 1 . . . . . . . 8 . . 2 . 1 . 16 .
s 392 96 20 71 44 33 15 . 9 7 12 . . . 15 . . 45 . . . . . 5 . 5 3 . . 1 . 1 1 1 8
h 82 3 13 21 3 23 7 . 5 . . . . . 5 . . . . . . . . . 2 . . . . . . . . . .
d 267 38 56 23 10 29 78 . 1 1 . . . . . 3 3 . . . . . . . . 1 10 . . 1 2 . . 1 10
t 366 75 41 30 47 30 9 . 17 . . . . . . 34 . . . . . . . 15 . 1 . . . 2 19 4 12 7 23
m 190 5 56 10 6 29 43 9 . 2 . . . 3 . . . 1 2 . . . . 5 . 1 . . . 2 . 1 2 2 11
f 70 . 36 8 9 8 4 . 3 . . . . . . . . . . 1 . . . . 1 . . . . . . . . . .
v 55 . . 11 2 . 14 . . . . . . . . . . . . . . . . . . . 24 . . . . 3 1 . .
x 49 23 5 . . 9 . . . . . . . . . . . 2 . . . . . . . . 10 . . . . . . . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 98 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . 1 . . 3 . . . . 34
R 5 . . . . . . 1 . . . . . . . . . 4 . . . . . . . . . . . . . . . . .
E 137 12 23 16 2 6 3 9 6 7 8 1 . 6 15 1 7 1 3 5 1 . . 2 . 1 . 1 1 . . . . . .
I 76 6 4 6 4 5 2 1 6 4 5 . . 3 8 3 7 3 3 . 1 . . 1 . 2 . . 2 . . . . . .
Y 30 . . 1 . . . 7 17 . . . . . 5 . . . . . . . . . . . . . . . . . . . .
W 48 4 . 2 . . . . 8 . 1 . . . . . 16 6 . . 5 . . . . . . . 1 3 . 1 1 . .
H 46 7 1 4 2 2 . . 6 1 . . . . 4 1 2 2 3 3 1 . . . . 6 . . 1 . . . . . .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 4 . . 1 1 . 8 . . . . . . . . .
U 85 15 9 3 . 5 . 4 5 5 2 . 3 . 6 . 6 7 3 3 . . . . . 8 . . 1 . . . . . .
Z 46 13 1 1 . 3 . 1 1 4 . . . 3 1 . 4 2 2 . . . . 1 . 8 . . 1 . . . . . .
S 77 10 9 6 . 9 1 5 6 2 3 . . . 6 . 6 2 3 2 . . . 1 . 5 . . 1 . . . . . .
3 152 18 10 11 1 8 2 5 5 3 10 2 . 4 19 1 5 8 9 3 1 . . 4 . 21 . 2 . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 6944 735 645 524 253 506 422 443 375 118 212 174 103 108 392 82 267 366 190 70 55 49 2 98 5 137 76 30 48 46 53 85 46 77 152
Next-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z Q R E I Y W H M U Z S 3
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 8 8 1 7 1 3 6 3 5 1 1 1 12 1 8 5 5 5 2 . . 6 . 9 . 1 2 . . . . . .
i 99 16 1 8 2 3 6 19 1 2 5 6 1 4 4 1 1 5 3 . 1 2 . . . . . 1 . 2 . 2 . 4 1
a 99 9 2 . 4 2 . 10 3 1 5 8 2 6 5 2 12 13 3 . 3 . . 1 . . 1 1 3 . . . . . 5
u 99 4 5 2 . 4 5 15 10 6 3 10 . 2 3 . 4 9 3 . . 2 . . . . 3 . . 2 . 3 1 2 .
e 99 . 5 . . . 2 10 23 1 4 4 10 2 12 . 5 6 1 1 . 5 . 1 . . . . . 1 . 4 . 1 1
o 99 16 2 1 . . . 21 8 3 7 4 . 1 11 . 3 2 17 . . . . 2 . . . 1 . . . . . . .
n 99 18 12 8 4 4 7 1 . 1 2 . 3 . 5 . 4 14 . 1 . . . 1 . . . . 1 . 3 2 1 3 2
r 99 12 7 13 5 23 8 2 3 . 1 . 2 . 2 . 4 1 2 1 2 . . . 1 . 2 . 1 2 1 1 1 . 2
p 99 . 10 6 7 21 17 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . . . 1 . . . 1
c 99 11 17 10 10 21 9 . 1 . 3 1 . . . 2 . 2 . . . . . . . 1 . . . . . 8 . . 2
l 99 6 28 9 2 9 22 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . . 3 1 1 1 2 .
g 99 2 15 3 7 2 12 16 9 . . 2 2 . . . . . . . . . . . . . . . . . 11 . 11 . 9
b 99 6 17 16 6 17 6 1 1 . . 1 . . 3 . . . 1 . . . . . . . 7 . . 2 . 1 . 15 .
s 99 24 5 18 11 8 4 . 2 2 3 . . . 4 . . 11 . . . . . 1 . 1 1 . . . . . . . 2
h 99 4 16 25 4 28 8 . 6 . . . . . 6 . . . . . . . . . 2 . . . . . . . . . .
d 99 14 21 9 4 11 29 . . . . . . . . 1 1 . . . . . . . . . 4 . . . 1 . . . 4
t 99 20 11 8 13 8 2 . 5 . . . . . . 9 . . . . . . . 4 . . . . . 1 5 1 3 2 6
m 99 3 29 5 3 15 22 5 . 1 . . . 2 . . . 1 1 . . . . 3 . 1 . . . 1 . 1 1 1 6
f 99 . 51 11 13 11 6 . 4 . . . . . . . . . . 1 . . . . 1 . . . . . . . . . .
v 99 . . 20 4 . 25 . . . . . . . . . . . . . . . . . . . 43 . . . . 5 2 . .
x 99 46 10 . . 18 . . . . . . . . . . . 4 . . . . . . . . 20 . . . . . . . .
z 99 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 99 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . 1 . . 3 . . . . 34
R 99 . . . . . . 20 . . . . . . . . . 79 . . . . . . . . . . . . . . . . .
E 99 9 17 12 1 4 2 7 4 5 6 1 . 4 11 1 5 1 2 4 1 . . 1 . 1 . 1 1 . . . . . .
I 99 8 5 8 5 7 3 1 8 5 7 . . 4 10 4 9 4 4 . 1 . . 1 . 3 . . 3 . . . . . .
Y 99 . . 3 . . . 23 56 . . . . . 17 . . . . . . . . . . . . . . . . . . . .
W 99 8 . 4 . . . . 17 . 2 . . . . . 33 12 . . 10 . . . . . . . 2 6 . 2 2 . .
H 99 15 2 9 4 4 . . 13 2 . . . . 9 2 4 4 6 6 2 . . . . 13 . . 2 . . . . . .
M 99 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 7 . . 2 2 . 15 . . . . . . . . .
U 99 17 10 3 . 6 . 5 6 6 2 . 3 . 7 . 7 8 3 3 . . . . . 9 . . 1 . . . . . .
Z 99 28 2 2 . 6 . 2 2 9 . . . 6 2 . 9 4 4 . . . . 2 . 17 . . 2 . . . . . .
S 99 13 12 8 . 12 1 6 8 3 4 . . . 8 . 8 3 4 3 . . . 1 . 6 . . 1 . . . . . .
3 99 12 7 7 1 5 1 3 3 2 7 1 . 3 12 1 3 5 6 2 1 . . 3 . 14 . 1 . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 10 9 7 4 7 6 6 5 2 3 2 1 2 6 1 4 5 3 1 1 1 0 1 0 2 1 0 1 1 1 1 1 1 2
Symbol entropy: 4.502
Next-symbol entropy:
TT TT i a u e o n r p c l g b s h d t m f v x z Q R E I Y W H M U Z S 3
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
4.159 735 . 0.298 0.295 0.071 0.260 0.078 0.152 0.236 0.166 0.209 0.078 0.057 0.071 0.362 0.064 0.289 0.213 0.209 0.213 0.103 . . 0.232 . 0.309 . 0.091 0.103 . . . . . .
u 4.122 253 0.197 0.231 0.128 . 0.171 0.220 0.411 0.337 0.242 0.158 0.330 0.032 0.095 0.143 . 0.197 0.306 0.158 0.032 0.032 0.128 . . . . 0.158 . . 0.112 . 0.158 0.055 0.095 .
I 4.111 76 0.289 0.224 0.289 0.224 0.258 0.138 0.082 0.289 0.224 0.258 . . 0.184 0.342 0.184 0.317 0.184 0.184 . 0.082 . . 0.082 . 0.138 . . 0.138 . . . . . .
i 4.089 645 0.423 0.045 0.289 0.114 0.155 0.232 0.453 0.045 0.114 0.224 0.232 0.054 0.182 0.192 0.079 0.063 0.219 0.155 0.036 0.045 0.107 . 0.036 . 0.014 0.014 0.063 0.036 0.093 0.014 0.107 0.026 0.172 0.054
a 4.031 524 0.323 0.092 0.017 0.174 0.132 . 0.327 0.154 0.064 0.204 0.300 0.092 0.256 0.231 0.101 0.364 0.379 0.140 . 0.167 . . 0.043 . . 0.043 0.064 0.160 . . . . . 0.204
3 3.989 152 0.365 0.258 0.274 0.048 0.224 0.082 0.162 0.162 0.112 0.258 0.082 . 0.138 0.375 0.048 0.162 0.224 0.241 0.112 0.048 . . 0.138 . 0.395 . 0.082 . . . . . . .
E 3.936 137 0.308 0.432 0.362 0.089 0.198 0.121 0.258 0.198 0.219 0.239 0.052 . 0.198 0.349 0.052 0.219 0.052 0.121 0.174 0.052 . . 0.089 . 0.052 . 0.052 0.052 . . . . . .
n 3.872 443 0.448 0.370 0.304 0.181 0.173 0.274 0.061 . 0.061 0.105 . 0.165 . 0.228 . 0.181 0.400 . 0.061 . 0.035 . 0.049 . 0.020 0.035 0.035 0.049 . 0.149 0.132 0.073 0.149 0.132
r 3.850 375 0.367 0.273 0.388 0.226 0.489 0.292 0.095 0.159 . 0.070 . 0.129 0.023 0.107 0.023 0.177 0.070 0.118 0.040 0.107 . 0.023 . 0.040 0.023 0.095 . 0.070 0.118 0.083 0.056 0.070 0.023 0.095
S 3.786 77 0.382 0.362 0.287 . 0.362 0.081 0.256 0.287 0.137 0.182 . . . 0.287 . 0.287 0.137 0.182 0.137 . . . 0.081 . 0.256 . . 0.081 . . . . . .
U 3.755 85 0.442 0.343 0.170 . 0.240 . 0.208 0.240 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.170 . . . . . 0.321 . . 0.075 . . . . . .
e 3.698 506 . 0.220 0.032 . . 0.128 0.341 0.487 0.055 0.171 0.178 0.337 0.120 0.368 . 0.220 0.247 0.044 0.044 0.018 0.226 . 0.044 . . . . . 0.055 . 0.191 0.032 0.076 0.066
H 3.694 46 0.413 0.120 0.306 0.197 0.197 . . 0.383 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 0.257 0.120 . . . . 0.383 . . 0.120 . . . . . .
M 3.563 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.281 . . 0.108 0.108 . 0.412 . . . . . . . . .
t 3.518 366 0.469 0.354 0.296 0.380 0.296 0.131 . 0.206 . . . . . . 0.318 . . . . . . . 0.189 . 0.023 . . . 0.041 0.222 0.071 0.162 0.109 0.251
o 3.368 422 0.430 0.098 0.064 . 0.021 . 0.472 0.282 0.155 0.260 0.171 0.037 0.076 0.361 0.021 0.146 0.108 0.433 . 0.021 0.037 . 0.128 . . . 0.051 . . . . . . .
g 3.365 103 0.110 0.417 0.149 0.264 0.110 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . . . . . . . . 0.345 . 0.345 . 0.307
s 3.336 392 0.497 0.219 0.446 0.354 0.301 0.180 . 0.125 0.104 0.154 . . . 0.180 . . 0.358 . . . . . 0.080 . 0.080 0.054 . . 0.022 . 0.022 0.022 0.022 0.115
Z 3.315 46 0.515 0.120 0.120 . 0.257 . 0.120 0.120 0.306 . . . 0.257 0.120 . 0.306 0.197 0.197 . . . . 0.120 . 0.439 . . 0.120 . . . . . .
c 3.306 212 0.348 0.434 0.339 0.330 0.475 0.312 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . 0.063 . . . . . 0.292 0.036 . 0.127
b 3.284 108 0.256 0.431 0.420 0.232 0.441 0.256 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . . 0.278 . . 0.107 . 0.063 . 0.408 .
p 3.152 118 . 0.335 0.242 0.263 0.474 0.434 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . . . 0.058 . . . 0.058
l 3.108 174 0.237 0.517 0.317 0.125 0.317 0.484 . . . 0.101 0.266 . . . . 0.043 0.221 . . 0.043 . . . . . . . . 0.147 0.043 0.074 0.074 0.101 .
m 3.082 190 0.138 0.519 0.224 0.157 0.414 0.485 0.208 . 0.069 . . . 0.094 . . . 0.040 0.069 . . . . 0.138 . 0.040 . . . 0.069 . 0.040 0.069 0.069 0.238
d 2.926 267 0.400 0.473 0.305 0.177 0.348 0.519 . 0.030 0.030 . . . . . 0.073 0.073 . . . . . . . . 0.030 0.177 . . 0.030 0.053 . . 0.030 0.177
W 2.879 48 0.299 . 0.191 . . . . 0.431 . 0.116 . . . . . 0.528 0.375 . . 0.340 . . . . . . . 0.116 0.250 . 0.116 0.116 . .
h 2.714 82 0.175 0.421 0.503 0.175 0.514 0.303 . 0.246 . . . . . 0.246 . . . . . . . . . 0.131 . . . . . . . . . .
Q 2.262 98 . 0.497 0.459 . 0.154 0.401 . . . . . . . . . . . . . . . . . . . 0.067 . . 0.154 . . . . 0.530
f 2.195 70 . 0.493 0.358 0.380 0.358 0.236 . 0.195 . . . . . . . . . . 0.088 . . . . 0.088 . . . . . . . . . .
v 1.997 55 . . 0.464 0.174 . 0.502 . . . . . . . . . . . . . . . . . . . 0.522 . . . . 0.229 0.105 . .
x 1.953 49 0.512 0.336 . . 0.449 . . . . . . . . . . . 0.188 . . . . . . . . 0.468 . . . . . . . .
Y 1.549 30 . . 0.164 . . . 0.490 0.464 . . . . . 0.431 . . . . . . . . . . . . . . . . . . . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 0.722 5 . . . . . . 0.464 . . . . . . . . . 0.258 . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.622 6944 0.343 0.318 0.281 0.174 0.275 0.246 0.253 0.227 0.100 0.154 0.133 0.090 0.093 0.234 0.076 0.181 0.224 0.142 0.067 0.055 0.050 0.003 0.087 0.008 0.112 0.071 0.034 0.050 0.048 0.054 0.078 0.048 0.072 0.121
It seems that "ere" -> "R" is pointless; let's try "er" and "re" instead.
Problems still with "p" ("pi", "pe", "po", "pr"), "l" ("li", "lo"), "m" ("mi", "me", "mo"),
and "d" ("do", "d ", "di"). Other promising abbeviations are "un", "on"
Also "ve" -> "Y" is not enough; "ver" seems more useful.
Likewise, we shoudl try "vid" instead of "vi".
Finally, "ex", "d ", "t " seem useful.
cat latn.txt \
| sed \
-e 's/$/ /g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/um /U/g' \
-e 's/is /Z/g' \
-e 's/us /S/g' \
-e 's/e /3/g' \
-e 's/d /D/g' \
-e 's/t /T/g' \
-e 's/qu/Q/g' \
-e 's/ex/X/g' \
-e 's/ver/Y/g' \
-e 's/vid/W/g' \
-e 's/re/R/g' \
-e 's/er/K/g' \
-e 's/un/N/g' \
-e 's/on/O/g' \
-e 's/ $//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxzQXYWRKNOEIHMUZS3DT'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z Q X Y W R K N O E I H M U Z S 3 D T
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
636 . 47 53 4 24 8 18 10 24 28 9 6 5 74 5 52 32 30 35 29 . . 39 2 5 1 23 10 3 . 60 . . . . . . . . .
i 692 107 4 53 12 16 30 121 11 13 35 36 5 25 27 8 3 39 20 3 13 12 . 3 . 6 . 1 4 1 6 1 1 13 1 13 3 23 5 18 .
a 524 50 8 1 19 11 . 51 16 5 24 44 8 34 29 9 51 43 14 . 35 . . 3 . 5 . . 2 . . . 3 . . . . . 24 11 24
u 215 11 14 6 . 1 13 . 26 15 8 25 1 4 7 . 10 14 8 1 1 6 . . . . . . 8 . . . 8 5 . 8 2 4 . 1 8
e 316 . 26 3 . . 12 60 . 4 18 19 6 11 54 . 18 30 3 3 1 . . 3 . . . 3 . . . . . 4 . 21 2 6 5 4 .
o 334 70 7 4 . 1 . . 30 13 28 15 2 5 49 1 8 8 71 . 4 2 . 10 . . . 2 . . . . . . . . . . . 4 .
n 317 54 28 33 9 10 19 3 . 3 6 . 14 . 21 . 12 32 . 2 4 . . 3 . . . . 4 5 13 1 2 . 3 7 2 10 9 . 8
r 177 20 20 36 1 . 21 3 4 . 1 . 1 . 1 1 2 3 5 . 2 . . . 23 . . 2 . 1 6 1 . 8 5 3 3 1 3 . .
p 118 . 12 7 8 6 15 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . 19 . 5 . . . 1 . . . 1 . .
c 212 23 36 22 20 31 12 . 2 . 7 3 . . . 4 . 5 . . . . . . . . . . 14 1 7 2 . . . 17 1 . 5 . .
l 174 10 50 16 4 16 39 . . . 3 12 . . . . 1 8 . . 1 . . . . . . . . . . . . 5 1 2 2 3 . . 1
g 103 2 16 3 7 1 12 17 1 . . 2 2 . . . . . . . . . . . . . . 8 1 . . . . . 11 . 11 . 9 . .
b 108 7 18 17 6 17 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . 2 . 2 . 8 2 . 1 . 16 . . .
s 392 96 20 71 40 21 13 . 9 7 12 . . . 15 . . 28 . . . . . 5 . . . . 12 4 2 5 3 1 . 1 1 1 8 . 17
h 82 3 13 21 3 23 7 . 5 . . . . . 5 . . . . . . . . . . . . . 2 . . . . . . . . . . . .
d 228 . 56 23 10 24 63 . 1 1 . . . . . 3 3 . . . . . . . . . . . 4 . 15 1 10 1 2 . . 1 10 . .
t 291 . 41 30 47 17 9 . 16 . . . . . . 34 . . . . . . . 15 . . . 1 13 . . 1 . 2 19 4 12 7 23 . .
m 190 5 56 10 6 29 12 9 . 2 . . . 3 . . . 1 2 . . . . 5 . . . . . . 31 1 . 2 . 1 2 2 11 . .
f 70 . 36 8 9 7 3 . 3 . . . . . . . . . . 1 . . . . . . . . 2 . 1 . . . . . . . . . .
v 115 . 47 11 2 13 14 . . . . . . . . . . . . . . . . . . . . . . . . . 24 . . 3 1 . . . .
x 22 2 4 . . . . . . . . . . . . . . 2 . . . . . . . . . . 5 . . . 9 . . . . . . . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 98 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . 34 . .
X 27 21 1 . . . . . . . . . . . . . . . . . . . . . . . . . 4 . . . 1 . . . . . . . .
Y 17 . 2 1 1 . 2 . . . . . . 1 6 . . 1 . . . . . . . . . . . 2 . . 1 . . . . . . . .
W 1 . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 71 . . . . . . 1 1 . . . 46 . 12 . 4 5 . . . . . . . . . 2 . . . . . . . . . . . . .
K 115 25 5 13 2 . 1 3 6 . 3 . 8 . . . 12 . 3 2 9 . 1 . . . . . . 13 . . 5 . . . 1 . 3 . .
N 38 . 6 2 1 . . . . . 2 . 1 . . . 1 5 . . . 2 . . . . . . . . . . . . . . . 1 . . 17
O 88 27 20 3 2 2 . 1 . 1 . . . . 3 . 4 1 . 2 1 . . . . . . . . . . . . . 10 4 3 2 2 . .
E 137 12 23 16 . 6 3 9 4 7 8 1 . 6 15 1 7 1 3 5 3 . . 2 . . . 2 . 2 . 1 . . . . . . . . .
I 76 6 4 6 . 3 2 1 3 4 5 . . 3 8 3 7 3 3 . 3 . . 1 . . . 3 2 4 . 2 . . . . . . . . .
H 46 7 1 4 1 1 . . 1 1 . . . . 4 1 2 2 3 3 2 . . . . . . 5 1 1 . 6 . . . . . . . . .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 4 . . 1 1 . . . . . . . 8 . . . . . . . . .
U 85 15 9 3 . 4 . 4 . 5 2 . 3 . 6 . 6 7 3 3 1 . . . . . . 5 1 . . 8 . . . . . . . . .
Z 46 13 1 1 . 2 . 1 . 4 . . . 3 1 . 4 2 2 . 1 . . 1 . . . 1 1 . . 8 . . . . . . . . .
S 77 10 9 6 . 8 1 5 2 2 3 . . . 6 . 6 2 3 2 1 . . 1 1 . . 4 . . . 5 . . . . . . . . .
3 152 18 10 11 . 6 2 5 2 3 10 2 . 4 19 1 5 8 9 3 2 . . 4 1 1 . 3 1 1 . 21 . . . . . . . . .
D 38 4 3 1 1 1 . 2 . . 2 . . 1 4 1 2 1 1 . 1 . . 2 . . . 5 1 . . 5 . . . . . . . . .
T 75 10 11 6 . 9 1 2 3 1 5 . . 2 8 1 4 3 4 1 1 . . . . . . 1 2 . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 6558 636 692 524 215 316 334 317 177 118 212 174 103 108 392 82 228 291 190 70 115 22 2 98 27 17 1 71 115 38 88 137 76 46 53 85 46 77 152 38 75
Next-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z Q X Y W R K N O E I H M U Z S 3 D T
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 7 8 1 4 1 3 2 4 4 1 1 1 12 1 8 5 5 5 5 . . 6 . 1 . 4 2 . . 9 . . . . . . . . .
i 99 15 1 8 2 2 4 17 2 2 5 5 1 4 4 1 . 6 3 . 2 2 . . . 1 . . 1 . 1 . . 2 . 2 . 3 1 3 .
a 99 9 2 . 4 2 . 10 3 1 5 8 2 6 5 2 10 8 3 . 7 . . 1 . 1 . . . . . . 1 . . . . . 5 2 5
u 99 5 6 3 . . 6 . 12 7 4 12 . 2 3 . 5 6 4 . . 3 . . . . . . 4 . . . 4 2 . 4 1 2 . . 4
e 99 . 8 1 . . 4 19 . 1 6 6 2 3 17 . 6 9 1 1 . . . 1 . . . 1 . . . . . 1 . 7 1 2 2 1 .
o 99 21 2 1 . . . . 9 4 8 4 1 1 15 . 2 2 21 . 1 1 . 3 . . . 1 . . . . . . . . . . . 1 .
n 99 17 9 10 3 3 6 1 . 1 2 . 4 . 7 . 4 10 . 1 1 . . 1 . . . . 1 2 4 . 1 . 1 2 1 3 3 . 2
r 99 11 11 20 1 . 12 2 2 . 1 . 1 . 1 1 1 2 3 . 1 . . . 13 . . 1 . 1 3 1 . 4 3 2 2 1 2 . .
p 99 . 10 6 7 5 13 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . 16 . 4 . . . 1 . . . 1 . .
c 99 11 17 10 9 14 6 . 1 . 3 1 . . . 2 . 2 . . . . . . . . . . 7 . 3 1 . . . 8 . . 2 . .
l 99 6 28 9 2 9 22 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . . . . . . 3 1 1 1 2 . . 1
g 99 2 15 3 7 1 12 16 1 . . 2 2 . . . . . . . . . . . . . . 8 1 . . . . . 11 . 11 . 9 . .
b 99 6 17 16 6 16 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . 2 . 2 . 7 2 . 1 . 15 . . .
s 99 24 5 18 10 5 3 . 2 2 3 . . . 4 . . 7 . . . . . 1 . . . . 3 1 1 1 1 . . . . . 2 . 4
h 99 4 16 25 4 28 8 . 6 . . . . . 6 . . . . . . . . . . . . . 2 . . . . . . . . . . . .
d 99 . 24 10 4 10 27 . . . . . . . . 1 1 . . . . . . . . . . . 2 . 7 . 4 . 1 . . . 4 . .
t 99 . 14 10 16 6 3 . 5 . . . . . . 12 . . . . . . . 5 . . . . 4 . . . . 1 6 1 4 2 8 . .
m 99 3 29 5 3 15 6 5 . 1 . . . 2 . . . 1 1 . . . . 3 . . . . . . 16 1 . 1 . 1 1 1 6 . .
f 99 . 51 11 13 10 4 . 4 . . . . . . . . . . 1 . . . . . . . . 3 . 1 . . . . . . . . . .
v 99 . 40 9 2 11 12 . . . . . . . . . . . . . . . . . . . . . . . . . 21 . . 3 1 . . . .
x 99 9 18 . . . . . . . . . . . . . . 9 . . . . . . . . . . 23 . . . 41 . . . . . . . .
z 99 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 99 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . 34 . .
X 99 77 4 . . . . . . . . . . . . . . . . . . . . . . . . . 15 . . . 4 . . . . . . . .
Y 99 . 12 6 6 . 12 . . . . . . 6 35 . . 6 . . . . . . . . . . . 12 . . 6 . . . . . . . .
W 99 . . . . 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 99 . . . . . . 1 1 . . . 64 . 17 . 6 7 . . . . . . . . . 3 . . . . . . . . . . . . .
K 99 22 4 11 2 . 1 3 5 . 3 . 7 . . . 10 . 3 2 8 . 1 . . . . . . 11 . . 4 . . . 1 . 3 . .
N 99 . 16 5 3 . . . . . 5 . 3 . . . 3 13 . . . 5 . . . . . . . . . . . . . . . 3 . . 44
O 99 30 23 3 2 2 . 1 . 1 . . . . 3 . 5 1 . 2 1 . . . . . . . . . . . . . 11 5 3 2 2 . .
E 99 9 17 12 . 4 2 7 3 5 6 1 . 4 11 1 5 1 2 4 2 . . 1 . . . 1 . 1 . 1 . . . . . . . . .
I 99 8 5 8 . 4 3 1 4 5 7 . . 4 10 4 9 4 4 . 4 . . 1 . . . 4 3 5 . 3 . . . . . . . . .
H 99 15 2 9 2 2 . . 2 2 . . . . 9 2 4 4 6 6 4 . . . . . . 11 2 2 . 13 . . . . . . . . .
M 99 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 7 . . 2 2 . . . . . . . 15 . . . . . . . . .
U 99 17 10 3 . 5 . 5 . 6 2 . 3 . 7 . 7 8 3 3 1 . . . . . . 6 1 . . 9 . . . . . . . . .
Z 99 28 2 2 . 4 . 2 . 9 . . . 6 2 . 9 4 4 . 2 . . 2 . . . 2 2 . . 17 . . . . . . . . .
S 99 13 12 8 . 10 1 6 3 3 4 . . . 8 . 8 3 4 3 1 . . 1 1 . . 5 . . . 6 . . . . . . . . .
3 99 12 7 7 . 4 1 3 1 2 7 1 . 3 12 1 3 5 6 2 1 . . 3 1 1 . 2 1 1 . 14 . . . . . . . . .
D 99 10 8 3 3 3 . 5 . . 5 . . 3 10 3 5 3 3 . 3 . . 5 . . . 13 3 . . 13 . . . . . . . . .
T 99 13 15 8 . 12 1 3 4 1 7 . . 3 11 1 5 4 5 1 1 . . . . . . 1 3 . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 10 10 8 3 5 5 5 3 2 3 3 2 2 6 1 3 4 3 1 2 0 0 1 0 0 0 1 2 1 1 2 1 1 1 1 1 1 2 1 1
Symbol entropy: 4.733
Next-symbol entropy:
TT TT i a u e o n r p c l g b s h d t m f v x z Q X Y W R K N O E I H M U Z S 3 D T
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
u 4.273 215 0.219 0.257 0.144 . 0.036 0.245 . 0.369 0.268 0.177 0.361 0.036 0.107 0.161 . 0.206 0.257 0.177 0.036 0.036 0.144 . . . . . . 0.177 . . . 0.177 0.126 . 0.177 0.063 0.107 . 0.036 0.177
i 4.254 692 0.416 0.043 0.284 0.101 0.126 0.196 0.440 0.095 0.108 0.218 0.222 0.051 0.173 0.183 0.074 0.034 0.234 0.148 0.034 0.108 0.101 . 0.034 . 0.059 . 0.014 0.043 0.014 0.059 0.014 0.014 0.108 0.014 0.108 0.034 0.163 0.051 0.137 .
4.240 636 . 0.278 0.299 0.046 0.178 0.079 0.146 0.094 0.178 0.198 0.087 0.063 0.055 0.361 0.055 0.295 0.217 0.208 0.230 0.203 . . 0.247 0.026 0.055 0.015 0.173 0.094 0.036 . 0.321 . . . . . . . . .
I 4.217 76 0.289 0.224 0.289 . 0.184 0.138 0.082 0.184 0.224 0.258 . . 0.184 0.342 0.184 0.317 0.184 0.184 . 0.184 . . 0.082 . . . 0.184 0.138 0.224 . 0.138 . . . . . . . . .
a 4.180 524 0.323 0.092 0.017 0.174 0.117 . 0.327 0.154 0.064 0.204 0.300 0.092 0.256 0.231 0.101 0.327 0.296 0.140 . 0.261 . . 0.043 . 0.064 . . 0.031 . . . 0.043 . . . . . 0.204 0.117 0.204
n 4.130 317 0.435 0.309 0.340 0.146 0.157 0.243 0.064 . 0.064 0.108 . 0.199 . 0.259 . 0.179 0.334 . 0.046 0.080 . . 0.064 . . . . 0.080 0.094 0.189 0.026 0.046 . 0.064 0.121 0.046 0.157 0.146 . 0.134
3 4.077 152 0.365 0.258 0.274 . 0.184 0.082 0.162 0.082 0.112 0.258 0.082 . 0.138 0.375 0.048 0.162 0.224 0.241 0.112 0.082 . . 0.138 0.048 0.048 . 0.112 0.048 0.048 . 0.395 . . . . . . . . .
E 3.942 137 0.308 0.432 0.362 . 0.198 0.121 0.258 0.149 0.219 0.239 0.052 . 0.198 0.349 0.052 0.219 0.052 0.121 0.174 0.121 . . 0.089 . . . 0.089 . 0.089 . 0.052 . . . . . . . . .
S 3.916 77 0.382 0.362 0.287 . 0.339 0.081 0.256 0.137 0.137 0.182 . . . 0.287 . 0.287 0.137 0.182 0.137 0.081 . . 0.081 0.081 . . 0.222 . . . 0.256 . . . . . . . . .
D 3.880 38 0.342 0.289 0.138 0.138 0.138 . 0.224 . . 0.224 . . 0.138 0.342 0.138 0.224 0.138 0.138 . 0.138 . . 0.224 . . . 0.385 0.138 . . 0.385 . . . . . . . . .
H 3.822 46 0.413 0.120 0.306 0.120 0.120 . . 0.120 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 0.257 0.197 . . . . . . 0.348 0.120 0.120 . 0.383 . . . . . . . . .
U 3.797 85 0.442 0.343 0.170 . 0.208 . 0.208 . 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.170 0.075 . . . . . . 0.240 0.075 . . 0.321 . . . . . . . . .
T 3.796 75 0.388 0.406 0.292 . 0.367 0.083 0.139 0.186 0.083 0.260 . . 0.139 0.344 0.083 0.226 0.186 0.226 0.083 0.083 . . . . . . 0.083 0.139 . . . . . . . . . . . .
e 3.775 316 . 0.296 0.064 . . 0.179 0.455 . 0.080 0.235 0.244 0.109 0.169 0.436 . 0.235 0.322 0.064 0.064 0.026 . . 0.064 . . . 0.064 . . . . . 0.080 . 0.260 0.046 0.109 0.095 0.080 .
r 3.763 177 0.355 0.355 0.467 0.042 . 0.365 0.100 0.124 . 0.042 . 0.042 . 0.042 0.042 0.073 0.100 0.145 . 0.073 . . . 0.383 . . 0.073 . 0.042 0.166 0.042 . 0.202 0.145 0.100 0.100 0.042 0.100 . .
K 3.632 115 0.479 0.197 0.356 0.102 . 0.060 0.137 0.222 . 0.137 . 0.268 . . . 0.340 . 0.137 0.102 0.288 . 0.060 . . . . . . 0.356 . . 0.197 . . . 0.060 . 0.137 . .
t 3.625 291 . 0.398 0.338 0.425 0.239 0.155 . 0.230 . . . . . . 0.362 . . . . . . . 0.221 . . . 0.028 0.200 . . 0.028 . 0.049 0.257 0.085 0.190 0.129 0.289 . .
c 3.608 212 0.348 0.434 0.339 0.321 0.406 0.235 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . . . . 0.259 0.036 0.162 0.063 . . . 0.292 0.036 . 0.127 . .
s 3.596 392 0.497 0.219 0.446 0.336 0.226 0.163 . 0.125 0.104 0.154 . . . 0.180 . . 0.272 . . . . . 0.080 . . . . 0.154 0.067 0.039 0.080 0.054 0.022 . 0.022 0.022 0.022 0.115 . 0.196
M 3.563 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.281 . . 0.108 0.108 . . . . . . . 0.412 . . . . . . . . .
p 3.458 118 . 0.335 0.242 0.263 0.219 0.378 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . 0.424 . 0.193 . . . 0.058 . . . 0.058 . .
g 3.429 103 0.110 0.417 0.149 0.264 0.065 0.361 0.429 0.065 . . 0.110 0.110 . . . . . . . . . . . . . . 0.286 0.065 . . . . . 0.345 . 0.345 . 0.307 . .
b 3.426 108 0.256 0.431 0.420 0.232 0.420 0.205 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . . . . 0.107 . 0.107 . 0.278 0.107 . 0.063 . 0.408 . . .
o 3.378 334 0.472 0.117 0.076 . 0.025 . . 0.312 0.182 0.300 0.201 0.044 0.091 0.406 0.025 0.129 0.129 0.475 . 0.076 0.044 . 0.152 . . . 0.044 . . . . . . . . . . . 0.076 .
Z 3.374 46 0.515 0.120 0.120 . 0.197 . 0.120 . 0.306 . . . 0.257 0.120 . 0.306 0.197 0.197 . 0.120 . . 0.120 . . . 0.120 0.120 . . 0.439 . . . . . . . . .
m 3.275 190 0.138 0.519 0.224 0.157 0.414 0.252 0.208 . 0.069 . . . 0.094 . . . 0.040 0.069 . . . . 0.138 . . . . . . 0.427 0.040 . 0.069 . 0.040 0.069 0.069 0.238 . .
O 3.183 88 0.523 0.486 0.166 0.124 0.124 . 0.073 . 0.073 . . . . 0.166 . 0.203 0.073 . 0.124 0.073 . . . . . . . . . . . . . 0.357 0.203 0.166 0.124 0.124 . .
l 3.134 174 0.237 0.517 0.317 0.125 0.317 0.484 . . . 0.101 0.266 . . . . 0.043 0.204 . . 0.043 . . . . . . . . . . . . 0.147 0.043 0.074 0.074 0.101 . . 0.043
d 3.036 228 . 0.497 0.334 0.198 0.342 0.513 . 0.034 0.034 . . . . . 0.082 0.082 . . . . . . . . . . . 0.102 . 0.258 0.034 0.198 0.034 0.060 . . 0.034 0.198 . .
Y 2.822 17 . 0.363 0.240 0.240 . 0.363 . . . . . . 0.240 0.530 . . 0.240 . . . . . . . . . . . 0.363 . . 0.240 . . . . . . . .
h 2.714 82 0.175 0.421 0.503 0.175 0.514 0.303 . 0.246 . . . . . 0.246 . . . . . . . . . . . . . 0.131 . . . . . . . . . . . .
N 2.548 38 . 0.420 0.224 0.138 . . . . . 0.224 . 0.138 . . . 0.138 0.385 . . . 0.224 . . . . . . . . . . . . . . . 0.138 . . 0.519
v 2.347 115 . 0.528 0.324 0.102 0.356 0.370 . . . . . . . . . . . . . . . . . . . . . . . . . 0.472 . . 0.137 0.060 . . . .
f 2.275 70 . 0.493 0.358 0.380 0.332 0.195 . 0.195 . . . . . . . . . . 0.088 . . . . . . . . 0.147 . 0.088 . . . . . . . . . .
Q 2.262 98 . 0.497 0.459 . 0.154 0.401 . . . . . . . . . . . . . . . . . . . . . . . . . 0.067 0.154 . . . . 0.530 . .
x 2.089 22 0.314 0.447 . . . . . . . . . . . . . . 0.314 . . . . . . . . . . 0.486 . . . 0.528 . . . . . . . .
R 1.661 71 . . . . . . 0.087 0.087 . . . 0.406 . 0.433 . 0.234 0.270 . . . . . . . . . 0.145 . . . . . . . . . . . . .
X 1.042 27 0.282 0.176 . . . . . . . . . . . . . . . . . . . . . . . . . 0.408 . . . 0.176 . . . . . . . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
W 0.000 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.695 6558 0.326 0.342 0.291 0.162 0.211 0.219 0.211 0.141 0.104 0.160 0.139 0.094 0.098 0.243 0.079 0.168 0.199 0.148 0.070 0.102 0.028 0.004 0.091 0.033 0.022 0.002 0.071 0.102 0.043 0.083 0.117 0.075 0.050 0.056 0.081 0.050 0.075 0.126 0.043 0.074
It seems that "vid" is useless, presumably because it should have been "vid " but was preempted by "d ".
It seems that "ex" should have been "ex ", and "re" should be "reg".
Other promising abbreviations are "fi" and "xit ".
Also " et " deserves some special treatment. (We must be careful to preserve the preceding space, so as not to
hinder other pattern matches.)
cat latn.txt \
| sed \
-e 's/$/ /g' \
-e 's/ et / +/g' \
-e 's/vid /W/g' \
-e 's/xit /C/g' \
-e 's/ex /X/g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/um /U/g' \
-e 's/is /Z/g' \
-e 's/us /S/g' \
-e 's/e /3/g' \
-e 's/d /D/g' \
-e 's/t /T/g' \
-e 's/ver/Y/g' \
-e 's/reg/G/g' \
-e 's/qu/Q/g' \
-e 's/fi/F/g' \
-e 's/er/K/g' \
-e 's/un/N/g' \
-e 's/on/O/g' \
-e 's/ $//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxz+WCXEIHMUZS3DTYGQFKNO'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z + W C X E I H M U Z S 3 D T Y G Q F K N O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
619 . 44 52 4 26 8 18 12 23 27 9 6 5 72 5 47 31 30 15 30 . . 44 . . . 15 . . . . . . . . . 4 21 38 20 10 3 .
i 642 107 4 53 12 15 30 119 11 13 30 9 5 25 27 8 4 39 20 . 13 5 . . . 7 . 1 1 13 1 13 3 23 5 3 . 6 . 3 3 4 1 6
a 524 50 8 1 19 11 . 51 16 5 24 44 8 34 29 9 51 43 14 . 20 . . . 15 . . . 3 . . . . . 24 11 24 5 . 3 . 2 . .
u 215 11 14 6 . 1 13 . 26 15 8 25 1 4 7 . 10 14 8 1 1 5 . . . 1 . . 8 5 . 8 2 4 . 1 8 . . . . 8 . .
e 341 . 26 3 . . 12 61 . 4 18 19 6 11 66 . 22 35 3 2 1 5 . . . 1 . . . 4 . 21 2 6 5 4 . . . 3 1 . . .
o 334 70 7 4 . 1 . . 32 13 28 15 2 5 49 1 8 8 71 . 4 2 . . . . . . . . . . . . . 4 . . . 10 . . . .
n 317 54 28 33 9 10 19 3 . 3 6 . 14 . 21 . 12 32 . 2 4 . . . . . . 1 2 . 3 7 2 10 9 . 8 . . 3 . 4 5 13
r 196 20 20 36 1 19 21 3 6 . 1 . 1 . 1 1 2 3 5 . 2 . . . . . 21 1 . 8 5 3 3 1 3 . . . . . . 3 . 6
p 118 . 12 7 8 6 15 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . . . 1 . . . 1 . . . . . . 19 . 5
c 212 23 36 22 20 31 12 . 2 . 7 3 . . . 4 . 5 . . . . . . . . . 2 . . . 17 1 . 5 . . . . . . 14 1 7
l 174 10 50 16 4 16 39 . . . 3 12 . . . . 1 8 . . 1 . . . . . . . . 5 1 2 2 3 . . 1 . . . . . . .
g 57 2 12 3 7 1 12 5 9 . . 2 2 . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . 1 . .
b 108 7 18 17 6 17 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . 8 2 . 1 . 16 . . . . . . . 2 . 2
s 392 96 20 71 40 21 13 . 9 7 12 . . . 15 . . 28 . . . . . . . . . 5 3 1 . 1 1 1 8 . 17 . . 5 . 12 4 2
h 82 3 13 21 3 21 7 . 5 . . . . . 5 . . . . . . . . . . . . . . . . . . . . . . . . . . 4 . .
d 229 . 56 23 10 25 63 . 1 1 . . . . . 3 3 . . . . . . . . . . 1 10 1 2 . . 1 10 . . . . . . 4 . 15
t 291 . 41 30 47 17 9 . 17 . . . . . . 34 . . . . . . . . . . . 1 . 2 19 4 12 7 23 . . . . 15 . 13 . .
m 190 5 56 10 6 29 12 9 . 2 . . . 3 . . . 1 2 . . . . . . . . 1 . 2 . 1 2 2 11 . . . . 5 . . . 31
f 34 . . 8 9 6 3 . 3 . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . 3 . 1
v 101 . 33 11 2 13 14 . . . . . . . . . . . . . . . . . . . . . 24 . . 3 1 . . . . . . . . . . .
x 18 2 5 . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . 9 . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
+ 109 12 21 11 . 4 2 6 3 6 6 1 . 6 13 1 5 . 1 3 3 . . . . . . . . . . . . . . . . . . 2 2 . 1 .
W 15 2 1 . 1 . . 1 . . 1 . . . 2 1 2 . . . 1 . . 2 . . . . . . . . . . . . . . 1 . . . . .
C 10 . 1 2 . 1 1 1 . . . . . . 1 . . . 1 . . . . 1 . . . . . . . . . . . . . . . 1 . . . .
X 21 4 3 1 . . . . . 1 1 . . . 2 . 5 1 . . . . . 1 . . . . . . . . . . . . . 1 . 1 . . . .
E 28 . 2 5 . 2 1 3 3 1 2 . . . 2 . 2 1 2 . . . . 1 . . . . . . . . . . . . . . . . . . 1 .
I 66 6 3 4 . 2 1 . 3 4 5 . . 3 7 3 7 3 2 . 3 . . 1 . . . . . . . . . . . . . . 3 . . 2 4 .
H 46 7 1 4 1 1 . . 1 1 . . . . 4 1 2 2 3 . 2 . . 6 . . . . . . . . . . . . . . 5 . 3 1 1 .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 2 . . 1 8 . . . . . . . . . . . . . . . 1 2 . . .
U 85 15 9 3 . 4 . 4 . 5 2 . 3 . 6 . 6 7 3 2 1 . . 8 . . . . . . . . . . . . . . 5 . 1 1 . .
Z 46 13 1 1 . 2 . 1 1 4 . . . 3 1 . 4 2 2 . 1 . . 8 . . . . . . . . . . . . . . . 1 . 1 . .
S 77 10 9 6 . 9 1 5 2 2 3 . . . 6 . 6 2 3 2 1 . . 5 . . . . . . . . . . . . . . 4 1 . . . .
3 152 18 10 11 . 7 2 5 3 3 10 2 . 4 19 1 5 8 9 3 2 . . 21 . . . . . . . . . . . . . 1 2 4 . 1 1 .
D 23 2 2 1 . 1 . 1 . . 1 . . 1 2 . . 1 1 . . . . 3 . . . . . . . . . . . . . . 4 2 . 1 . .
T 75 10 11 6 . 9 1 2 3 1 5 . . 2 8 1 4 3 4 . 1 . . . . . . . . . . . . . . . . . 1 . 1 2 . .
Y 17 . 2 1 1 . 2 . . . . . . 1 6 . . 1 . . . . . . . . . . 1 . . . . . . . . . . . . . 2 .
G 46 . 4 . . . . 12 . . . . . . . . . . . . . . . . . . . . . . 11 . 11 . 8 . . . . . . . . .
Q 98 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . 34 . . . . . . . . .
F 36 . . . . 1 . 2 1 . 5 27 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
K 121 25 5 13 2 5 1 3 6 . 3 . 8 . . . 12 . 3 . 9 . 1 . . . . . 5 . . . 1 . 3 . . . . . 2 . 14 .
N 38 . 6 2 1 . . . . . 2 . 1 . . . 1 5 . . . 1 . . . 1 . . . . . . . 1 . . 17 . . . . . . .
O 88 27 20 3 2 2 . 1 . 1 . . . . 3 . 4 1 . 1 1 . . . . . . . . . 10 4 3 2 2 . . . . . 1 . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 6446 619 642 524 215 341 334 317 196 118 212 174 57 108 392 82 229 291 190 34 101 18 2 109 15 10 21 28 66 46 53 85 46 77 152 23 75 17 46 98 36 121 38 88
Next-symbol probability (× 99):
ntrpy i a u e o n r p c l g b s h d t m f v x z + W C X E I H M U Z S 3 D T Y G Q F K N O
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
4.357 . 7 8 1 4 1 3 2 4 4 1 1 1 12 1 8 5 5 2 5 . . 7 . . . 2 . . . . . . . . . 1 3 6 3 2 . .
u 4.291 5 6 3 . . 6 . 12 7 4 12 . 2 3 . 5 6 4 . . 2 . . . . . . 4 2 . 4 1 2 . . 4 . . . . 4 . .
a 4.246 9 2 . 4 2 . 10 3 1 5 8 2 6 5 2 10 8 3 . 4 . . . 3 . . . 1 . . . . . 5 2 5 1 . 1 . . . .
i 4.196 17 1 8 2 2 5 18 2 2 5 1 1 4 4 1 1 6 3 . 2 1 . . . 1 . . . 2 . 2 . 4 1 . . 1 . . . 1 . 1
n 4.130 17 9 10 3 3 6 1 . 1 2 . 4 . 7 . 4 10 . 1 1 . . . . . . . 1 . 1 2 1 3 3 . 2 . . 1 . 1 2 4
I 4.079 9 5 6 . 3 2 . 5 6 8 . . 5 11 5 11 5 3 . 5 . . 2 . . . . . . . . . . . . . . 5 . . 3 6 .
3 4.049 12 7 7 . 5 1 3 2 2 7 1 . 3 12 1 3 5 6 2 1 . . 14 . . . . . . . . . . . . . 1 1 3 . 1 1 .
r 3.865 10 10 18 1 10 11 2 3 . 1 . 1 . 1 1 1 2 3 . 1 . . . . . 11 1 . 4 3 2 2 1 2 . . . . . . 2 . 3
S 3.857 13 12 8 . 12 1 6 3 3 4 . . . 8 . 8 3 4 3 1 . . 6 . . . . . . . . . . . . . . 5 1 . . . .
U 3.830 17 10 3 . 5 . 5 . 6 2 . 3 . 7 . 7 8 3 2 1 . . 9 . . . . . . . . . . . . . . 6 . 1 1 . .
H 3.822 15 2 9 2 2 . . 2 2 . . . . 9 2 4 4 6 . 4 . . 13 . . . . . . . . . . . . . . 11 . 6 2 2 .
+ 3.802 11 19 10 . 4 2 5 3 5 5 1 . 5 12 1 5 . 1 3 3 . . . . . . . . . . . . . . . . . . 2 2 . 1 .
T 3.796 13 15 8 . 12 1 3 4 1 7 . . 3 11 1 5 4 5 . 1 . . . . . . . . . . . . . . . . . 1 . 1 3 . .
e 3.762 . 8 1 . . 3 18 . 1 5 6 2 3 19 . 6 10 1 1 . 1 . . . . . . . 1 . 6 1 2 1 1 . . . 1 . . . .
K 3.725 20 4 11 2 4 1 2 5 . 2 . 7 . . . 10 . 2 . 7 . 1 . . . . . 4 . . . 1 . 2 . . . . . 2 . 11 .
M 3.638 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 4 . . 2 15 . . . . . . . . . . . . . . . 2 4 . . .
E 3.625 . 7 18 . 7 4 11 11 4 7 . . . 7 . 7 4 7 . . . . 4 . . . . . . . . . . . . . . . . . . 4 .
D 3.621 9 9 4 . 4 . 4 . . 4 . . 4 9 . . 4 4 . . . . 13 . . . . . . . . . . . . . . 17 9 . 4 . .
c 3.608 11 17 10 9 14 6 . 1 . 3 1 . . . 2 . 2 . . . . . . . . . 1 . . . 8 . . 2 . . . . . . 7 . 3
t 3.606 . 14 10 16 6 3 . 6 . . . . . . 12 . . . . . . . . . . . . . 1 6 1 4 2 8 . . . . 5 . 4 . .
s 3.596 24 5 18 10 5 3 . 2 2 3 . . . 4 . . 7 . . . . . . . . . 1 1 . . . . . 2 . 4 . . 1 . 3 1 1
p 3.458 . 10 6 7 5 13 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . . . 1 . . . 1 . . . . . . 16 . 4
b 3.426 6 17 16 6 16 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . 7 2 . 1 . 15 . . . . . . . 2 . 2
W 3.374 13 7 . 7 . . 7 . . 7 . . . 13 7 13 . . . 7 . . 13 . . . . . . . . . . . . . . 7 . . . . .
Z 3.374 28 2 2 . 4 . 2 2 9 . . . 6 2 . 9 4 4 . 2 . . 17 . . . . . . . . . . . . . . . 2 . 2 . .
o 3.346 21 2 1 . . . . 9 4 8 4 1 1 15 . 2 2 21 . 1 1 . . . . . . . . . . . . . 1 . . . 3 . . . .
m 3.275 3 29 5 3 15 6 5 . 1 . . . 2 . . . 1 1 . . . . . . . . 1 . 1 . 1 1 1 6 . . . . 3 . . . 16
O 3.206 30 23 3 2 2 . 1 . 1 . . . . 3 . 5 1 . 1 1 . . . . . . . . . 11 5 3 2 2 . . . . . 1 . . .
X 3.137 19 14 5 . . . . . 5 5 . . . 9 . 24 5 . . . . . 5 . . . . . . . . . . . . . 5 . 5 . . . .
l 3.134 6 28 9 2 9 22 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . . 3 1 1 1 2 . . 1 . . . . . . .
C 3.122 . 10 20 . 10 10 10 . . . . . . 10 . . . 10 . . . . 10 . . . . . . . . . . . . . . . 10 . . . .
g 3.086 3 21 5 12 2 21 9 16 . . 3 3 . . . . . . . . . . . . . . . . . . . . . 2 . . . . . . 2 . .
d 3.037 . 24 10 4 11 27 . . . . . . . . 1 1 . . . . . . . . . . . 4 . 1 . . . 4 . . . . . . 2 . 6
Y 2.822 . 12 6 6 . 12 . . . . . . 6 35 . . 6 . . . . . . . . . . 6 . . . . . . . . . . . . . 12 .
h 2.785 4 16 25 4 25 8 . 6 . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 . .
f 2.667 . . 23 26 17 9 . 9 . . . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . 9 . 3
N 2.600 . 16 5 3 . . . . . 5 . 3 . . . 3 13 . . . 3 . . . 3 . . . . . . . 3 . . 44 . . . . . . .
v 2.473 . 32 11 2 13 14 . . . . . . . . . . . . . . . . . . . . . 24 . . 3 1 . . . . . . . . . . .
Q 2.262 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . 34 . . . . . . . . .
G 2.238 . 9 . . . . 26 . . . . . . . . . . . . . . . . . . . . . . 24 . 24 . 17 . . . . . . . . .
x 1.718 11 28 . . . . . . . . . . . . . . 11 . . . . . . . . . . . . . . . . . . . . . . . 50 . .
F 1.226 . . . . 3 . 6 3 . 14 74 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
z 1.000 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.717 10 10 8 3 5 5 5 3 2 3 3 1 2 6 1 4 4 3 1 2 0 0 2 0 0 0 0 1 1 1 1 1 1 2 0 1 0 1 2 1 2 1 1
Symbol entropy: 4.758
Next-symbol entropy:
ntrpy count i a u e o n r p c l g b s h d t m f v x z + W C X E I H M U Z S 3 D T Y G Q F K N O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
4.357 619 . 0.271 0.300 0.047 0.192 0.081 0.148 0.110 0.177 0.197 0.089 0.065 0.056 0.361 0.056 0.282 0.216 0.212 0.130 0.212 . . 0.271 . . . 0.130 . . . . . . . . . 0.047 0.166 0.247 0.160 0.096 0.037 .
u 4.291 215 0.219 0.257 0.144 . 0.036 0.245 . 0.369 0.268 0.177 0.361 0.036 0.107 0.161 . 0.206 0.257 0.177 0.036 0.036 0.126 . . . 0.036 . . 0.177 0.126 . 0.177 0.063 0.107 . 0.036 0.177 . . . . 0.177 . .
a 4.246 524 0.323 0.092 0.017 0.174 0.117 . 0.327 0.154 0.064 0.204 0.300 0.092 0.256 0.231 0.101 0.327 0.296 0.140 . 0.180 . . . 0.147 . . . 0.043 . . . . . 0.204 0.117 0.204 0.064 . 0.043 . 0.031 . .
i 4.196 642 0.431 0.046 0.297 0.107 0.127 0.207 0.451 0.101 0.114 0.207 0.086 0.055 0.182 0.192 0.079 0.046 0.245 0.156 . 0.114 0.055 . . . 0.071 . 0.015 0.015 0.114 0.015 0.114 0.036 0.172 0.055 0.036 . 0.063 . 0.036 0.036 0.046 0.015 0.063
n 4.130 317 0.435 0.309 0.340 0.146 0.157 0.243 0.064 . 0.064 0.108 . 0.199 . 0.259 . 0.179 0.334 . 0.046 0.080 . . . . . . 0.026 0.046 . 0.064 0.121 0.046 0.157 0.146 . 0.134 . . 0.064 . 0.080 0.094 0.189
I 4.079 66 0.314 0.203 0.245 . 0.153 0.092 . 0.203 0.245 0.282 . . 0.203 0.343 0.203 0.343 0.203 0.153 . 0.203 . . 0.092 . . . . . . . . . . . . . . 0.203 . . 0.153 0.245 .
3 4.049 152 0.365 0.258 0.274 . 0.205 0.082 0.162 0.112 0.112 0.258 0.082 . 0.138 0.375 0.048 0.162 0.224 0.241 0.112 0.082 . . 0.395 . . . . . . . . . . . . . 0.048 0.082 0.138 . 0.048 0.048 .
r 3.865 196 0.336 0.336 0.449 0.039 0.326 0.345 0.092 0.154 . 0.039 . 0.039 . 0.039 0.039 0.067 0.092 0.135 . 0.067 . . . . . 0.345 0.039 . 0.188 0.135 0.092 0.092 0.039 0.092 . . . . . . 0.092 . 0.154
S 3.857 77 0.382 0.362 0.287 . 0.362 0.081 0.256 0.137 0.137 0.182 . . . 0.287 . 0.287 0.137 0.182 0.137 0.081 . . 0.256 . . . . . . . . . . . . . . 0.222 0.081 . . . .
U 3.830 85 0.442 0.343 0.170 . 0.208 . 0.208 . 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.127 0.075 . . 0.321 . . . . . . . . . . . . . . 0.240 . 0.075 0.075 . .
H 3.822 46 0.413 0.120 0.306 0.120 0.120 . . 0.120 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 . 0.197 . . 0.383 . . . . . . . . . . . . . . 0.348 . 0.257 0.120 0.120 .
+ 3.802 109 0.350 0.458 0.334 . 0.175 0.106 0.230 0.143 0.230 0.230 0.062 . 0.230 0.366 0.062 0.204 . 0.062 0.143 0.143 . . . . . . . . . . . . . . . . . . 0.106 0.106 . 0.062 .
T 3.796 75 0.388 0.406 0.292 . 0.367 0.083 0.139 0.186 0.083 0.260 . . 0.139 0.344 0.083 0.226 0.186 0.226 . 0.083 . . . . . . . . . . . . . . . . . 0.083 . 0.083 0.139 . .
e 3.762 341 . 0.283 0.060 . . 0.170 0.444 . 0.075 0.224 0.232 0.103 0.160 0.459 . 0.255 0.337 0.060 0.043 0.025 0.089 . . . 0.025 . . . 0.075 . 0.248 0.043 0.103 0.089 0.075 . . . 0.060 0.025 . . .
K 3.725 121 0.470 0.190 0.346 0.098 0.190 0.057 0.132 0.215 . 0.132 . 0.259 . . . 0.331 . 0.132 . 0.279 . 0.057 . . . . . 0.190 . . . 0.057 . 0.132 . . . . . 0.098 . 0.360 .
M 3.638 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.178 . . 0.108 0.412 . . . . . . . . . . . . . . . 0.108 0.178 . . .
E 3.625 28 . 0.272 0.444 . 0.272 0.172 0.345 0.345 0.172 0.272 . . . 0.272 . 0.272 0.172 0.272 . . . . 0.172 . . . . . . . . . . . . . . . . . . 0.172 .
D 3.621 23 0.306 0.306 0.197 . 0.197 . 0.197 . . 0.197 . . 0.197 0.306 . . 0.197 0.197 . . . . 0.383 . . . . . . . . . . . . . . 0.439 0.306 . 0.197 . .
c 3.608 212 0.348 0.434 0.339 0.321 0.406 0.235 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . . . 0.063 . . . 0.292 0.036 . 0.127 . . . . . . 0.259 0.036 0.162
t 3.606 291 . 0.398 0.338 0.425 0.239 0.155 . 0.239 . . . . . . 0.362 . . . . . . . . . . . 0.028 . 0.049 0.257 0.085 0.190 0.129 0.289 . . . . 0.221 . 0.200 . .
s 3.596 392 0.497 0.219 0.446 0.336 0.226 0.163 . 0.125 0.104 0.154 . . . 0.180 . . 0.272 . . . . . . . . . 0.080 0.054 0.022 . 0.022 0.022 0.022 0.115 . 0.196 . . 0.080 . 0.154 0.067 0.039
p 3.458 118 . 0.335 0.242 0.263 0.219 0.378 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . . . 0.058 . . . 0.058 . . . . . . 0.424 . 0.193
b 3.426 108 0.256 0.431 0.420 0.232 0.420 0.205 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . . . . 0.278 0.107 . 0.063 . 0.408 . . . . . . . 0.107 . 0.107
W 3.374 15 0.388 0.260 . 0.260 . . 0.260 . . 0.260 . . . 0.388 0.260 0.388 . . . 0.260 . . 0.388 . . . . . . . . . . . . . . 0.260 . . . . .
Z 3.374 46 0.515 0.120 0.120 . 0.197 . 0.120 0.120 0.306 . . . 0.257 0.120 . 0.306 0.197 0.197 . 0.120 . . 0.439 . . . . . . . . . . . . . . . 0.120 . 0.120 . .
o 3.346 334 0.472 0.117 0.076 . 0.025 . . 0.324 0.182 0.300 0.201 0.044 0.091 0.406 0.025 0.129 0.129 0.475 . 0.076 0.044 . . . . . . . . . . . . . 0.076 . . . 0.152 . . . .
m 3.275 190 0.138 0.519 0.224 0.157 0.414 0.252 0.208 . 0.069 . . . 0.094 . . . 0.040 0.069 . . . . . . . . 0.040 . 0.069 . 0.040 0.069 0.069 0.238 . . . . 0.138 . . . 0.427
O 3.206 88 0.523 0.486 0.166 0.124 0.124 . 0.073 . 0.073 . . . . 0.166 . 0.203 0.073 . 0.073 0.073 . . . . . . . . . 0.357 0.203 0.166 0.124 0.124 . . . . . 0.073 . . .
X 3.137 21 0.456 0.401 0.209 . . . . . 0.209 0.209 . . . 0.323 . 0.493 0.209 . . . . . 0.209 . . . . . . . . . . . . . 0.209 . 0.209 . . . .
l 3.134 174 0.237 0.517 0.317 0.125 0.317 0.484 . . . 0.101 0.266 . . . . 0.043 0.204 . . 0.043 . . . . . . . . 0.147 0.043 0.074 0.074 0.101 . . 0.043 . . . . . . .
C 3.122 10 . 0.332 0.464 . 0.332 0.332 0.332 . . . . . . 0.332 . . . 0.332 . . . . 0.332 . . . . . . . . . . . . . . . 0.332 . . . .
g 3.086 57 0.170 0.473 0.224 0.372 0.102 0.473 0.308 0.420 . . 0.170 0.170 . . . . . . . . . . . . . . . . . . . . . 0.102 . . . . . . 0.102 . .
d 3.037 229 . 0.497 0.333 0.197 0.349 0.512 . 0.034 0.034 . . . . . 0.082 0.082 . . . . . . . . . . 0.034 0.197 0.034 0.060 . . 0.034 0.197 . . . . . . 0.102 . 0.258
Y 2.822 17 . 0.363 0.240 0.240 . 0.363 . . . . . . 0.240 0.530 . . 0.240 . . . . . . . . . . 0.240 . . . . . . . . . . . . . 0.363 .
h 2.785 82 0.175 0.421 0.503 0.175 0.503 0.303 . 0.246 . . . . . 0.246 . . . . . . . . . . . . . . . . . . . . . . . . . . 0.213 . .
f 2.667 34 . . 0.491 0.508 0.442 0.309 . 0.309 . . . . . . . . . . 0.150 . . . . . . . . . . . . . . . . . . . . . 0.309 . 0.150
N 2.600 38 . 0.420 0.224 0.138 . . . . . 0.224 . 0.138 . . . 0.138 0.385 . . . 0.138 . . . 0.138 . . . . . . . 0.138 . . 0.519 . . . . . . .
v 2.473 101 . 0.527 0.348 0.112 0.381 0.395 . . . . . . . . . . . . . . . . . . . . . 0.493 . . 0.151 0.066 . . . . . . . . . . .
Q 2.262 98 . 0.497 0.459 . 0.154 0.401 . . . . . . . . . . . . . . . . . . . . . 0.067 0.154 . . . . 0.530 . . . . . . . . .
G 2.238 46 . 0.306 . . . . 0.506 . . . . . . . . . . . . . . . . . . . . . . 0.494 . 0.494 . 0.439 . . . . . . . . .
x 1.718 18 0.352 0.513 . . . . . . . . . . . . . . 0.352 . . . . . . . . . . . . . . . . . . . . . . . 0.500 . .
F 1.226 36 . . . . 0.144 . 0.232 0.144 . 0.396 0.311 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.717 6446 0.325 0.331 0.294 0.164 0.224 0.221 0.214 0.153 0.106 0.162 0.141 0.060 0.099 0.246 0.080 0.171 0.202 0.150 0.040 0.094 0.024 0.004 0.100 0.020 0.014 0.027 0.034 0.068 0.051 0.057 0.082 0.051 0.076 0.127 0.029 0.075 0.023 0.051 0.092 0.042 0.108 0.044 0.085
It seems that "fi" should be "fili", but that is peculiar to this text.
So is "reg" (regem, regis, regno, regnorum).
Half of "x" is "xer", but that is rare anyway.
Now "qu" is now bad because most of it is "que ".
Now "v" is mostly "vi" and "vit ".
Also "N" = "un" is mostly "unt ", then "unt", "uni".
We must insert blanks before line too.
cat latn.txt \
| sed \
-e 's/^/ /g' \
-e 's/$/ /g' \
-e 's/ et / +/g' \
-e 's/que /G/g' \
-e 's/vit /V/g' \
-e 's/vid /W/g' \
-e 's/xit /C/g' \
-e 's/unt /N/g' \
-e 's/ex /X/g' \
-e 's/et /E/g' \
-e 's/it /I/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/um /U/g' \
-e 's/is /Z/g' \
-e 's/us /S/g' \
-e 's/e /3/g' \
-e 's/d /D/g' \
-e 's/t /T/g' \
-e 's/ver/Y/g' \
-e 's/er/K/g' \
-e 's/qu/Q/g' \
-e 's/on/O/g' \
-e 's/ $//g' \
-e 's/^ //g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxz+GVWCNXEIHMUZS3DTYKQO'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z + G V W C N X E I H M U Z S 3 D T Y K Q O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
619 . 44 52 7 26 8 18 33 23 27 9 6 5 72 5 47 31 30 35 30 . . 59 . . . . . . . . . . . . . . . . 4 10 38 .
i 678 107 4 53 12 16 30 121 12 13 35 36 5 25 27 8 4 39 20 3 8 5 . . 2 5 . 7 1 . 1 1 13 1 13 3 23 5 3 . 6 4 1 6
a 524 50 8 1 19 11 . 51 16 5 24 44 8 34 29 9 51 43 14 . 2 . . . 2 18 15 . . . . 3 . . . . . 24 11 24 5 2 1 .
u 236 11 14 6 . 1 13 21 26 15 8 25 1 4 7 . 10 14 8 1 1 5 . . . . . 1 . . . 8 5 . 8 2 4 . 1 8 . 8 . .
e 387 . 26 3 . . 12 61 . 4 18 19 52 11 66 . 22 35 3 3 1 5 . . 1 . . 1 . . . . 4 . 21 2 6 5 4 . . . 2 .
o 334 70 7 4 . 1 . . 32 13 28 15 2 5 49 1 8 8 71 . 3 2 . . 6 1 . . . . . . . . . . . . 4 . . . 4 .
n 338 54 34 35 15 10 19 3 . 3 8 . 15 . 21 . 13 37 . 2 4 1 . . . . . 1 . . 1 2 . 3 7 2 11 9 . 8 . 4 3 13
r 242 20 20 36 1 65 21 3 6 . 1 . 1 . 1 1 2 3 5 . 2 . . . . . . . . 21 1 . 8 5 3 3 1 3 . . . 3 . 6
p 118 . 12 7 8 6 15 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . . . . . . 1 . . . 1 . . . 19 . 5
c 212 23 36 22 21 31 12 . 2 . 7 3 . . . 4 . 5 . . . . . . . . . . . . 2 . . . 17 1 . 5 . . . 14 . 7
l 174 10 50 16 4 16 39 . . . 3 12 . . . . 1 8 . . 1 . . . . . . . . . . . 5 1 2 2 3 . . 1 . . . .
g 103 2 16 3 7 1 12 17 9 . . 2 2 . . . . . . . . . . . . . . . . . . . . 11 . 11 . 9 . . . 1 . .
b 108 7 18 17 6 17 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . . . . 8 2 . 1 . 16 . . . . 2 . 2
s 392 96 20 71 42 21 13 . 9 7 12 . . . 15 . . 28 . . . . . . 4 . . . 2 . 5 3 1 . 1 1 1 8 . 17 . 12 1 2
h 82 3 13 21 3 21 7 . 5 . . . . . 5 . . . . . . . . . . . . . . . . . . . . . . . . . . 4 . .
d 229 . 56 23 10 25 63 . 1 1 . . . . . 3 3 . . . . . . . . . . . . . 1 10 1 2 . . 1 10 . . . 4 . 15
t 291 . 41 30 47 17 9 . 17 . . . . . . 34 . . . . . . . . 15 . . . . . 1 . 2 19 4 12 7 23 . . . 13 . .
m 190 5 56 10 6 29 12 9 . 2 . . . 3 . . . 1 2 . . . . . 4 . . . . . 1 . 2 . 1 2 2 11 . . . . 1 31
f 70 . 36 8 9 6 3 . 3 . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . 3 . 1
v 77 . 33 11 2 13 14 . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 . . . . . . . .
x 18 2 5 . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . 9 . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
+ 124 12 22 14 2 5 3 8 6 6 7 1 . 6 14 1 5 . 2 5 3 . . . . . . . . . . . . . . . . . . . . . 2 .
G 34 4 3 2 . 2 1 2 1 1 5 . . 2 5 . 1 2 . . 1 . . 2 . . . . . . . . . . . . . . . . . . . .
V 24 3 1 2 3 1 1 . 5 . . . . 2 2 1 2 1 . . . . . . . . . . . . . . . . . . . . . . . . . .
W 15 2 1 . 1 . . 1 1 . 1 . . . 2 1 2 . . . 1 . . 2 . . . . . . . . . . . . . . . . . . . .
C 10 . 1 2 . 1 1 1 . . . . . . 1 . . . 1 . . . . 1 . . . . . . . . . . . . . . . . . . 1 .
N 17 2 3 1 . 2 1 . 1 . . . . 1 2 . 1 1 . . . . . . . . . . . . . . . . . . . . . . . 2 . .
X 21 4 3 1 . . . . . 1 1 . . . 2 . 5 1 . . . . . 1 . . . . . . . . . . . . . . . . 1 . 1 .
E 13 . 1 2 . 1 . 1 . 1 1 . . . 1 . 2 1 1 . . . . 1 . . . . . . . . . . . . . . . . . . . .
I 42 3 2 2 1 1 . . 1 4 5 . . 1 5 2 5 2 2 . 3 . . 1 . . . . . . . . . . . . . . . . . 2 . .
H 46 7 1 4 2 1 . . 6 1 . . . . 4 1 2 2 3 3 2 . . 6 . . . . . . . . . . . . . . . . . 1 . .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 4 . . 1 8 . . . . . . . . . . . . . . . . . . 1 .
U 85 15 9 3 . 4 . 4 5 5 2 . 3 . 6 . 6 7 3 3 1 . . 8 . . . . . . . . . . . . . . . . . 1 . .
Z 46 13 1 1 . 2 . 1 1 4 . . . 3 1 . 4 2 2 . 1 . . 8 . . . . . . . . . . . . . . . . . 1 1 .
S 77 10 9 6 . 9 1 5 6 2 3 . . . 6 . 6 2 3 2 1 . . 5 . . . . . . . . . . . . . . . . . . 1 .
3 118 14 7 9 1 5 1 3 4 2 5 2 . 2 14 1 4 6 9 3 1 . . 19 . . . . . . . . . . . . . . . . 1 1 4 .
D 23 2 2 1 . 1 . 1 4 . 1 . . 1 2 . . 1 1 . . . . 3 . . . . . . . . . . . . . . . . . 1 2 .
T 58 8 8 5 . 7 . 2 3 1 5 . . 1 6 1 3 2 4 1 1 . . . . . . . . . . . . . . . . . . . . . . .
Y 17 . 2 1 1 . 2 . . . . . . 1 6 . . 1 . . . . . . . . . . 2 . . 1 . . . . . . . . . . . .
K 121 25 5 13 4 5 1 3 6 . 3 . 8 . . . 12 . 3 2 9 . 1 . . . . . 12 . . 5 . . . 1 . 3 . . . . . .
Q 64 . 24 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . . . . . . . .
O 88 27 20 3 2 2 . 1 . 1 . . . . 3 . 4 1 . 2 1 . . . . . . . . . . . . 10 4 3 2 2 . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 6520 619 678 524 236 387 334 338 242 118 212 174 103 108 392 82 229 291 190 70 77 18 2 124 34 24 15 10 17 21 13 42 46 53 85 46 77 118 23 58 17 121 64 88
Next-symbol probability (× 99):
TT TT i a u e o n r p c l g b s h d t m f v x z + G V W C N X E I H M U Z S 3 D T Y K Q O
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
u 4.342 236 5 6 3 . . 5 9 11 6 3 10 . 2 3 . 4 6 3 . . 2 . . . . . . . . . 3 2 . 3 1 2 . . 3 . 3 . .
a 4.269 524 9 2 . 4 2 . 10 3 1 5 8 2 6 5 2 10 8 3 . . . . . . 3 3 . . . . 1 . . . . . 5 2 5 1 . . .
i 4.249 678 16 1 8 2 2 4 18 2 2 5 5 1 4 4 1 1 6 3 . 1 1 . . . 1 . 1 . . . . 2 . 2 . 3 1 . . 1 1 . 1
4.162 619 . 7 8 1 4 1 3 5 4 4 1 1 1 12 1 8 5 5 6 5 . . 9 . . . . . . . . . . . . . . . . 1 2 6 .
n 4.108 338 16 10 10 4 3 6 1 . 1 2 . 4 . 6 . 4 11 . 1 1 . . . . . . . . . . 1 . 1 2 1 3 3 . 2 . 1 1 4
3 3.982 118 12 6 8 1 4 1 3 3 2 4 2 . 2 12 1 3 5 8 3 1 . . 16 . . . . . . . . . . . . . . . . 1 1 3 .
I 3.860 42 7 5 5 2 2 . . 2 9 12 . . 2 12 5 12 5 5 . 7 . . 2 . . . . . . . . . . . . . . . . . 5 . .
+ 3.823 124 10 18 11 2 4 2 6 5 5 6 1 . 5 11 1 4 . 2 4 2 . . . . . . . . . . . . . . . . . . . . . 2 .
U 3.797 85 17 10 3 . 5 . 5 6 6 2 . 3 . 7 . 7 8 3 3 1 . . 9 . . . . . . . . . . . . . . . . . 1 . .
S 3.786 77 13 12 8 . 12 1 6 8 3 4 . . . 8 . 8 3 4 3 1 . . 6 . . . . . . . . . . . . . . . . . . 1 .
e 3.772 387 . 7 1 . . 3 16 . 1 5 5 13 3 17 . 6 9 1 1 . 1 . . . . . . . . . . 1 . 5 1 2 1 1 . . . 1 .
K 3.761 121 20 4 11 3 4 1 2 5 . 2 . 7 . . . 10 . 2 2 7 . 1 . . . . . 10 . . 4 . . . 1 . 2 . . . . . .
H 3.694 46 15 2 9 4 2 . . 13 2 . . . . 9 2 4 4 6 6 4 . . 13 . . . . . . . . . . . . . . . . . 2 . .
G 3.676 34 12 9 6 . 6 3 6 3 3 15 . . 6 15 . 3 6 . . 3 . . 6 . . . . . . . . . . . . . . . . . . . .
T 3.653 58 14 14 9 . 12 . 3 5 2 9 . . 2 10 2 5 3 7 2 2 . . . . . . . . . . . . . . . . . . . . . . .
D 3.621 23 9 9 4 . 4 . 4 17 . 4 . . 4 9 . . 4 4 . . . . 13 . . . . . . . . . . . . . . . . . 4 9 .
t 3.606 291 . 14 10 16 6 3 . 6 . . . . . . 12 . . . . . . . . 5 . . . . . . . 1 6 1 4 2 8 . . . 4 . .
r 3.598 242 8 8 15 . 27 9 1 2 . . . . . . . 1 1 2 . 1 . . . . . . . . 9 . . 3 2 1 1 . 1 . . . 1 . 2
s 3.586 392 24 5 18 11 5 3 . 2 2 3 . . . 4 . . 7 . . . . . . 1 . . . 1 . 1 1 . . . . . 2 . 4 . 3 . 1
c 3.581 212 11 17 10 10 14 6 . 1 . 3 1 . . . 2 . 2 . . . . . . . . . . . . 1 . . . 8 . . 2 . . . 7 . 3
M 3.563 53 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 7 . . 2 15 . . . . . . . . . . . . . . . . . . 2 .
p 3.458 118 . 10 6 7 5 13 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . . . . . . 1 . . . 1 . . . 16 . 4
b 3.426 108 6 17 16 6 16 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . . . . 7 2 . 1 . 15 . . . . 2 . 2
E 3.393 13 . 8 15 . 8 . 8 . 8 8 . . . 8 . 15 8 8 . . . . 8 . . . . . . . . . . . . . . . . . . . .
g 3.385 103 2 15 3 7 1 12 16 9 . . 2 2 . . . . . . . . . . . . . . . . . . . . 11 . 11 . 9 . . . 1 . .
o 3.385 334 21 2 1 . . . . 9 4 8 4 1 1 15 . 2 2 21 . 1 1 . . 2 . . . . . . . . . . . . . 1 . . . 1 .
W 3.374 15 13 7 . 7 . . 7 7 . 7 . . . 13 7 13 . . . 7 . . 13 . . . . . . . . . . . . . . . . . . . .
Z 3.374 46 28 2 2 . 4 . 2 2 9 . . . 6 2 . 9 4 4 . 2 . . 17 . . . . . . . . . . . . . . . . . 2 2 .
V 3.372 24 12 4 8 12 4 4 . 21 . . . . 8 8 4 8 4 . . . . . . . . . . . . . . . . . . . . . . . . . .
N 3.337 17 12 17 6 . 12 6 . 6 . . . . 6 12 . 6 6 . . . . . . . . . . . . . . . . . . . . . . . 12 . .
m 3.294 190 3 29 5 3 15 6 5 . 1 . . . 2 . . . 1 1 . . . . . 2 . . . . . 1 . 1 . 1 1 1 6 . . . . 1 16
O 3.183 88 30 23 3 2 2 . 1 . 1 . . . . 3 . 5 1 . 2 1 . . . . . . . . . . . . 11 5 3 2 2 . . . . . .
X 3.137 21 19 14 5 . . . . . 5 5 . . . 9 . 24 5 . . . . . 5 . . . . . . . . . . . . . . . . 5 . 5 .
l 3.134 174 6 28 9 2 9 22 . . . 2 7 . . . . 1 5 . . 1 . . . . . . . . . . . 3 1 1 1 2 . . 1 . . . .
C 3.122 10 . 10 20 . 10 10 10 . . . . . . 10 . . . 10 . . . . 10 . . . . . . . . . . . . . . . . . . 10 .
d 3.037 229 . 24 10 4 11 27 . . . . . . . . 1 1 . . . . . . . . . . . . . . 4 . 1 . . . 4 . . . 2 . 6
Y 2.822 17 . 12 6 6 . 12 . . . . . . 6 35 . . 6 . . . . . . . . . . 12 . . 6 . . . . . . . . . . . .
h 2.785 82 4 16 25 4 25 8 . 6 . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 . .
f 2.295 70 . 51 11 13 8 4 . 4 . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . 4 . 1
v 2.206 77 . 42 14 3 17 18 . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 . . . . . . . .
Q 2.038 64 . 37 29 . 5 22 . . . . . . . . . . . . . . . . . . . . . . . . 2 5 . . . . . . . . . . .
x 1.718 18 11 28 . . . . . . . . . . . . . . 11 . . . . . . . . . . . . . . . . . . . . . . . 50 . .
z 1.000 2 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.722 6520 9 10 8 4 6 5 5 4 2 3 3 2 2 6 1 3 4 3 1 1 0 0 2 1 0 0 0 0 0 0 1 1 1 1 1 1 2 0 1 0 2 1 1
Symbol entropy: 4.712
Next-symbol entropy:
TT TT i a u e o n r p c l g b s h d t m f v x z + G V W C N X E I H M U Z S 3 D T Y K Q O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
u 4.342 236 0.206 0.242 0.135 . 0.033 0.230 0.311 0.351 0.253 0.166 0.343 0.033 0.100 0.151 . 0.193 0.242 0.166 0.033 0.033 0.118 . . . . . 0.033 . . . 0.166 0.118 . 0.166 0.058 0.100 . 0.033 0.166 . 0.166 . .
a 4.269 524 0.323 0.092 0.017 0.174 0.117 . 0.327 0.154 0.064 0.204 0.300 0.092 0.256 0.231 0.101 0.327 0.296 0.140 . 0.031 . . . 0.031 0.167 0.147 . . . . 0.043 . . . . . 0.204 0.117 0.204 0.064 0.031 0.017 .
i 4.249 678 0.420 0.044 0.287 0.103 0.128 0.199 0.444 0.103 0.109 0.221 0.225 0.052 0.176 0.185 0.076 0.044 0.237 0.150 0.035 0.076 0.052 . . 0.025 0.052 . 0.068 0.014 . 0.014 0.014 0.109 0.014 0.109 0.035 0.166 0.052 0.035 . 0.060 0.044 0.014 0.060
4.162 619 . 0.271 0.300 0.073 0.192 0.081 0.148 0.225 0.177 0.197 0.089 0.065 0.056 0.361 0.056 0.282 0.216 0.212 0.234 0.212 . . 0.323 . . . . . . . . . . . . . . . . 0.047 0.096 0.247 .
n 4.108 338 0.423 0.333 0.339 0.199 0.150 0.233 0.060 . 0.060 0.128 . 0.199 . 0.249 . 0.181 0.349 . 0.044 0.076 0.025 . . . . . 0.025 . . 0.025 0.044 . 0.060 0.116 0.044 0.161 0.139 . 0.128 . 0.076 0.060 0.181
3 3.982 118 0.365 0.242 0.283 0.058 0.193 0.058 0.135 0.166 0.100 0.193 0.100 . 0.100 0.365 0.058 0.166 0.219 0.283 0.135 0.058 . . 0.424 . . . . . . . . . . . . . . . . 0.058 0.058 0.166 .
I 3.860 42 0.272 0.209 0.209 0.128 0.128 . . 0.128 0.323 0.366 . . 0.128 0.366 0.209 0.366 0.209 0.209 . 0.272 . . 0.128 . . . . . . . . . . . . . . . . . 0.209 . .
+ 3.823 124 0.326 0.443 0.355 0.096 0.187 0.130 0.255 0.211 0.211 0.234 0.056 . 0.211 0.355 0.056 0.187 . 0.096 0.187 0.130 . . . . . . . . . . . . . . . . . . . . . 0.096 .
U 3.797 85 0.442 0.343 0.170 . 0.208 . 0.208 0.240 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.170 0.075 . . 0.321 . . . . . . . . . . . . . . . . . 0.075 . .
S 3.786 77 0.382 0.362 0.287 . 0.362 0.081 0.256 0.287 0.137 0.182 . . . 0.287 . 0.287 0.137 0.182 0.137 0.081 . . 0.256 . . . . . . . . . . . . . . . . . . 0.081 .
e 3.772 387 . 0.262 0.054 . . 0.155 0.420 . 0.068 0.206 0.213 0.389 0.146 0.435 . 0.235 0.314 0.054 0.054 0.022 0.081 . . 0.022 . . 0.022 . . . . 0.068 . 0.228 0.039 0.093 0.081 0.068 . . . 0.039 .
K 3.761 121 0.470 0.190 0.346 0.163 0.190 0.057 0.132 0.215 . 0.132 . 0.259 . . . 0.331 . 0.132 0.098 0.279 . 0.057 . . . . . 0.331 . . 0.190 . . . 0.057 . 0.132 . . . . . .
H 3.694 46 0.413 0.120 0.306 0.197 0.120 . . 0.383 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 0.257 0.197 . . 0.383 . . . . . . . . . . . . . . . . . 0.120 . .
G 3.676 34 0.363 0.309 0.240 . 0.240 0.150 0.240 0.150 0.150 0.407 . . 0.240 0.407 . 0.150 0.240 . . 0.150 . . 0.240 . . . . . . . . . . . . . . . . . . . .
T 3.653 58 0.394 0.394 0.305 . 0.368 . 0.168 0.221 0.101 0.305 . . 0.101 0.339 0.101 0.221 0.168 0.266 0.101 0.101 . . . . . . . . . . . . . . . . . . . . . . .
D 3.621 23 0.306 0.306 0.197 . 0.197 . 0.197 0.439 . 0.197 . . 0.197 0.306 . . 0.197 0.197 . . . . 0.383 . . . . . . . . . . . . . . . . . 0.197 0.306 .
t 3.606 291 . 0.398 0.338 0.425 0.239 0.155 . 0.239 . . . . . . 0.362 . . . . . . . . 0.221 . . . . . 0.028 . 0.049 0.257 0.085 0.190 0.129 0.289 . . . 0.200 . .
r 3.598 242 0.297 0.297 0.409 0.033 0.509 0.306 0.079 0.132 . 0.033 . 0.033 . 0.033 0.033 0.057 0.079 0.116 . 0.057 . . . . . . . . 0.306 0.033 . 0.163 0.116 0.079 0.079 0.033 0.079 . . . 0.079 . 0.132
s 3.586 392 0.497 0.219 0.446 0.345 0.226 0.163 . 0.125 0.104 0.154 . . . 0.180 . . 0.272 . . . . . . 0.067 . . . 0.039 . 0.080 0.054 0.022 . 0.022 0.022 0.022 0.115 . 0.196 . 0.154 0.022 0.039
c 3.581 212 0.348 0.434 0.339 0.330 0.406 0.235 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . . . . . . 0.063 . . . 0.292 0.036 . 0.127 . . . 0.259 . 0.162
M 3.563 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.281 . . 0.108 0.412 . . . . . . . . . . . . . . . . . . 0.108 .
p 3.458 118 . 0.335 0.242 0.263 0.219 0.378 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . . . . . . 0.058 . . . 0.058 . . . 0.424 . 0.193
b 3.426 108 0.256 0.431 0.420 0.232 0.420 0.205 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . . . . . . . 0.278 0.107 . 0.063 . 0.408 . . . . 0.107 . 0.107
E 3.393 13 . 0.285 0.415 . 0.285 . 0.285 . 0.285 0.285 . . . 0.285 . 0.415 0.285 0.285 . . . . 0.285 . . . . . . . . . . . . . . . . . . . .
g 3.385 103 0.110 0.417 0.149 0.264 0.065 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . . . . . . . . . . . 0.345 . 0.345 . 0.307 . . . 0.065 . .
o 3.385 334 0.472 0.117 0.076 . 0.025 . . 0.324 0.182 0.300 0.201 0.044 0.091 0.406 0.025 0.129 0.129 0.475 . 0.061 0.044 . . 0.104 0.025 . . . . . . . . . . . . 0.076 . . . 0.076 .
W 3.374 15 0.388 0.260 . 0.260 . . 0.260 0.260 . 0.260 . . . 0.388 0.260 0.388 . . . 0.260 . . 0.388 . . . . . . . . . . . . . . . . . . . .
Z 3.374 46 0.515 0.120 0.120 . 0.197 . 0.120 0.120 0.306 . . . 0.257 0.120 . 0.306 0.197 0.197 . 0.120 . . 0.439 . . . . . . . . . . . . . . . . . 0.120 0.120 .
V 3.372 24 0.375 0.191 0.299 0.375 0.191 0.191 . 0.471 . . . . 0.299 0.299 0.191 0.299 0.191 . . . . . . . . . . . . . . . . . . . . . . . . . .
N 3.337 17 0.363 0.442 0.240 . 0.363 0.240 . 0.240 . . . . 0.240 0.363 . 0.240 0.240 . . . . . . . . . . . . . . . . . . . . . . . 0.363 . .
m 3.294 190 0.138 0.519 0.224 0.157 0.414 0.252 0.208 . 0.069 . . . 0.094 . . . 0.040 0.069 . . . . . 0.117 . . . . . 0.040 . 0.069 . 0.040 0.069 0.069 0.238 . . . . 0.040 0.427
O 3.183 88 0.523 0.486 0.166 0.124 0.124 . 0.073 . 0.073 . . . . 0.166 . 0.203 0.073 . 0.124 0.073 . . . . . . . . . . . . 0.357 0.203 0.166 0.124 0.124 . . . . . .
X 3.137 21 0.456 0.401 0.209 . . . . . 0.209 0.209 . . . 0.323 . 0.493 0.209 . . . . . 0.209 . . . . . . . . . . . . . . . . 0.209 . 0.209 .
l 3.134 174 0.237 0.517 0.317 0.125 0.317 0.484 . . . 0.101 0.266 . . . . 0.043 0.204 . . 0.043 . . . . . . . . . . . 0.147 0.043 0.074 0.074 0.101 . . 0.043 . . . .
C 3.122 10 . 0.332 0.464 . 0.332 0.332 0.332 . . . . . . 0.332 . . . 0.332 . . . . 0.332 . . . . . . . . . . . . . . . . . . 0.332 .
d 3.037 229 . 0.497 0.333 0.197 0.349 0.512 . 0.034 0.034 . . . . . 0.082 0.082 . . . . . . . . . . . . . 0.034 0.197 0.034 0.060 . . 0.034 0.197 . . . 0.102 . 0.258
Y 2.822 17 . 0.363 0.240 0.240 . 0.363 . . . . . . 0.240 0.530 . . 0.240 . . . . . . . . . . 0.363 . . 0.240 . . . . . . . . . . . .
h 2.785 82 0.175 0.421 0.503 0.175 0.503 0.303 . 0.246 . . . . . 0.246 . . . . . . . . . . . . . . . . . . . . . . . . . . 0.213 . .
f 2.295 70 . 0.493 0.358 0.380 0.304 0.195 . 0.195 . . . . . . . . . . 0.088 . . . . . . . . . . . . . . . . . . . . . 0.195 . 0.088
v 2.206 77 . 0.524 0.401 0.137 0.433 0.447 . . . . . . . . . . . . . . . . . . . . . . . . . . . 0.182 0.081 . . . . . . . .
Q 2.038 64 . 0.531 0.520 . 0.207 0.480 . . . . . . . . . . . . . . . . . . . . . . . . 0.094 0.207 . . . . . . . . . . .
x 1.718 18 0.352 0.513 . . . . . . . . . . . . . . 0.352 . . . . . . . . . . . . . . . . . . . . . . . 0.500 . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.722 6520 0.322 0.340 0.292 0.173 0.242 0.220 0.221 0.176 0.105 0.161 0.140 0.095 0.098 0.244 0.079 0.170 0.200 0.149 0.070 0.076 0.023 0.004 0.109 0.040 0.030 0.020 0.014 0.022 0.027 0.018 0.047 0.050 0.056 0.082 0.050 0.076 0.105 0.029 0.061 0.022 0.107 0.065 0.084
Here "O" = "on" has low entropy possibly because of " non ". (Other common "on" are in "solomon" and "adonias").
Now "C" = "xit ", "W" = "vid ", and "E" = "et " seem relatively useless. If we remove them,
I = "it " and "D" = "d " will compensate to soem extent.
Useful abbreviations may be "i ", "in", "n ", and "s ".
cat latn.txt \
| sed \
-e 's/^/ /g' \
-e 's/$/ /g' \
-e 's/ et / + /g' \
-e 's/ non / - /g' \
-e 's/que /G/g' \
-e 's/vit /J/g' \
-e 's/unt /W/g' \
-e 's/ex /X/g' \
-e 's/it /I/g' \
-e 's/am /H/g' \
-e 's/em /M/g' \
-e 's/um /U/g' \
-e 's/is /Z/g' \
-e 's/us /C/g' \
-e 's/e /E/g' \
-e 's/d /D/g' \
-e 's/t /T/g' \
-e 's/s /S/g' \
-e 's/n /N/g' \
-e 's/ver/V/g' \
-e 's/er/R/g' \
-e 's/in/Y/g' \
-e 's/qu/Q/g' \
-e 's/on/O/g' \
-e 's/ *\([-+]\) */\1/g' \
-e 's/ $//g' \
-e 's/^ //g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxz+-GJWXIHMUZCEDTSNVRYQO'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z + - G J W X I H M U Z C E D T S N V R Y Q O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
i 608 98 4 53 12 17 33 . 12 13 35 36 5 25 27 8 4 39 20 3 8 12 . 8 1 2 5 1 . 1 13 1 13 3 23 5 18 . . 36 6 4 . 1 3
a 524 43 8 1 19 11 . 38 16 5 24 44 8 34 9 9 51 43 14 . 17 . . 6 1 2 18 . . 3 . . . . . 24 11 24 20 13 5 2 . 1 .
438 . 28 38 7 17 3 14 25 12 19 6 3 4 59 2 39 23 29 24 21 . . 15 . . . . . . . . . . . . . . . . 3 8 10 29 .
e 400 . 26 3 . . 12 56 . 4 18 19 52 11 33 . 22 35 3 3 1 6 . . . 1 . . . . 4 . 21 2 6 5 4 13 33 5 . . . 2 .
o 349 62 7 4 . 1 . . 32 13 28 15 2 5 22 1 8 8 71 . 3 2 . 7 1 6 1 . . . . . . . . . 4 . 27 15 . . . 4 .
s 296 . 19 71 42 26 13 . 9 7 12 . . . 15 . . 28 . . . . . . . 4 . 2 . 3 1 . 1 1 1 8 . 17 . . . 12 1 1 2
t 291 . 41 30 47 18 9 . 17 . . . . . . 34 . . . . . . . . . 15 . . . . 2 19 4 12 7 23 . . . . . 13 . . .
r 242 20 17 36 1 66 22 3 6 . 1 . 1 . 1 1 2 3 5 . 2 . . . . . . . 21 . 8 5 3 3 1 3 . . . . . 3 3 . 5
u 236 11 12 6 . 1 13 21 26 15 8 25 1 4 7 . 10 14 8 1 1 6 . . . . . . . 8 5 . 8 2 4 . 1 8 . . . 8 2 . .
d 229 . 56 23 10 26 63 . 1 1 . . . . . 3 3 . . . . . . . . . . . . 10 1 2 . . 1 10 . . . . . 4 . . 15
c 212 23 32 22 21 33 12 . 2 . 7 3 . . . 4 . 5 . . . . . . . . . . . . . . 17 1 . 5 . . . . . 14 4 . 7
m 190 5 25 10 6 30 23 9 . 2 . . . 3 . . . 1 2 . . . . . . 4 . . . . 2 . 1 2 2 11 . . . . . . 31 1 20
n 187 . 24 32 14 11 15 2 . . 4 . 4 . 2 . 10 30 . . . 2 . . . . . . . 2 . 1 3 2 1 2 . 6 16 . . 3 . . 1
l 174 7 49 16 4 16 39 . . . 3 12 . . . . 1 8 . . 1 . . 3 . . . . . . 5 1 2 2 3 . . 1 . . . . 1 . .
+ 124 12 14 14 2 5 3 7 6 6 7 1 . 6 14 1 5 . 2 5 3 . . . 1 . . . . . . . . . . . . . . . . . 8 2 .
R 121 23 4 13 4 5 1 3 6 . 3 . 8 . . . 12 . 3 2 9 . 1 2 . . . 12 . 5 . . . 1 . 3 . . . . . . 1 . .
E 118 14 6 9 1 5 1 3 4 2 5 2 . 2 14 1 4 6 9 3 1 . . 19 . . . . . . . . . . . . . . . . 1 1 1 4 .
p 118 . 8 7 8 6 15 . 20 . . 5 . . 7 9 . 3 . . . . . . . . . . . . . 1 . . . 1 . . . . . 19 4 . 5
b 108 7 18 17 6 17 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . . 8 2 . 1 . 16 . . . . . . 2 . . 2
g 103 2 12 3 7 1 12 17 9 . . 2 2 . . . . . . . . . . . . . . . . . . 11 . 11 . 9 . . . . . 1 4 . .
S 96 14 4 9 . 8 1 . 7 2 3 1 1 . 4 1 4 3 . 7 3 . . 13 1 . . . . . . . . . . . . . . . . 1 1 8 .
v 92 . 48 11 2 13 14 . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 . . . . . . . . . . .
U 85 15 6 3 . 4 . 1 5 5 2 . 3 . 6 . 6 7 3 3 1 . . 8 3 . . . . . . . . . . . . . . . . 1 3 . .
Y 85 . 10 3 1 . 4 1 . 3 4 . 11 . 3 . 3 7 . 2 4 . . . . . . . . . . 2 4 . 10 7 . 2 . . . 1 . 3 .
h 82 2 13 21 3 21 7 . 5 . . . . . 5 . . . . . . . . 1 . . . . . . . . . . . . . . . . . 4 . . .
C 77 10 9 6 . 9 1 3 6 2 3 . . . 6 . 6 2 3 2 1 . . 5 2 . . . . . . . . . . . . . . . . . . 1 .
T 71 8 6 7 . 8 . 3 3 2 6 . . 1 7 1 5 3 5 1 1 . . 1 . . . . . . . . . . . . . . . . . . 3 . .
f 70 . 34 8 9 6 3 . 3 . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . 3 2 . 1
N 69 10 . 5 . 1 4 . 1 9 2 2 2 1 9 2 3 4 1 4 3 . . 4 . . . . . . . . . . . . . . . . 1 . . 1 .
Q 64 . 23 19 . 3 14 . . . . . . . . . . . . . . . . . . . . . . 1 3 . . . . . . . . . . . 1 . .
O 61 . 20 3 2 2 . 1 . 1 . . . . 3 . 4 1 . 2 1 . . . . . . . . . . 10 4 3 2 2 . . . . . . . . .
M 53 8 4 4 . 1 . . . 3 2 . . 1 8 . 4 2 2 4 . . 1 8 . . . . . . . . . . . . . . . . . . . 1 .
I 52 3 3 4 1 2 1 1 1 4 5 . . 1 6 2 5 2 3 . 3 . . 2 . . . . . . . . . . . . . . . . . 2 . 1 .
H 46 7 1 4 2 1 . . 6 1 . . . . 4 1 2 2 3 3 2 . . 6 . . . . . . . . . . . . . . . . . 1 . . .
Z 46 13 1 1 . 2 . 1 1 4 . . . 3 1 . 4 2 2 . 1 . . 8 . . . . . . . . . . . . . . . . . 1 . 1 .
D 38 4 1 1 1 1 . . 5 . 2 . . 1 4 1 2 1 1 . 1 . . 5 2 . . . . . . . . . . . . . . . . 1 2 2 .
G 34 4 3 2 . 2 1 2 1 1 5 . . 2 5 . 1 2 . . 1 . . 2 . . . . . . . . . . . . . . . . . . . . .
x 28 2 5 . . . . . . . . . . . . . . 2 . . . . . . . . . . . 10 . . . . . . . . . . . 9 . . .
J 24 3 1 2 3 1 1 . 5 . . . . 2 2 1 2 1 . . . . . . . . . . . . . . . . . . . . . . . . . . .
X 21 4 3 1 . . . . . 1 1 . . . 2 . 5 1 . . . . . 1 . . . . . . . . . . . . . . . . 1 . . 1 .
V 17 . 1 1 1 . 2 . . . . . . 1 6 . . 1 . . . . . . . . . 2 . 1 . . . . . . . . . . . . 1 . .
W 17 2 2 1 . 2 1 . 1 . . . . 1 2 . 1 1 . . . . . . . . . . . . . . . . . . . . . . . 2 1 . .
- 12 2 . . . . . . . . 3 . . . . . 1 1 . . 3 . . . . . . . . . . . . . . . . . . . . 1 1 . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 6310 438 608 524 236 400 349 187 242 118 212 174 103 108 296 82 229 291 190 70 92 28 2 124 12 34 24 17 21 52 46 53 85 46 77 118 38 71 96 69 17 121 85 64 61
Next-symbol probability (× 99):
TT TT i a u e o n r p c l g b s h d t m f v x z + - G J W X I H M U Z C E D T S N V R Y Q O
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
i 4.492 608 16 1 9 2 3 5 . 2 2 6 6 1 4 4 1 1 6 3 . 1 2 . 1 . . 1 . . . 2 . 2 . 4 1 3 . . 6 1 1 . . .
a 4.445 524 8 2 . 4 2 . 7 3 1 5 8 2 6 2 2 10 8 3 . 3 . . 1 . . 3 . . 1 . . . . . 5 2 5 4 2 1 . . . .
4.178 438 . 6 9 2 4 1 3 6 3 4 1 1 1 13 . 9 5 7 5 5 . . 3 . . . . . . . . . . . . . . . . 1 2 2 7 .
e 4.074 400 . 6 1 . . 3 14 . 1 4 5 13 3 8 . 5 9 1 1 . 1 . . . . . . . . 1 . 5 . 1 1 1 3 8 1 . . . . .
o 3.750 349 18 2 1 . . . . 9 4 8 4 1 1 6 . 2 2 20 . 1 1 . 2 . 2 . . . . . . . . . . 1 . 8 4 . . . 1 .
s 3.643 296 . 6 24 14 9 4 . 3 2 4 . . . 5 . . 9 . . . . . . . 1 . 1 . 1 . . . . . 3 . 6 . . . 4 . . 1
t 3.587 291 . 14 10 16 6 3 . 6 . . . . . . 12 . . . . . . . . . 5 . . . . 1 6 1 4 2 8 . . . . . 4 . . .
r 3.609 242 8 7 15 . 27 9 1 2 . . . . . . . 1 1 2 . 1 . . . . . . . 9 . 3 2 1 1 . 1 . . . . . 1 1 . 2
u 4.361 236 5 5 3 . . 5 9 11 6 3 10 . 2 3 . 4 6 3 . . 3 . . . . . . . 3 2 . 3 1 2 . . 3 . . . 3 1 . .
d 3.010 229 . 24 10 4 11 27 . . . . . . . . 1 1 . . . . . . . . . . . . 4 . 1 . . . 4 . . . . . 2 . . 6
c 3.615 212 11 15 10 10 15 6 . 1 . 3 1 . . . 2 . 2 . . . . . . . . . . . . . . 8 . . 2 . . . . . 7 2 . 3
m 3.585 190 3 13 5 3 16 12 5 . 1 . . . 2 . . . 1 1 . . . . . . 2 . . . . 1 . 1 1 1 6 . . . . . . 16 1 10
n 3.710 187 . 13 17 7 6 8 1 . . 2 . 2 . 1 . 5 16 . . . 1 . . . . . . . 1 . 1 2 1 1 1 . 3 8 . . 2 . . 1
l 3.226 174 4 28 9 2 9 22 . . . 2 7 . . . . 1 5 . . 1 . . 2 . . . . . . 3 1 1 1 2 . . 1 . . . . 1 . .
+ 4.026 124 10 11 11 2 4 2 6 5 5 6 1 . 5 11 1 4 . 2 4 2 . . . 1 . . . . . . . . . . . . . . . . . 6 2 .
R 3.874 121 19 3 11 3 4 1 2 5 . 2 . 7 . . . 10 . 2 2 7 . 1 2 . . . 10 . 4 . . . 1 . 2 . . . . . . 1 . .
E 4.017 118 12 5 8 1 4 1 3 3 2 4 2 . 2 12 1 3 5 8 3 1 . . 16 . . . . . . . . . . . . . . . . 1 1 1 3 .
p 3.552 118 . 7 6 7 5 13 . 17 . . 4 . . 6 8 . 3 . . . . . . . . . . . . . 1 . . . 1 . . . . . 16 3 . 4
b 3.426 108 6 17 16 6 16 5 1 1 . . 1 . . 3 . . . 1 . . . . . . . . . . 7 2 . 1 . 15 . . . . . . 2 . . 2
g 3.511 103 2 12 3 7 1 12 16 9 . . 2 2 . . . . . . . . . . . . . . . . . . 11 . 11 . 9 . . . . . 1 4 . .
S 3.903 96 14 4 9 . 8 1 . 7 2 3 1 1 . 4 1 4 3 . 7 3 . . 13 1 . . . . . . . . . . . . . . . . 1 1 8 .
v 2.020 92 . 52 12 2 14 15 . . . . . . . . . . . . . . . . . . . . . . . . . 3 1 . . . . . . . . . . .
U 3.933 85 17 7 3 . 5 . 1 6 6 2 . 3 . 7 . 7 8 3 3 1 . . 9 3 . . . . . . . . . . . . . . . . 1 3 . .
Y 3.991 85 . 12 3 1 . 5 1 . 3 5 . 13 . 3 . 3 8 . 2 5 . . . . . . . . . . 2 5 . 12 8 . 2 . . . 1 . 3 .
h 2.818 82 2 16 25 4 25 8 . 6 . . . . . 6 . . . . . . . . 1 . . . . . . . . . . . . . . . . . 5 . . .
C 3.849 77 13 12 8 . 12 1 4 8 3 4 . . . 8 . 8 3 4 3 1 . . 6 3 . . . . . . . . . . . . . . . . . . 1 .
T 3.860 71 11 8 10 . 11 . 4 4 3 8 . . 1 10 1 7 4 7 1 1 . . 1 . . . . . . . . . . . . . . . . . . 4 . .
f 2.454 70 . 48 11 13 8 4 . 4 . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . 4 3 . 1
N 3.914 69 14 . 7 . 1 6 . 1 13 3 3 3 1 13 3 4 6 1 6 4 . . 6 . . . . . . . . . . . . . . . . 1 . . 1 .
Q 2.132 64 . 36 29 . 5 22 . . . . . . . . . . . . . . . . . . . . . . 2 5 . . . . . . . . . . . 2 . .
O 3.309 61 . 32 5 3 3 . 2 . 2 . . . . 5 . 6 2 . 3 2 . . . . . . . . . . 16 6 5 3 3 . . . . . . . . .
M 3.563 53 15 7 7 . 2 . . . 6 4 . . 2 15 . 7 4 4 7 . . 2 15 . . . . . . . . . . . . . . . . . . . 2 .
I 4.090 52 6 6 8 2 4 2 2 2 8 10 . . 2 11 4 10 4 6 . 6 . . 4 . . . . . . . . . . . . . . . . . 4 . 2 .
H 3.694 46 15 2 9 4 2 . . 13 2 . . . . 9 2 4 4 6 6 4 . . 13 . . . . . . . . . . . . . . . . . 2 . . .
Z 3.374 46 28 2 2 . 4 . 2 2 9 . . . 6 2 . 9 4 4 . 2 . . 17 . . . . . . . . . . . . . . . . . 2 . 2 .
D 3.953 38 10 3 3 3 3 . . 13 . 5 . . 3 10 3 5 3 3 . 3 . . 13 5 . . . . . . . . . . . . . . . . 3 5 5 .
G 3.676 34 12 9 6 . 6 3 6 3 3 15 . . 6 15 . 3 6 . . 3 . . 6 . . . . . . . . . . . . . . . . . . . . .
x 2.045 28 7 18 . . . . . . . . . . . . . . 7 . . . . . . . . . . . 35 . . . . . . . . . . . 32 . . .
J 3.372 24 12 4 8 12 4 4 . 21 . . . . 8 8 4 8 4 . . . . . . . . . . . . . . . . . . . . . . . . . . .
X 3.137 21 19 14 5 . . . . . 5 5 . . . 9 . 24 5 . . . . . 5 . . . . . . . . . . . . . . . . 5 . . 5 .
V 2.940 17 . 6 6 6 . 12 . . . . . . 6 35 . . 6 . . . . . . . . . 12 . 6 . . . . . . . . . . . . 6 . .
W 3.499 17 12 12 6 . 12 6 . 6 . . . . 6 12 . 6 6 . . . . . . . . . . . . . . . . . . . . . . . 12 6 . .
- 2.626 12 17 . . . . . . . . 25 . . . . . 8 8 . . 25 . . . . . . . . . . . . . . . . . . . . 8 8 . .
z 1.000 2 . . . . 50 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.804 6310 7 10 8 4 6 5 3 4 2 3 3 2 2 5 1 4 5 3 1 1 0 0 2 0 1 0 0 0 1 1 1 1 1 1 2 1 1 2 1 0 2 1 1 1
Symbol entropy: 4.878
Next-symbol entropy:
TT TT i a u e o n r p c l g b s h d t m f v x z + - G J W X I H M U Z C E D T S N V R Y Q O
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
i 4.492 608 0.424 0.048 0.307 0.112 0.144 0.228 . 0.112 0.119 0.237 0.241 0.057 0.189 0.200 0.082 0.048 0.254 0.162 0.038 0.082 0.112 . 0.082 0.015 0.027 0.057 0.015 . 0.015 0.119 0.015 0.119 0.038 0.179 0.057 0.150 . . 0.241 0.066 0.048 . 0.015 0.038
a 4.445 524 0.296 0.092 0.017 0.174 0.117 . 0.275 0.154 0.064 0.204 0.300 0.092 0.256 0.101 0.101 0.327 0.296 0.140 . 0.160 . . 0.074 0.017 0.031 0.167 . . 0.043 . . . . . 0.204 0.117 0.204 0.180 0.132 0.064 0.031 . 0.017 .
u 4.361 236 0.206 0.219 0.135 . 0.033 0.230 0.311 0.351 0.253 0.166 0.343 0.033 0.100 0.151 . 0.193 0.242 0.166 0.033 0.033 0.135 . . . . . . . 0.166 0.118 . 0.166 0.058 0.100 . 0.033 0.166 . . . 0.166 0.058 . .
4.178 438 . 0.254 0.306 0.095 0.182 0.049 0.159 0.236 0.142 0.196 0.085 0.049 0.062 0.390 0.036 0.311 0.223 0.259 0.230 0.210 . . 0.167 . . . . . . . . . . . . . . . . 0.049 0.105 0.124 0.259 .
I 4.090 52 0.237 0.237 0.285 0.110 0.181 0.110 0.110 0.110 0.285 0.325 . . 0.110 0.359 0.181 0.325 0.181 0.237 . 0.237 . . 0.181 . . . . . . . . . . . . . . . . . 0.181 . 0.110 .
e 4.074 400 . 0.256 0.053 . . 0.152 0.397 . 0.066 0.201 0.209 0.383 0.143 0.297 . 0.230 0.308 0.053 0.053 0.022 0.091 . . . 0.022 . . . . 0.066 . 0.223 0.038 0.091 0.079 0.066 0.161 0.297 0.079 . . . 0.038 .
+ 4.026 124 0.326 0.355 0.355 0.096 0.187 0.130 0.234 0.211 0.211 0.234 0.056 . 0.211 0.355 0.056 0.187 . 0.096 0.187 0.130 . . . 0.056 . . . . . . . . . . . . . . . . . 0.255 0.096 .
E 4.017 118 0.365 0.219 0.283 0.058 0.193 0.058 0.135 0.166 0.100 0.193 0.100 . 0.100 0.365 0.058 0.166 0.219 0.283 0.135 0.058 . . 0.424 . . . . . . . . . . . . . . . . 0.058 0.058 0.058 0.166 .
Y 3.991 85 . 0.363 0.170 0.075 . 0.208 0.075 . 0.170 0.208 . 0.382 . 0.170 . 0.170 0.297 . 0.127 0.208 . . . . . . . . . . 0.127 0.208 . 0.363 0.297 . 0.127 . . . 0.075 . 0.170 .
D 3.953 38 0.342 0.138 0.138 0.138 0.138 . . 0.385 . 0.224 . . 0.138 0.342 0.138 0.224 0.138 0.138 . 0.138 . . 0.385 0.224 . . . . . . . . . . . . . . . . 0.138 0.224 0.224 .
U 3.933 85 0.442 0.270 0.170 . 0.208 . 0.075 0.240 0.240 0.127 . 0.170 . 0.270 . 0.270 0.297 0.170 0.170 0.075 . . 0.321 0.170 . . . . . . . . . . . . . . . . 0.075 0.170 . .
N 3.914 69 0.404 . 0.274 . 0.089 0.238 . 0.089 0.383 0.148 0.148 0.148 0.089 0.383 0.148 0.197 0.238 0.089 0.238 0.197 . . 0.238 . . . . . . . . . . . . . . . . 0.089 . . 0.089 .
S 3.903 96 0.405 0.191 0.320 . 0.299 0.069 . 0.275 0.116 0.156 0.069 0.069 . 0.191 0.069 0.191 0.156 . 0.275 0.156 . . 0.391 0.069 . . . . . . . . . . . . . . . . 0.069 0.069 0.299 .
R 3.874 121 0.455 0.163 0.346 0.163 0.190 0.057 0.132 0.215 . 0.132 . 0.259 . . . 0.331 . 0.132 0.098 0.279 . 0.057 0.098 . . . 0.331 . 0.190 . . . 0.057 . 0.132 . . . . . . 0.057 . .
T 3.860 71 0.355 0.301 0.330 . 0.355 . 0.193 0.193 0.145 0.301 . . 0.087 0.330 0.087 0.270 0.193 0.270 0.087 0.087 . . 0.087 . . . . . . . . . . . . . . . . . . 0.193 . .
C 3.849 77 0.382 0.362 0.287 . 0.362 0.081 0.182 0.287 0.137 0.182 . . . 0.287 . 0.287 0.137 0.182 0.137 0.081 . . 0.256 0.137 . . . . . . . . . . . . . . . . . . 0.081 .
o 3.750 349 0.443 0.113 0.074 . 0.024 . . 0.316 0.177 0.292 0.195 0.043 0.088 0.251 0.024 0.125 0.125 0.467 . 0.059 0.043 . 0.113 0.024 0.101 0.024 . . . . . . . . . 0.074 . 0.286 0.195 . . . 0.074 .
n 3.710 187 . 0.380 0.436 0.280 0.240 0.292 0.070 . . 0.119 . 0.119 . 0.070 . 0.226 0.424 . . . 0.070 . . . . . . . 0.070 . 0.040 0.096 0.070 0.040 0.070 . 0.159 0.303 . . 0.096 . . 0.040
H 3.694 46 0.413 0.120 0.306 0.197 0.120 . . 0.383 0.120 . . . . 0.306 0.120 0.197 0.197 0.257 0.257 0.197 . . 0.383 . . . . . . . . . . . . . . . . . 0.120 . . .
G 3.676 34 0.363 0.309 0.240 . 0.240 0.150 0.240 0.150 0.150 0.407 . . 0.240 0.407 . 0.150 0.240 . . 0.150 . . 0.240 . . . . . . . . . . . . . . . . . . . . .
s 3.643 296 . 0.254 0.494 0.400 0.308 0.198 . 0.153 0.128 0.187 . . . 0.218 . . 0.322 . . . . . . . 0.084 . 0.049 . 0.067 0.028 . 0.028 0.028 0.028 0.141 . 0.237 . . . 0.187 0.028 0.028 0.049
c 3.615 212 0.348 0.412 0.339 0.330 0.418 0.235 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . . . . . . . . . . 0.292 0.036 . 0.127 . . . . . 0.259 0.108 . 0.162
r 3.609 242 0.297 0.269 0.409 0.033 0.511 0.314 0.079 0.132 . 0.033 . 0.033 . 0.033 0.033 0.057 0.079 0.116 . 0.057 . . . . . . . 0.306 . 0.163 0.116 0.079 0.079 0.033 0.079 . . . . . 0.079 0.079 . 0.116
t 3.587 291 . 0.398 0.338 0.425 0.248 0.155 . 0.239 . . . . . . 0.362 . . . . . . . . . 0.221 . . . . 0.049 0.257 0.085 0.190 0.129 0.289 . . . . . 0.200 . . .
m 3.585 190 0.138 0.385 0.224 0.157 0.420 0.369 0.208 . 0.069 . . . 0.094 . . . 0.040 0.069 . . . . . . 0.117 . . . . 0.069 . 0.040 0.069 0.069 0.238 . . . . . . 0.427 0.040 0.342
M 3.563 53 0.412 0.281 0.281 . 0.108 . . . 0.235 0.178 . . 0.108 0.412 . 0.281 0.178 0.178 0.281 . . 0.108 0.412 . . . . . . . . . . . . . . . . . . . 0.108 .
p 3.552 118 . 0.263 0.242 0.263 0.219 0.378 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . . . . . . . . . 0.058 . . . 0.058 . . . . . 0.424 0.166 . 0.193
g 3.511 103 0.110 0.361 0.149 0.264 0.065 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . . . . . . . . . 0.345 . 0.345 . 0.307 . . . . . 0.065 0.182 . .
W 3.499 17 0.363 0.363 0.240 . 0.363 0.240 . 0.240 . . . . 0.240 0.363 . 0.240 0.240 . . . . . . . . . . . . . . . . . . . . . . . 0.363 0.240 . .
b 3.426 108 0.256 0.431 0.420 0.232 0.420 0.205 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . . . . . . . 0.278 0.107 . 0.063 . 0.408 . . . . . . 0.107 . . 0.107
Z 3.374 46 0.515 0.120 0.120 . 0.197 . 0.120 0.120 0.306 . . . 0.257 0.120 . 0.306 0.197 0.197 . 0.120 . . 0.439 . . . . . . . . . . . . . . . . . 0.120 . 0.120 .
J 3.372 24 0.375 0.191 0.299 0.375 0.191 0.191 . 0.471 . . . . 0.299 0.299 0.191 0.299 0.191 . . . . . . . . . . . . . . . . . . . . . . . . . . .
O 3.309 61 . 0.527 0.214 0.162 0.162 . 0.097 . 0.097 . . . . 0.214 . 0.258 0.097 . 0.162 0.097 . . . . . . . . . . 0.428 0.258 0.214 0.162 0.162 . . . . . . . . .
l 3.226 174 0.186 0.515 0.317 0.125 0.317 0.484 . . . 0.101 0.266 . . . . 0.043 0.204 . . 0.043 . . 0.101 . . . . . . 0.147 0.043 0.074 0.074 0.101 . . 0.043 . . . . 0.043 . .
X 3.137 21 0.456 0.401 0.209 . . . . . 0.209 0.209 . . . 0.323 . 0.493 0.209 . . . . . 0.209 . . . . . . . . . . . . . . . . 0.209 . . 0.209 .
d 3.010 229 . 0.497 0.333 0.197 0.356 0.512 . 0.034 0.034 . . . . . 0.082 0.082 . . . . . . . . . . . . 0.197 0.034 0.060 . . 0.034 0.197 . . . . . 0.102 . . 0.258
V 2.940 17 . 0.240 0.240 0.240 . 0.363 . . . . . . 0.240 0.530 . . 0.240 . . . . . . . . . 0.363 . 0.240 . . . . . . . . . . . . 0.240 . .
h 2.818 82 0.131 0.421 0.503 0.175 0.503 0.303 . 0.246 . . . . . 0.246 . . . . . . . . 0.078 . . . . . . . . . . . . . . . . . 0.213 . . .
- 2.626 12 0.431 . . . . . . . . 0.500 . . . . . 0.299 0.299 . . 0.500 . . . . . . . . . . . . . . . . . . . . 0.299 0.299 . .
f 2.454 70 . 0.506 0.358 0.380 0.304 0.195 . 0.195 . . . . . . . . . . 0.088 . . . . . . . . . . . . . . . . . . . . . 0.195 0.147 . 0.088
Q 2.132 64 . 0.531 0.520 . 0.207 0.480 . . . . . . . . . . . . . . . . . . . . . . 0.094 0.207 . . . . . . . . . . . 0.094 . .
x 2.045 28 0.272 0.444 . . . . . . . . . . . . . . 0.272 . . . . . . . . . . . 0.531 . . . . . . . . . . . 0.526 . . .
v 2.020 92 . 0.490 0.366 0.120 0.399 0.413 . . . . . . . . . . . . . . . . . . . . . . . . . 0.161 0.071 . . . . . . . . . . .
z 1.000 2 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.804 6310 0.267 0.325 0.298 0.177 0.252 0.231 0.150 0.180 0.107 0.164 0.143 0.097 0.100 0.207 0.081 0.174 0.205 0.152 0.072 0.089 0.035 0.004 0.111 0.017 0.041 0.031 0.023 0.027 0.057 0.052 0.058 0.084 0.052 0.078 0.107 0.044 0.073 0.092 0.071 0.023 0.109 0.084 0.067 0.065
OK, that is enough....
Now let's look again at Voynichese:
cat .tmp-c-fsg.txt \
| sed \
-e 's/\/\///g' \
-e's/=//g' \
-e's/\*//g' \
-e 's/^ *//g' \
-e 's/ *$//g' \
-e 's/ *//g' \
> .voyn.fsg
cat .voyn.fsg \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' COG8EDA4TSHRNM2ZPIKLF6'
Digraph counts:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F 6
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
6451 . 29 1367 138 517 366 109 135 1654 764 694 153 134 . . 278 . 100 2 . 2 8 1
C 4297 11 954 172 843 1899 4 156 56 1 15 9 80 8 1 8 45 . 17 11 . 2 3 2
O 3909 35 19 4 14 31 1344 1435 4 8 7 9 570 301 7 14 7 . 68 9 7 1 13 2
G 3779 3523 1 7 . 19 21 71 2 10 20 25 55 14 . . 6 . 1 1 1 . 2 .
8 2740 73 19 72 2052 2 10 8 422 1 37 38 1 2 . . 1 . . 1 . 1 . .
E 2353 1085 9 159 106 85 7 270 55 2 307 182 38 13 . . 16 . 11 . 2 . 6 .
D 2192 15 873 79 169 2 11 . 742 . 69 29 . . . 1 . 199 . 3 . . . .
A 1980 9 . 6 4 9 552 4 1 . . 1 4 395 475 399 7 . 2 51 43 12 . 6
4 1676 5 20 1629 3 . . 4 4 . . 1 5 . . . 2 . 2 . . . 1 .
T 1453 2 1054 49 62 97 13 83 26 . 1 2 39 4 . . 6 . 12 . . . 3 .
S 1078 4 868 37 28 40 5 45 21 . 3 . 25 1 . . 1 . . . . . . .
H 973 6 343 58 88 3 3 1 259 . 61 25 . . . . 1 121 . 4 . . . .
R 915 619 4 83 44 5 1 1 93 . 37 23 1 . . . . . 2 1 . . . 1
N 483 467 . 7 2 3 . . 2 . 1 . . . . . 1 . . . . . . .
M 422 412 . 2 5 1 . . 1 . 1 . . . . . . . . . . . . .
2 372 73 4 114 10 3 1 5 131 . 14 13 2 . . . . . 1 1 . . . .
Z 345 2 96 10 204 21 . . 9 . 2 . . . . . 1 . . . . . . .
P 216 4 3 49 6 3 . . 14 . 91 25 . . . . . 21 . . . . . .
I 155 . . . . . 11 . . . . . . 43 . . . . . 71 4 26 . .
K 57 55 . 1 . . 1 . . . . . . . . . . . . . . . . .
L 44 39 . 1 1 . 3 . . . . . . . . . . . . . . . . .
F 36 1 1 3 . . . . 2 . 23 2 . . . . . 4 . . . . . .
6 12 11 . . . . . . 1 . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 35938 6451 4297 3909 3779 2740 2353 2192 1980 1676 1453 1078 973 915 483 422 372 345 216 155 57 44 36 12
Next-symbol probability (× 99):
TT TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F 6
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
6451 99 . . 21 2 8 6 2 2 25 12 11 2 2 . . 4 . 2 . . . . .
C 4297 99 . 22 4 19 44 . 4 1 . . . 2 . . . 1 . . . . . . .
O 3909 99 1 . . . 1 34 36 . . . . 14 8 . . . . 2 . . . . .
G 3779 99 92 . . . . 1 2 . . 1 1 1 . . . . . . . . . . .
8 2740 99 3 1 3 74 . . . 15 . 1 1 . . . . . . . . . . . .
E 2353 99 46 . 7 4 4 . 11 2 . 13 8 2 1 . . 1 . . . . . . .
D 2192 99 1 39 4 8 . . . 34 . 3 1 . . . . . 9 . . . . . .
A 1980 99 . . . . . 28 . . . . . . 20 24 20 . . . 3 2 1 . .
4 1676 99 . 1 96 . . . . . . . . . . . . . . . . . . . .
T 1453 99 . 72 3 4 7 1 6 2 . . . 3 . . . . . 1 . . . . .
S 1078 99 . 80 3 3 4 . 4 2 . . . 2 . . . . . . . . . . .
H 973 99 1 35 6 9 . . . 26 . 6 3 . . . . . 12 . . . . . .
R 915 99 67 . 9 5 1 . . 10 . 4 2 . . . . . . . . . . . .
N 483 99 96 . 1 . 1 . . . . . . . . . . . . . . . . . .
M 422 99 97 . . 1 . . . . . . . . . . . . . . . . . . .
2 372 99 19 1 30 3 1 . 1 35 . 4 3 1 . . . . . . . . . . .
Z 345 99 1 28 3 59 6 . . 3 . 1 . . . . . . . . . . . . .
P 216 99 2 1 22 3 1 . . 6 . 42 11 . . . . . 10 . . . . . .
I 155 99 . . . . . 7 . . . . . . 27 . . . . . 45 3 17 . .
K 57 99 96 . 2 . . 2 . . . . . . . . . . . . . . . . .
L 44 99 88 . 2 2 . 7 . . . . . . . . . . . . . . . . .
F 36 99 3 3 8 . . . . 6 . 63 6 . . . . . 11 . . . . . .
6 12 99 91 . . . . . . 8 . . . . . . . . . . . . . . .
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 35938 99 18 12 11 10 8 6 6 5 5 4 3 3 3 1 1 1 1 1 0 0 0 0 0
Previous-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F 6
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
18 . 1 35 4 19 15 5 7 98 52 64 16 14 . . 74 . 46 1 . 5 22 8
C 12 . 22 4 22 69 . 7 3 . 1 1 8 1 . 2 12 . 8 7 . 5 8 17
O 11 1 . . . 1 57 65 . . . 1 58 33 1 3 2 . 31 6 12 2 36 17
G 10 54 . . . 1 1 3 . 1 1 2 6 2 . . 2 . . 1 2 . 6 .
8 8 1 . 2 54 . . . 21 . 3 3 . . . . . . . 1 . 2 . .
E 6 17 . 4 3 3 . 12 3 . 21 17 4 1 . . 4 . 5 . 3 . 17 .
D 6 . 20 2 4 . . . 37 . 5 3 . . . . . 57 . 2 . . . .
A 5 . . . . . 23 . . . . . . 43 97 94 2 . 1 33 75 27 . 50
4 5 . . 41 . . . . . . . . 1 . . . 1 . 1 . . . 3 .
T 4 . 24 1 2 4 1 4 1 . . . 4 . . . 2 . 6 . . . 8 .
S 3 . 20 1 1 1 . 2 1 . . . 3 . . . . . . . . . . .
H 3 . 8 1 2 . . . 13 . 4 2 . . . . . 35 . 3 . . . .
R 3 9 . 2 1 . . . 5 . 3 2 . . . . . . 1 1 . . . 8
N 1 7 . . . . . . . . . . . . . . . . . . . . . .
M 1 6 . . . . . . . . . . . . . . . . . . . . . .
2 1 1 . 3 . . . . 7 . 1 1 . . . . . . . 1 . . . .
Z 1 . 2 . 5 1 . . . . . . . . . . . . . . . . . .
P 1 . . 1 . . . . 1 . 6 2 . . . . . 6 . . . . . .
I 0 . . . . . . . . . . . . 5 . . . . . 45 7 59 . .
K 0 1 . . . . . . . . . . . . . . . . . . . . . .
L 0 1 . . . . . . . . . . . . . . . . . . . . . .
F 0 . . . . . . . . . 2 . . . . . . 1 . . . . . .
6 0 . . . . . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.749
Next-symbol entropy:
TT TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F 6
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
3.139 6451 . 0.035 0.474 0.119 0.292 0.235 0.099 0.117 0.503 0.365 0.346 0.128 0.116 . . 0.195 . 0.093 0.004 . 0.004 0.012 0.002
E 2.624 2353 0.515 0.031 0.263 0.201 0.173 0.025 0.358 0.127 0.009 0.383 0.286 0.096 0.041 . . 0.049 . 0.036 . 0.009 . 0.022 .
H 2.505 973 0.045 0.530 0.243 0.314 0.026 0.026 0.010 0.508 . 0.250 0.136 . . . . 0.010 0.374 . 0.033 . . . .
A 2.464 1980 0.035 . 0.025 0.018 0.035 0.514 0.018 0.006 . . 0.006 0.018 0.464 0.494 0.466 0.029 . 0.010 0.136 0.120 0.045 . 0.025
P 2.375 216 0.107 0.086 0.486 0.144 0.086 . . 0.256 . 0.525 0.360 . . . . . 0.327 . . . . . .
2 2.321 372 0.461 0.070 0.523 0.140 0.056 0.023 0.084 0.530 . 0.178 0.169 0.041 . . . . . 0.023 0.023 . . . .
C 2.270 4297 0.022 0.482 0.186 0.461 0.521 0.009 0.174 0.082 0.003 0.028 0.019 0.107 0.017 0.003 0.017 0.069 . 0.032 0.022 . 0.005 0.007 0.005
O 2.244 3909 0.061 0.037 0.010 0.029 0.055 0.530 0.531 0.010 0.018 0.016 0.020 0.405 0.285 0.016 0.029 0.016 . 0.102 0.020 0.016 0.003 0.027 0.006
D 2.185 2192 0.049 0.529 0.173 0.285 0.009 0.038 . 0.529 . 0.157 0.083 . . . 0.005 . 0.314 . 0.013 . . . .
I 1.868 155 . . . . . 0.271 . . . . . . 0.513 . . . . . 0.516 0.136 0.432 . .
F 1.814 36 0.144 0.144 0.299 . . . . 0.232 . 0.413 0.232 . . . . . 0.352 . . . . . .
R 1.710 915 0.381 0.034 0.314 0.211 0.041 0.011 0.011 0.335 . 0.187 0.134 0.011 . . . . . 0.019 0.011 . . . 0.011
T 1.662 1453 0.013 0.336 0.165 0.194 0.261 0.061 0.236 0.104 . 0.007 0.013 0.140 0.023 . . 0.033 . 0.057 . . . 0.018 .
Z 1.603 345 0.043 0.514 0.148 0.448 0.246 . . 0.137 . 0.043 . . . . . 0.024 . . . . . . .
8 1.315 2740 0.139 0.050 0.138 0.312 0.008 0.030 0.025 0.416 0.004 0.084 0.086 0.004 0.008 . . 0.004 . . 0.004 . 0.004 . .
S 1.268 1078 0.030 0.252 0.167 0.137 0.176 0.036 0.191 0.111 . 0.024 . 0.126 0.009 . . 0.009 . . . . . . .
L 0.667 44 0.154 . 0.124 0.124 . 0.264 . . . . . . . . . . . . . . . . .
G 0.567 3779 0.094 0.003 0.017 . 0.038 0.042 0.108 0.006 0.023 0.040 0.048 0.089 0.030 . . 0.015 . 0.003 0.003 0.003 . 0.006 .
6 0.414 12 0.115 . . . . . . 0.299 . . . . . . . . . . . . . . .
N 0.284 483 0.047 . 0.089 0.033 0.046 . . 0.033 . 0.018 . . . . . 0.018 . . . . . . .
4 0.260 1676 0.025 0.076 0.040 0.016 . . 0.021 0.021 . . 0.006 0.025 . . . 0.012 . 0.012 . . . 0.006 .
K 0.254 57 0.050 . 0.102 . . 0.102 . . . . . . . . . . . . . . . . .
M 0.208 422 0.034 . 0.037 0.076 0.021 . . 0.021 . 0.021 . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 1.979 35938 0.445 0.366 0.348 0.342 0.283 0.258 0.246 0.230 0.206 0.187 0.152 0.141 0.135 0.084 0.075 0.068 0.064 0.044 0.034 0.015 0.012 0.010 0.004
Some "bug fixes":
"CM" -> "AN"
"CI" -> "A"
"IL" -> "N"
"IN" -> "M"
"IM" -> "M"
"6" -> "8"
"A " -> "G "
Some obvious abbreviations:
"G " -> "G"
"M " -> "M
"N " -> "N"
"K " -> "K"
"4O" -> "Q"
" Q" -> "Q"
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/G /G/g' \
-e 's/M /M/g' \
-e 's/N /N/g' \
-e 's/K /K/g' \
-e 's/4O/Q/g' \
-e 's/ Q/Q/g' \
| /n/gnu/bin/fold -s -w 200 \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' COG8EDATSHRNM2ZPIKFG'
Digraph counts:
TT C O G 8 E D A T S H R N M 2 Z P I K F 4 Q L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
C 4278 8 953 172 844 1901 4 156 56 15 9 80 8 1 . 45 . 17 . . 3 1 3 2
G 3788 2 9 583 70 323 323 123 22 244 202 151 124 . . 166 . 62 1 1 2 39 1339 2
8 2752 58 15 72 2057 2 10 8 422 37 38 1 2 . . 1 . . 1 . . . 27 1
E 2353 951 9 159 106 85 7 270 55 307 182 38 13 . . 16 . 11 . 2 6 . 136 .
O 2280 21 9 1 13 24 1153 354 1 4 7 299 286 6 14 7 . 45 9 7 8 1 10 1
D 2192 15 867 79 170 2 11 . 747 69 29 . . . 1 . 199 . 3 . . . . .
A 1990 . . 6 4 15 554 4 1 . 1 4 399 483 401 7 . 2 54 43 . . . 12
1896 159 17 493 47 148 56 52 103 310 321 49 22 . . 76 . 30 1 . 7 5 . .
Q 1629 7 10 3 1 9 191 1081 3 3 2 271 15 1 . . . 23 . . 5 . 4 .
T 1453 2 1053 49 62 97 13 83 27 1 2 39 4 . . 6 . 12 . . 3 . . .
S 1078 2 866 37 28 40 5 45 23 3 . 25 1 . . 1 . . . . . . 2 .
H 973 6 341 58 88 3 3 1 261 61 25 . . . . 1 121 . 4 . . . . .
R 915 575 4 83 44 6 1 1 93 37 23 1 . . . . . 2 1 . . . 44 .
N 491 . 3 167 11 34 4 . 11 115 103 5 1 . . 10 . 5 . . . . 22 .
M 440 . 1 132 14 27 3 5 4 115 91 2 1 . . 15 . 3 1 . 1 . 25 .
2 372 68 2 114 10 3 1 5 133 14 13 2 . . . . . 1 1 . . . 5 .
Z 345 2 95 10 204 21 . . 10 2 . . . . . 1 . . . . . . . .
P 216 4 3 49 7 3 . . 13 91 25 . . . . . 21 . . . . . . .
I 92 . . . . . 9 . . . . . 39 . 24 . . . 16 4 . . . .
K 57 . . 9 3 9 2 . . 2 2 1 . . . 18 . 1 . . . 1 9 .
4 47 4 20 . 4 . . 4 3 . 1 5 . . . 2 . 2 . . 1 . 1 .
F 36 1 1 3 . . . . 2 23 2 . . . . . 4 . . . . . . .
L 18 11 . 1 1 . 3 . . . . . . . . . . . . . . . 2 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 29691 1896 4278 2280 3788 2752 2353 2192 1990 1453 1078 973 915 491 440 372 345 216 92 57 36 47 1629 18
Next-symbol probability (× 99):
TT TT TT C O G 8 E D A T S H R N M 2 Z P I K F 4 Q L
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
3.217 1896 99 8 1 26 2 8 3 3 5 16 17 3 1 . . 4 . 2 . . . . . .
G 3.096 3788 99 . . 15 2 8 8 3 1 6 5 4 3 . . 4 . 2 . . . 1 35 .
E 2.866 2353 99 40 . 7 4 4 . 11 2 13 8 2 1 . . 1 . . . . . . 6 .
K 2.826 57 99 . . 16 5 16 3 . . 3 3 2 . . . 31 . 2 . . . 2 16 .
4 2.772 47 99 8 42 . 8 . . 8 6 . 2 11 . . . 4 . 4 . . 2 . 2 .
M 2.652 440 99 . . 30 3 6 1 1 1 26 20 . . . . 3 . 1 . . . . 6 .
N 2.574 491 99 . 1 34 2 7 1 . 2 23 21 1 . . . 2 . 1 . . . . 4 .
H 2.505 973 99 1 35 6 9 . . . 27 6 3 . . . . . 12 . . . . . . .
A 2.427 1990 99 . . . . 1 28 . . . . . 20 24 20 . . . 3 2 . . . 1
P 2.380 216 99 2 1 22 3 1 . . 6 42 11 . . . . . 10 . . . . . . .
2 2.362 372 99 18 1 30 3 1 . 1 35 4 3 1 . . . . . . . . . . 1 .
O 2.267 2280 99 1 . . 1 1 50 15 . . . 13 12 . 1 . . 2 . . . . . .
C 2.231 4278 99 . 22 4 20 44 . 4 1 . . 2 . . . 1 . . . . . . . .
D 2.186 2192 99 1 39 4 8 . . . 34 3 1 . . . . . 9 . . . . . . .
I 1.994 92 99 . . . . . 10 . . . . . 42 . 26 . . . 17 4 . . . .
R 1.956 915 99 62 . 9 5 1 . . 10 4 2 . . . . . . . . . . . 5 .
F 1.814 36 99 3 3 8 . . . . 6 63 6 . . . . . 11 . . . . . . .
L 1.681 18 99 61 . 6 6 . 17 . . . . . . . . . . . . . . . 11 .
T 1.665 1453 99 . 72 3 4 7 1 6 2 . . 3 . . . . . 1 . . . . . .
Z 1.613 345 99 1 27 3 59 6 . . 3 1 . . . . . . . . . . . . . .
Q 1.577 1629 99 . 1 . . 1 12 66 . . . 16 1 . . . . 1 . . . . . .
8 1.345 2752 99 2 1 3 74 . . . 15 1 1 . . . . . . . . . . . 1 .
S 1.281 1078 99 . 80 3 3 4 . 4 2 . . 2 . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.295 29691 99 6 14 8 13 9 8 7 7 5 4 3 3 2 1 1 1 1 0 0 0 0 5 0
Previous-symbol probability (× 99):
TT C O G 8 E D A T S H R N M 2 Z P I K F 4 Q L
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
6 8 . 21 1 5 2 2 5 21 29 5 2 . . 20 . 14 1 . 19 11 . .
C 14 . 22 7 22 68 . 7 3 1 1 8 1 . . 12 . 8 . . 8 2 . 11
O 8 1 . . . 1 49 16 . . 1 30 31 1 3 2 . 21 10 12 22 2 1 6
G 13 . . 25 2 12 14 6 1 17 19 15 13 . . 44 . 28 1 2 6 82 81 11
8 9 3 . 3 54 . . . 21 3 3 . . . . . . . 1 . . . 2 6
E 8 50 . 7 3 3 . 12 3 21 17 4 1 . . 4 . 5 . 3 17 . 8 .
D 7 1 20 3 4 . . . 37 5 3 . . . . . 57 . 3 . . . . .
A 7 . . . . 1 23 . . . . . 43 97 90 2 . 1 58 75 . . . 66
T 5 . 24 2 2 3 1 4 1 . . 4 . . . 2 . 6 . . 8 . . .
S 4 . 20 2 1 1 . 2 1 . . 3 . . . . . . . . . . . .
H 3 . 8 3 2 . . . 13 4 2 . . . . . 35 . 4 . . . . .
R 3 30 . 4 1 . . . 5 3 2 . . . . . . 1 1 . . . 3 .
N 2 . . 7 . 1 . . 1 8 9 1 . . . 3 . 2 . . . . 1 .
M 1 . . 6 . 1 . . . 8 8 . . . . 4 . 1 1 . 3 . 2 .
2 1 4 . 5 . . . . 7 1 1 . . . . . . . 1 . . . . .
Z 1 . 2 . 5 1 . . . . . . . . . . . . . . . . . .
P 1 . . 2 . . . . 1 6 2 . . . . . 6 . . . . . . .
I 0 . . . . . . . . . . . 4 . 5 . . . 17 7 . . . .
K 0 . . . . . . . . . . . . . . 5 . . . . . 2 1 .
F 0 . . . . . . . . 2 . . . . . . 1 . . . . . . .
4 0 . . . . . . . . . . 1 . . . 1 . 1 . . 3 . . .
Q 5 . . . . . 8 49 . . . 28 2 . . . . 11 . . 14 . . .
L 0 1 . . . . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.869
Next-symbol entropy:
TT TT C O G 8 E D A T S H R N M 2 Z P I K F 4 Q L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
3.217 1896 0.300 0.061 0.505 0.132 0.287 0.150 0.142 0.228 0.427 0.434 0.136 0.075 . . 0.186 . 0.095 0.006 . 0.030 0.023 . .
G 3.096 3788 0.006 0.021 0.416 0.106 0.303 0.303 0.161 0.043 0.255 0.226 0.185 0.161 . . 0.198 . 0.097 0.003 0.003 0.006 0.068 0.530 0.006
E 2.866 2353 0.528 0.031 0.263 0.201 0.173 0.025 0.358 0.127 0.383 0.286 0.096 0.041 . . 0.049 . 0.036 . 0.009 0.022 . 0.238 .
K 2.826 57 . . 0.420 0.224 0.420 0.170 . . 0.170 0.170 0.102 . . . 0.525 . 0.102 . . . 0.102 0.420 .
4 2.772 47 0.303 0.525 . 0.303 . . 0.303 0.253 . 0.118 0.344 . . . 0.194 . 0.194 . . 0.118 . 0.118 .
M 2.652 440 . 0.020 0.521 0.158 0.247 0.049 0.073 0.062 0.506 0.470 0.035 0.020 . . 0.166 . 0.049 0.020 . 0.020 . 0.235 .
N 2.574 491 . 0.045 0.529 0.123 0.267 0.057 . 0.123 0.490 0.473 0.067 0.018 . . 0.114 . 0.067 . . . . 0.201 .
H 2.505 973 0.045 0.530 0.243 0.314 0.026 0.026 0.010 0.509 0.250 0.136 . . . . 0.010 0.374 . 0.033 . . . . .
A 2.427 1990 . . 0.025 0.018 0.053 0.514 0.018 0.006 . 0.006 0.018 0.465 0.496 0.466 0.029 . 0.010 0.141 0.120 . . . 0.044
P 2.380 216 0.107 0.086 0.486 0.160 0.086 . . 0.244 0.525 0.360 . . . . . 0.327 . . . . . . .
2 2.362 372 0.448 0.041 0.523 0.140 0.056 0.023 0.084 0.531 0.178 0.169 0.041 . . . . . 0.023 0.023 . . . 0.084 .
O 2.267 2280 0.062 0.032 0.005 0.043 0.069 0.497 0.417 0.005 0.016 0.026 0.384 0.376 0.023 0.045 0.026 . 0.112 0.032 0.026 0.029 0.005 0.034 0.005
C 2.231 4278 0.017 0.483 0.186 0.462 0.520 0.009 0.174 0.082 0.029 0.019 0.107 0.017 0.003 . 0.069 . 0.032 . . 0.007 0.003 0.007 0.005
D 2.186 2192 0.049 0.529 0.173 0.286 0.009 0.038 . 0.529 0.157 0.083 . . . 0.005 . 0.314 . 0.013 . . . . .
I 1.994 92 . . . . . 0.328 . . . . . 0.525 . 0.506 . . . 0.439 0.197 . . . .
R 1.956 915 0.421 0.034 0.314 0.211 0.048 0.011 0.011 0.335 0.187 0.134 0.011 . . . . . 0.019 0.011 . . . 0.211 .
F 1.814 36 0.144 0.144 0.299 . . . . 0.232 0.413 0.232 . . . . . 0.352 . . . . . . .
L 1.681 18 0.434 . 0.232 0.232 . 0.431 . . . . . . . . . . . . . . . 0.352 .
T 1.665 1453 0.013 0.337 0.165 0.194 0.261 0.061 0.236 0.107 0.007 0.013 0.140 0.023 . . 0.033 . 0.057 . . 0.018 . . .
Z 1.613 345 0.043 0.512 0.148 0.448 0.246 . . 0.148 0.043 . . . . . 0.024 . . . . . . . .
Q 1.577 1629 0.034 0.045 0.017 0.007 0.041 0.363 0.393 0.017 0.017 0.012 0.430 0.062 0.007 . . . 0.087 . . 0.026 . 0.021 .
8 1.345 2752 0.117 0.041 0.138 0.314 0.008 0.029 0.024 0.415 0.084 0.085 0.004 0.008 . . 0.004 . . 0.004 . . . 0.065 0.004
S 1.281 1078 0.017 0.254 0.167 0.137 0.176 0.036 0.191 0.118 0.024 . 0.126 0.009 . . 0.009 . . . . . . 0.017 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.295 29691 0.253 0.403 0.284 0.379 0.318 0.290 0.278 0.261 0.213 0.174 0.162 0.155 0.098 0.090 0.079 0.075 0.052 0.026 0.017 0.012 0.015 0.230 0.006
Previous-symbol entropy:
C O G 8 E D A T S H R N M 2 Z P I K F 4 Q L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
0.300 0.032 0.478 0.079 0.227 0.128 0.128 0.221 0.475 0.520 0.217 0.129 . . 0.468 . 0.396 0.071 . 0.459 0.344 . .
C 0.033 0.483 0.281 0.483 0.369 0.016 0.271 0.145 0.068 0.058 0.296 0.060 0.018 . 0.369 . 0.289 . . 0.299 0.118 0.017 0.352
O 0.072 0.019 0.005 0.028 0.060 0.504 0.425 0.006 0.023 0.047 0.523 0.524 0.078 0.158 0.108 . 0.471 0.328 0.372 0.482 0.118 0.045 0.232
G 0.010 0.019 0.503 0.106 0.363 0.393 0.233 0.072 0.432 0.453 0.417 0.391 . . 0.519 . 0.517 0.071 0.102 0.232 0.223 0.232 0.352
8 0.154 0.029 0.157 0.478 0.008 0.033 0.030 0.474 0.135 0.170 0.010 0.019 . . 0.023 . . 0.071 . . . 0.098 0.232
E 0.499 0.019 0.268 0.144 0.155 0.025 0.372 0.143 0.474 0.433 0.183 0.087 . . 0.195 . 0.219 . 0.170 0.431 . 0.299 .
D 0.055 0.467 0.168 0.201 0.008 0.036 . 0.531 0.209 0.140 . . . 0.020 . 0.458 . 0.161 . . . . .
A . . 0.023 0.010 0.041 0.491 0.017 0.006 . 0.009 0.033 0.522 0.023 0.122 0.108 . 0.063 0.451 0.307 . . . 0.390
T 0.010 0.498 0.119 0.097 0.170 0.041 0.179 0.084 0.007 0.017 0.186 0.034 . . 0.096 . 0.232 . . 0.299 . . .
S 0.010 0.467 0.096 0.052 0.089 0.019 0.115 0.074 0.018 . 0.136 0.011 . . 0.023 . . . . . . 0.012 .
H 0.026 0.291 0.135 0.126 0.011 0.012 0.005 0.384 0.192 0.126 . . . . 0.023 0.530 . 0.197 . . . . .
R 0.522 0.009 0.174 0.075 0.019 0.005 0.005 0.207 0.135 0.118 0.010 . . . . . 0.063 0.071 . . . 0.141 .
N . 0.007 0.276 0.024 0.078 0.016 . 0.041 0.290 0.324 0.039 0.011 . . 0.140 . 0.126 . . . . 0.084 .
M . 0.003 0.238 0.030 0.065 0.012 0.020 0.018 0.290 0.301 0.018 0.011 . . 0.187 . 0.086 0.071 . 0.144 . 0.092 .
2 0.172 0.005 0.216 0.023 0.011 0.005 0.020 0.261 0.065 0.077 0.018 . . . . . 0.036 0.071 . . . 0.026 .
Z 0.010 0.122 0.034 0.227 0.054 . . 0.038 0.013 . . . . . 0.023 . . . . . . . .
P 0.019 0.007 0.119 0.017 0.011 . . 0.047 0.250 0.126 . . . . . 0.246 . . . . . . .
I . . . . . 0.031 . . . . . 0.194 . 0.229 . . . 0.439 0.269 . . . .
K . . 0.032 0.008 0.027 0.009 . . 0.013 0.017 0.010 . . . 0.211 . 0.036 . . . 0.118 0.041 .
F 0.006 0.003 0.013 . . . . 0.010 0.095 0.017 . . . . . 0.075 . . . . . . .
4 0.019 0.036 . 0.010 . . 0.017 0.014 . 0.009 0.039 . . . 0.041 . 0.063 . . 0.144 . 0.007 .
Q 0.030 0.020 0.013 0.003 0.027 0.294 0.503 0.014 0.018 0.017 0.514 0.097 0.018 . . . 0.344 . . 0.396 . 0.021 .
L 0.043 . 0.005 0.003 . 0.012 . . . . . . . . . . . . . . . 0.012 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
cnt 1896 4278 2280 3788 2752 2353 2192 1990 1453 1078 973 915 491 440 372 345 216 92 57 36 47 1629 18
tpy 1.992 2.534 3.353 2.226 1.791 2.083 2.339 2.791 3.203 2.980 2.650 2.091 0.137 0.529 2.534 1.308 2.938 2.001 1.219 2.884 0.922 1.127 1.558
Now we have too few spaces. We could insert some before "OD" "OH" "OP" OF".
"OE" "SC" "TC" "8G" "QD" "QH" should be separate letters.
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/G /G/g' \
-e 's/M /M/g' \
-e 's/N /N/g' \
-e 's/K /K/g' \
-e 's/4O/Q/g' \
-e 's/ Q/Q/g' \
\
-e 's/O\([DHPF]\)/ O\1/g' \
\
-e 's/OE/U/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/8G/B/g' \
-e 's/QD/V/g' \
-e 's/QH/W/g' \
| /n/gnu/bin/fold -s -w 200 \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDAQSHRNM2ZPIKFGUXYBVW'
Digraph counts:
TT C O 8 E D A Q S H R N M 2 Z P I K F G U X Y B V 4 T W L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2567 309 17 778 129 56 52 103 . 47 49 22 . . 76 . 30 1 . 7 47 236 274 234 19 . 5 76 . .
C 2359 3 677 10 66 4 39 20 1 6 18 6 . . 28 . 6 . . 2 488 32 3 5 935 2 . 8 . .
B 2057 198 6 21 127 149 36 16 137 32 62 58 . . 74 . 36 1 1 . 37 104 81 105 21 559 18 35 143 .
A 1990 . . 5 10 554 4 1 . 1 4 399 483 401 7 . 2 54 43 . 4 1 . . 5 . . . . 12
G 1731 137 3 31 151 174 87 6 87 24 89 66 . . 92 . 26 . . 2 33 94 65 72 24 329 21 32 84 2
E 1200 470 2 51 14 2 86 33 17 20 13 9 . . 11 . 5 . 2 2 57 46 86 156 28 46 . 37 7 .
U 1153 488 7 37 9 5 184 22 11 14 25 4 . . 5 . 6 . . 4 49 18 62 87 34 39 . 27 16 .
O 1127 21 9 1 13 . 354 1 3 1 299 286 6 14 7 . 45 9 7 8 13 . 6 4 11 7 1 . . 1
D 1111 12 379 14 1 5 . 312 . 5 . . . 1 . 192 . 3 . . 103 30 15 22 . . . 17 . .
V 1081 5 488 10 . 6 . 435 . 1 . . . . . 7 . . . . 67 23 8 12 1 . . 18 . .
Y 1053 6 126 11 51 . 56 22 . . 35 2 1 . 14 . 5 . . . 206 55 . . 460 . . 2 . 1
R 915 578 4 28 2 1 1 93 4 1 1 . . . . . 2 1 . . 44 52 22 31 4 31 . 6 9 .
X 866 5 150 15 32 . 61 14 . . 27 . . . 3 . 6 . . 1 150 43 . . 357 . 1 . . 1
H 702 6 225 11 1 2 1 169 . 4 . . . . 1 119 . 3 . . 59 35 16 26 1 . . 23 . .
8 695 61 15 15 . 10 8 422 6 5 1 2 . . 1 . . 1 . . . 54 33 25 2 19 . 12 2 1
N 491 74 3 14 28 4 . 11 5 14 5 1 . . 10 . 5 . . . 11 79 89 77 6 14 . 38 3 .
M 440 63 1 9 21 3 5 4 2 22 2 1 . . 15 . 3 1 . 1 14 60 69 85 6 19 . 30 4 .
T 400 6 . 14 16 13 83 27 . 1 39 4 . . 6 . 12 . . 3 62 31 1 . 81 . . 1 . .
2 372 77 2 25 . 1 5 133 . 2 2 . . . . . 1 1 . . 10 80 11 10 3 4 . 4 1 .
Z 345 2 95 7 3 . . 10 . . . . . . 1 . . . . . 204 3 . 1 18 . . 1 . .
Q 277 8 10 . 5 191 . 3 . . . 15 1 . . . 23 . . 5 1 2 2 2 4 4 . 1 . .
W 271 3 116 1 1 1 . 92 . 2 . . . . . 2 . 1 . . 29 8 3 6 . . . 6 . .
P 216 7 3 9 2 . . 13 . 8 . . . . . 21 . . . . 7 37 17 70 1 . . 21 . .
S 212 9 . 5 4 5 45 23 1 . 25 1 . . 1 . . . . . 28 25 . 2 36 1 . 1 . .
I 92 . . . . 9 . . . . . 39 . 24 . . . 16 4 . . . . . . . . . . .
K 57 3 . 4 9 2 . . 2 . 1 . . . 18 . 1 . . . 3 2 2 2 . 6 1 . 1 .
4 47 4 20 . . . 4 3 . . 5 . . . 2 . 2 . . 1 4 . 1 . . . . . 1 .
F 36 1 1 . . . . 2 . 2 . . . . . 4 . . . . . 3 . 19 . . . 4 . .
L 18 11 . 1 . 3 . . 1 . . . . . . . . . . . 1 . . . . 1 . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 23881 2567 2359 1127 695 1200 1111 1990 277 212 702 915 491 440 372 345 216 92 57 36 1731 1153 866 1053 2057 1081 47 400 271 18
Next-symbol probability (× 99):
TT TT TT C O 8 E D A Q S H R N M 2 Z P I K F G U X Y B V 4 T W L
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
G 3.978 1731 99 8 . 2 9 10 5 . 5 1 5 4 . . 5 . 1 . . . 2 5 4 4 1 19 1 2 5 .
B 3.763 2057 99 10 . 1 6 7 2 1 7 2 3 3 . . 4 . 2 . . . 2 5 4 5 1 27 1 2 7 .
M 3.525 440 99 14 . 2 5 1 1 1 . 5 . . . . 3 . 1 . . . 3 13 16 19 1 4 . 7 1 .
N 3.466 491 99 15 1 3 6 1 . 2 1 3 1 . . . 2 . 1 . . . 2 16 18 16 1 3 . 8 1 .
3.403 2567 99 12 1 30 5 2 2 4 . 2 2 1 . . 3 . 1 . . . 2 9 11 9 1 . . 3 . .
T 3.264 400 99 1 . 3 4 3 21 7 . . 10 1 . . 1 . 3 . . 1 15 8 . . 20 . . . . .
K 3.261 57 99 5 . 7 16 3 . . 3 . 2 . . . 31 . 2 . . . 5 3 3 3 . 10 2 . 2 .
E 3.228 1200 99 39 . 4 1 . 7 3 1 2 1 1 . . 1 . . . . . 5 4 7 13 2 4 . 3 1 .
S 3.172 212 99 4 . 2 2 2 21 11 . . 12 . . . . . . . . . 13 12 . 1 17 . . . . .
U 3.064 1153 99 42 1 3 1 . 16 2 1 1 2 . . . . . 1 . . . 4 2 5 7 3 3 . 2 1 .
P 3.021 216 99 3 1 4 1 . . 6 . 4 . . . . . 10 . . . . 3 17 8 32 . . . 10 . .
4 2.772 47 99 8 42 . . . 8 6 . . 11 . . . 4 . 4 . . 2 8 . 2 . . . . . 2 .
H 2.740 702 99 1 32 2 . . . 24 . 1 . . . . . 17 . . . . 8 5 2 4 . . . 3 . .
2 2.664 372 99 20 1 7 . . 1 35 . 1 1 . . . . . . . . . 3 21 3 3 1 1 . 1 . .
O 2.595 1127 99 2 1 . 1 . 31 . . . 26 25 1 1 1 . 4 1 1 1 1 . 1 . 1 1 . . . .
X 2.572 866 99 1 17 2 4 . 7 2 . . 3 . . . . . 1 . . . 17 5 . . 41 . . . . .
Y 2.572 1053 99 1 12 1 5 . 5 2 . . 3 . . . 1 . . . . . 19 5 . . 43 . . . . .
D 2.490 1111 99 1 34 1 . . . 28 . . . . . . . 17 . . . . 9 3 1 2 . . . 2 . .
A 2.436 1990 99 . . . . 28 . . . . . 20 24 20 . . . 3 2 . . . . . . . . . . 1
8 2.295 695 99 9 2 2 . 1 1 60 1 1 . . . . . . . . . . . 8 5 4 . 3 . 2 . .
F 2.240 36 99 3 3 . . . . 6 . 6 . . . . . 11 . . . . . 8 . 52 . . . 11 . .
C 2.239 2359 99 . 28 . 3 . 2 1 . . 1 . . . 1 . . . . . 20 1 . . 39 . . . . .
W 2.159 271 99 1 42 . . . . 34 . 1 . . . . . 1 . . . . 11 3 1 2 . . . 2 . .
R 2.122 915 99 63 . 3 . . . 10 . . . . . . . . . . . . 5 6 2 3 . 3 . 1 1 .
I 1.994 92 99 . . . . 10 . . . . . 42 . 26 . . . 17 4 . . . . . . . . . . .
Q 1.915 277 99 3 4 . 2 68 . 1 . . . 5 . . . . 8 . . 2 . 1 1 1 1 1 . . . .
V 1.842 1081 99 . 45 1 . 1 . 40 . . . . . . . 1 . . . . 6 2 1 1 . . . 2 . .
L 1.792 18 99 61 . 6 . 17 . . 6 . . . . . . . . . . . 6 . . . . 6 . . . .
Z 1.680 345 99 1 27 2 1 . . 3 . . . . . . . . . . . . 59 1 . . 5 . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.854 23881 99 11 10 5 3 5 5 8 1 1 3 4 2 2 2 1 1 0 0 0 7 5 4 4 9 4 0 2 1 0
Previous-symbol probability (× 99):
TT C O 8 E D A Q S H R N M 2 Z P I K F G U X Y B V 4 T W L
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
11 12 1 68 18 5 5 5 . 22 7 2 . . 20 . 14 1 . 19 3 20 31 22 1 . 11 19 . .
C 10 . 28 1 9 . 3 1 . 3 3 1 . . 7 . 3 . . 6 28 3 . . 45 . . 2 . .
O 5 1 . . 2 . 32 . 1 . 42 31 1 3 2 . 21 10 12 22 1 . 1 . 1 1 2 . . 6
8 3 2 1 1 . 1 1 21 2 2 . . . . . . . 1 . . . 5 4 2 . 2 . 3 1 6
E 5 18 . 4 2 . 8 2 6 9 2 1 . . 3 . 2 . 3 6 3 4 10 15 1 4 . 9 3 .
D 5 . 16 1 . . . 16 . 2 . . . . . 55 . 3 . . 6 3 2 2 . . . 4 . .
A 8 . . . 1 46 . . . . 1 43 97 90 2 . 1 58 75 . . . . . . . . . . 66
Q 1 . . . 1 16 . . . . . 2 . . . . 11 . . 14 . . . . . . . . . .
S 1 . . . 1 . 4 1 . . 4 . . . . . . . . . 2 2 . . 2 . . . . .
H 3 . 9 1 . . . 8 . 2 . . . . . 34 . 3 . . 3 3 2 2 . . . 6 . .
R 4 22 . 2 . . . 5 1 . . . . . . . 1 1 . . 3 4 3 3 . 3 . 1 3 .
N 2 3 . 1 4 . . 1 2 7 1 . . . 3 . 2 . . . 1 7 10 7 . 1 . 9 1 .
M 2 2 . 1 3 . . . 1 10 . . . . 4 . 1 1 . 3 1 5 8 8 . 2 . 7 1 .
2 2 3 . 2 . . . 7 . 1 . . . . . . . 1 . . 1 7 1 1 . . . 1 . .
Z 1 . 4 1 . . . . . . . . . . . . . . . . 12 . . . 1 . . . . .
P 1 . . 1 . . . 1 . 4 . . . . . 6 . . . . . 3 2 7 . . . 5 . .
I 0 . . . . 1 . . . . . 4 . 5 . . . 17 7 . . . . . . . . . . .
K 0 . . . 1 . . . 1 . . . . . 5 . . . . . . . . . . 1 2 . . .
F 0 . . . . . . . . 1 . . . . . 1 . . . . . . . 2 . . . 1 . .
G 7 5 . 3 22 14 8 . 31 11 13 7 . . 24 . 12 . . 6 2 8 7 7 1 30 44 8 31 11
U 5 19 . 3 1 . 16 1 4 7 4 . . . 1 . 3 . . 11 3 2 7 8 2 4 . 7 6 .
X 4 . 6 1 5 . 5 1 . . 4 . . . 1 . 3 . . 3 9 4 . . 17 . 2 . . 6
Y 4 . 5 1 7 . 5 1 . . 5 . . . 4 . 2 . . . 12 5 . . 22 . . . . 6
B 9 8 . 2 18 12 3 1 49 15 9 6 . . 20 . 17 1 2 . 2 9 9 10 1 51 38 9 52 .
V 4 . 20 1 . . . 22 . . . . . . . 2 . . . . 4 2 1 1 . . . 4 . .
4 0 . 1 . . . . . . . 1 . . . 1 . 1 . . 3 . . . . . . . . . .
T 2 . . 1 2 1 7 1 . . 6 . . . 2 . 6 . . 8 4 3 . . 4 . . . . .
W 1 . 5 . . . . 5 . 1 . . . . . 1 . 1 . . 2 1 . 1 . . . 1 . .
L 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.311
Next-symbol entropy:
TT TT C O 8 E D A Q S H R N M 2 Z P I K F G U X Y B V 4 T W L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 3.978 1731 0.290 0.016 0.104 0.307 0.333 0.217 0.028 0.217 0.086 0.220 0.180 . . 0.225 . 0.091 . . 0.011 0.109 0.228 0.178 0.191 0.086 0.455 0.077 0.106 0.212 0.011
B 3.763 2057 0.325 0.025 0.068 0.248 0.274 0.102 0.054 0.260 0.093 0.152 0.145 . . 0.173 . 0.102 0.005 0.005 . 0.104 0.218 0.184 0.219 0.068 0.511 0.060 0.100 0.267 .
M 3.525 440 0.401 0.020 0.115 0.209 0.049 0.073 0.062 0.035 0.216 0.035 0.020 . . 0.166 . 0.049 0.020 . 0.020 0.158 0.392 0.419 0.458 0.084 0.196 . 0.264 0.062 .
N 3.466 491 0.411 0.045 0.146 0.236 0.057 . 0.123 0.067 0.146 0.067 0.018 . . 0.114 . 0.067 . . . 0.123 0.424 0.447 0.419 0.078 0.146 . 0.286 0.045 .
3.403 2567 0.368 0.048 0.522 0.217 0.120 0.114 0.186 . 0.106 0.109 0.059 . . 0.150 . 0.075 0.004 . 0.023 0.106 0.317 0.345 0.315 0.052 . 0.018 0.150 . .
T 3.264 400 0.091 . 0.169 0.186 0.161 0.471 0.263 . 0.022 0.327 0.066 . . 0.091 . 0.152 . . 0.053 0.417 0.286 0.022 . 0.467 . . 0.022 . .
K 3.261 57 0.224 . 0.269 0.420 0.170 . . 0.170 . 0.102 . . . 0.525 . 0.102 . . . 0.224 0.170 0.170 0.170 . 0.342 0.102 . 0.102 .
E 3.228 1200 0.530 0.015 0.194 0.075 0.015 0.273 0.143 0.087 0.098 0.071 0.053 . . 0.062 . 0.033 . 0.015 0.015 0.209 0.180 0.273 0.383 0.127 0.180 . 0.155 0.043 .
S 3.172 212 0.193 . 0.127 0.108 0.127 0.475 0.348 0.036 . 0.364 0.036 . . 0.036 . . . . . 0.386 0.364 . 0.063 0.434 0.036 . 0.036 . .
U 3.064 1153 0.525 0.045 0.159 0.055 0.034 0.423 0.109 0.064 0.077 0.120 0.028 . . 0.034 . 0.039 . . 0.028 0.194 0.094 0.227 0.281 0.150 0.165 . 0.127 0.086 .
P 3.021 216 0.160 0.086 0.191 0.063 . . 0.244 . 0.176 . . . . . 0.327 . . . . 0.160 0.436 0.289 0.527 0.036 . . 0.327 . .
4 2.772 47 0.303 0.525 . . . 0.303 0.253 . . 0.344 . . . 0.194 . 0.194 . . 0.118 0.303 . 0.118 . . . . . 0.118 .
H 2.740 702 0.059 0.526 0.094 0.013 0.024 0.013 0.495 . 0.042 . . . . 0.013 0.434 . 0.034 . . 0.300 0.216 0.124 0.176 0.013 . . 0.162 . .
2 2.664 372 0.470 0.041 0.262 . 0.023 0.084 0.531 . 0.041 0.041 . . . . . 0.023 0.023 . . 0.140 0.477 0.150 0.140 0.056 0.070 . 0.070 0.023 .
O 2.595 1127 0.107 0.056 0.009 0.074 . 0.525 0.009 0.023 0.009 0.508 0.502 0.040 0.079 0.046 . 0.186 0.056 0.046 0.051 0.074 . 0.040 0.029 0.065 0.046 0.009 . . 0.009
X 2.572 866 0.043 0.438 0.101 0.176 . 0.270 0.096 . . 0.156 . . . 0.028 . 0.050 . . 0.011 0.438 0.215 . . 0.527 . 0.011 . . 0.011
Y 2.572 1053 0.042 0.367 0.069 0.212 . 0.225 0.117 . . 0.163 0.017 0.010 . 0.083 . 0.037 . . . 0.460 0.222 . . 0.522 . . 0.017 . 0.010
D 2.490 1111 0.071 0.529 0.080 0.009 0.035 . 0.515 . 0.035 . . . 0.009 . 0.438 . 0.023 . . 0.318 0.141 0.084 0.112 . . . 0.092 . .
A 2.436 1990 . . 0.022 0.038 0.514 0.018 0.006 . 0.006 0.018 0.465 0.496 0.466 0.029 . 0.010 0.141 0.120 . 0.018 0.006 . . 0.022 . . . . 0.044
8 2.295 695 0.308 0.119 0.119 . 0.088 0.074 0.437 0.059 0.051 0.014 0.024 . . 0.014 . . 0.014 . . . 0.286 0.209 0.173 0.024 0.142 . 0.101 0.024 0.014
F 2.240 36 0.144 0.144 . . . . 0.232 . 0.232 . . . . . 0.352 . . . . . 0.299 . 0.487 . . . 0.352 . .
C 2.239 2359 0.012 0.517 0.033 0.144 0.016 0.098 0.058 0.005 0.022 0.054 0.022 . . 0.076 . 0.022 . . 0.009 0.470 0.084 0.012 0.019 0.529 0.009 . 0.028 . .
W 2.159 271 0.072 0.524 0.030 0.030 0.030 . 0.529 . 0.052 . . . . . 0.052 . 0.030 . . 0.345 0.150 0.072 0.122 . . . 0.122 . .
R 2.122 915 0.419 0.034 0.154 0.019 0.011 0.011 0.335 0.034 0.011 0.011 . . . . . 0.019 0.011 . . 0.211 0.235 0.129 0.165 0.034 0.165 . 0.048 0.066 .
I 1.994 92 . . . . 0.328 . . . . . 0.525 . 0.506 . . . 0.439 0.197 . . . . . . . . . . .
Q 1.915 277 0.148 0.173 . 0.105 0.370 . 0.071 . . . 0.228 0.029 . . . 0.298 . . 0.105 0.029 0.051 0.051 0.051 0.088 0.088 . 0.029 . .
V 1.842 1081 0.036 0.518 0.062 . 0.042 . 0.528 . 0.009 . . . . . 0.047 . . . . 0.249 0.118 0.052 0.072 0.009 . . 0.098 . .
L 1.792 18 0.434 . 0.232 . 0.431 . . 0.232 . . . . . . . . . . . 0.232 . . . . 0.232 . . . .
Z 1.680 345 0.043 0.512 0.114 0.060 . . 0.148 . . . . . . 0.024 . . . . . 0.448 0.060 . 0.024 0.222 . . 0.024 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.854 23881 0.346 0.330 0.208 0.149 0.217 0.206 0.299 0.075 0.061 0.150 0.180 0.115 0.106 0.094 0.088 0.061 0.031 0.021 0.014 0.274 0.211 0.174 0.199 0.305 0.202 0.018 0.099 0.073 0.008
The big problems now are "V" = "QD" ("QDC", "QDA") and "C" ("CC", "CG", "C8G").
"DZG" "HZG" "PZG" "FZG" should be separate letters.
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/G /G/g' \
-e 's/M /M/g' \
-e 's/N /N/g' \
-e 's/K /K/g' \
-e 's/4O/Q/g' \
-e 's/ Q/Q/g' \
\
-e 's/O\([DHPF]\)/ O\1/g' \
\
-e 's/DZ/a/g' \
-e 's/FZ/e/g' \
-e 's/HZ/i/g' \
-e 's/PZ/o/g' \
-e 's/OE/U/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/CC/W/g' \
-e 's/8G/B/g' \
-e 's/QD/q/g' \
-e 's/QH/p/g' \
| /n/gnu/bin/fold -s -w 200 \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDAQSHRNM2ZPIKFGaeioUWXYBqp'
Digraph counts:
TT C O 8 E D A Q S H R N M 2 P I K F G a e i o U W X Y B q 4 T p L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2561 303 6 778 129 56 49 103 . 47 46 22 . . 76 28 1 . 6 47 3 1 3 2 236 11 274 234 19 . 5 76 . .
B 2057 198 6 21 127 149 35 16 138 32 56 58 . . 74 34 1 1 . 37 1 . 6 2 104 . 81 105 21 559 18 35 142 .
A 1990 . . 5 10 554 3 1 . 1 2 399 483 401 7 1 54 43 . 4 1 . 2 1 1 . . . 5 . . . . 12
G 1731 137 2 31 151 174 85 6 91 24 86 66 . . 92 25 . . 2 33 2 . 3 1 94 1 65 72 24 326 21 32 83 2
E 1200 470 1 51 14 2 86 33 17 20 13 9 . . 11 5 . 2 2 57 . . . . 46 1 86 156 28 46 . 37 7 .
U 1153 488 1 37 9 5 184 22 13 14 25 4 . . 5 6 . . 4 49 . . . . 18 6 62 87 34 37 . 27 16 .
O 1127 21 3 1 13 . 348 1 3 1 294 286 6 14 7 44 9 7 8 13 6 . 5 1 . 6 6 4 11 7 1 . . 1
q 1074 5 236 10 . 6 . 435 . 1 . . . . . . . . . 67 . . . . 23 252 8 12 1 . . 18 . .
C 1063 2 . 8 41 3 35 15 2 6 15 4 . . 22 5 . . 2 281 3 . 2 1 26 . 3 5 574 1 . 7 . .
Y 1053 6 124 11 51 . 24 22 . . 14 2 1 . 14 4 . . . 206 32 . 21 1 55 2 . . 460 . . 2 . 1
D 919 12 176 14 1 5 . 312 . 5 . . . 1 . . 3 . . 103 . . . . 30 203 15 22 . . . 17 . .
R 915 578 2 28 2 1 1 93 4 1 1 . . . . 2 1 . . 44 . . . . 52 2 22 31 4 31 . 6 9 .
X 866 5 150 15 32 . 26 14 . . 11 . . . 3 4 . . 1 150 35 . 16 2 43 . . . 357 . 1 . . 1
8 695 61 6 15 . 10 8 422 7 5 1 2 . . 1 . 1 . . . . . . . 54 9 33 25 2 18 . 12 2 1
W 648 1 29 2 25 1 1 5 . . 1 2 . . 6 . . . . 207 . . . . 6 . . . 361 . . 1 . .
H 583 6 148 11 1 2 1 169 . 4 . . . . 1 . 3 . . 59 . . . . 35 77 16 26 1 . . 23 . .
N 491 74 1 14 28 4 . 11 5 14 1 1 . . 10 3 . . . 11 . . 4 2 79 2 89 77 6 14 . 38 3 .
M 440 63 1 9 21 3 3 4 2 22 2 1 . . 15 3 1 . . 14 2 1 . . 60 . 69 85 6 19 . 30 4 .
T 400 6 . 14 16 13 17 27 . 1 8 4 . . 6 4 . . 1 62 66 2 31 8 31 . 1 . 81 . . 1 . .
2 372 77 2 25 . 1 4 133 . 2 1 . . . . 1 1 . . 10 1 . 1 . 80 . 11 10 3 4 . 4 1 .
Q 286 8 . . 5 191 . 3 . . . 15 1 . . 23 . . 5 1 7 . 2 . 2 10 2 2 4 4 . 1 . .
p 269 3 62 1 1 1 . 92 . 2 . . . . . . 1 . . 29 . . . . 8 54 3 6 . . . 6 . .
S 212 9 . 5 4 5 6 23 1 . 6 1 . . 1 . . . . 28 39 . 19 . 25 . . 2 36 1 . 1 . .
a 199 1 52 2 1 . . 5 . . . . . . . . . . . 125 . . . . 1 1 . 1 9 . . 1 . .
P 195 7 1 9 2 . . 13 . 8 . . . . . . . . . 7 . . . . 37 2 17 70 1 . . 21 . .
i 121 1 30 4 . . . 3 . . . . . . 1 . . . . 74 . . . . 1 1 . . 6 . . . . .
I 92 . . . . 9 . . . . . 39 . 24 . . 16 4 . . . . . . . . . . . . . . . .
K 57 3 . 4 9 2 . . 2 . . . . . 18 1 . . . 3 . . 1 . 2 . 2 2 . 6 1 . 1 .
4 47 4 13 . . . 3 3 . . . . . . 2 2 . . 1 4 1 . 5 . . 7 1 . . . . . 1 .
F 32 1 1 . . . . 2 . 2 . . . . . . . . . . . . . . 3 . . 19 . . . 4 . .
o 21 . 9 1 1 . . 2 . . . . . . . . . . . 5 . . . . 1 . . . 2 . . . . .
L 18 11 . 1 . 3 . . 1 . . . . . . . . . . 1 . . . . . . . . . 1 . . . .
e 4 . 1 . 1 . . . . . . . . . . . . . . . . . . . . 1 . . 1 . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 22891 2561 1063 1127 695 1200 919 1990 286 212 583 915 491 440 372 195 92 57 32 1731 199 4 121 21 1153 648 866 1053 2057 1074 47 400 269 18
Next-symbol probability (× 99):
TT TT C O 8 E D A Q S H R N M 2 P I K F G a e i o U W X Y B q 4 T p L
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
G 4.005 1731 8 . 2 9 10 5 . 5 1 5 4 . . 5 1 . . . 2 . . . . 5 . 4 4 1 19 1 2 5 .
B 3.786 2057 10 . 1 6 7 2 1 7 2 3 3 . . 4 2 . . . 2 . . . . 5 . 4 5 1 27 1 2 7 .
M 3.536 440 14 . 2 5 1 1 1 . 5 . . . . 3 1 . . . 3 . . . . 13 . 16 19 1 4 . 7 1 .
T 3.521 400 1 . 3 4 3 4 7 . . 2 1 . . 1 1 . . . 15 16 . 8 2 8 . . . 20 . . . . .
N 3.489 491 15 . 3 6 1 . 2 1 3 . . . . 2 1 . . . 2 . . 1 . 16 . 18 16 1 3 . 8 1 .
3.429 2561 12 . 30 5 2 2 4 . 2 2 1 . . 3 1 . . . 2 . . . . 9 . 11 9 1 . . 3 . .
S 3.386 212 4 . 2 2 2 3 11 . . 3 . . . . . . . . 13 18 . 9 . 12 . . 1 17 . . . . .
K 3.261 57 5 . 7 16 3 . . 3 . . . . . 31 2 . . . 5 . . 2 . 3 . 3 3 . 10 2 . 2 .
4 3.238 47 8 27 . . . 6 6 . . . . . . 4 4 . . 2 8 2 . 11 . . 15 2 . . . . . 2 .
E 3.230 1200 39 . 4 1 . 7 3 1 2 1 1 . . 1 . . . . 5 . . . . 4 . 7 13 2 4 . 3 1 .
U 3.070 1153 42 . 3 1 . 16 2 1 1 2 . . . . 1 . . . 4 . . . . 2 1 5 7 3 3 . 2 1 .
H 2.866 583 1 25 2 . . . 29 . 1 . . . . . . 1 . . 10 . . . . 6 13 3 4 . . . 4 . .
P 2.851 195 4 1 5 1 . . 7 . 4 . . . . . . . . . 4 . . . . 19 1 9 36 1 . . 11 . .
O 2.680 1127 2 . . 1 . 31 . . . 26 25 1 1 1 4 1 1 1 1 1 . . . . 1 1 . 1 1 . . . .
2 2.679 372 20 1 7 . . 1 35 . 1 . . . . . . . . . 3 . . . . 21 . 3 3 1 1 . 1 . .
X 2.678 866 1 17 2 4 . 3 2 . . 1 . . . . . . . . 17 4 . 2 . 5 . . . 41 . . . . .
Y 2.674 1053 1 12 1 5 . 2 2 . . 1 . . . 1 . . . . 19 3 . 2 . 5 . . . 43 . . . . .
D 2.618 919 1 19 2 . 1 . 34 . 1 . . . . . . . . . 11 . . . . 3 22 2 2 . . . 2 . .
p 2.542 269 1 23 . . . . 34 . 1 . . . . . . . . . 11 . . . . 3 20 1 2 . . . 2 . .
A 2.441 1990 . . . . 28 . . . . . 20 24 20 . . 3 2 . . . . . . . . . . . . . . . 1
8 2.318 695 9 1 2 . 1 1 60 1 1 . . . . . . . . . . . . . . 8 1 5 4 . 3 . 2 . .
o 2.290 21 . 42 5 5 . . 9 . . . . . . . . . . . 24 . . . . 5 . . . 9 . . . . .
q 2.251 1074 . 22 1 . 1 . 40 . . . . . . . . . . . 6 . . . . 2 23 1 1 . . . 2 . .
C 2.156 1063 . . 1 4 . 3 1 . 1 1 . . . 2 . . . . 26 . . . . 2 . . . 53 . . 1 . .
R 2.126 915 63 . 3 . . . 10 . . . . . . . . . . . 5 . . . . 6 . 2 3 . 3 . 1 1 .
Q 2.080 286 3 . . 2 66 . 1 . . . 5 . . . 8 . . 2 . 2 . 1 . 1 3 1 1 1 1 . . . .
e 2.000 4 . 25 . 25 . . . . . . . . . . . . . . . . . . . . 25 . . 25 . . . . .
I 1.994 92 . . . . 10 . . . . . 42 . 26 . . 17 4 . . . . . . . . . . . . . . . .
F 1.954 32 3 3 . . . . 6 . 6 . . . . . . . . . . . . . . 9 . . 59 . . . 12 . .
L 1.792 18 61 . 6 . 17 . . 6 . . . . . . . . . . 6 . . . . . . . . . 6 . . . .
W 1.681 648 . 4 . 4 . . 1 . . . . . . 1 . . . . 32 . . . . 1 . . . 55 . . . . .
i 1.671 121 1 25 3 . . . 2 . . . . . . 1 . . . . 61 . . . . 1 1 . . 5 . . . . .
a 1.560 199 . 26 1 . . . 2 . . . . . . . . . . . 62 . . . . . . . . 4 . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.917 22891 11 5 5 3 5 4 9 1 1 3 4 2 2 2 1 0 0 0 7 1 0 1 0 5 3 4 5 9 5 0 2 1 0
Previous-symbol probability (× 99):
TT C O 8 E D A Q S H R N M 2 P I K F G a e i o U W X Y B q 4 T p L
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
11 12 1 68 18 5 5 5 . 22 8 2 . . 20 14 1 . 19 3 1 25 2 9 20 2 31 22 1 . 11 19 . .
C 5 . . 1 6 . 4 1 1 3 3 . . . 6 3 . . 6 16 1 . 2 5 2 . . . 28 . . 2 . .
O 5 1 . . 2 . 37 . 1 . 50 31 1 3 2 22 10 12 25 1 3 . 4 5 . 1 1 . 1 1 2 . . 6
8 3 2 1 1 . 1 1 21 2 2 . . . . . . 1 . . . . . . . 5 1 4 2 . 2 . 3 1 6
E 5 18 . 4 2 . 9 2 6 9 2 1 . . 3 3 . 3 6 3 . . . . 4 . 10 15 1 4 . 9 3 .
D 4 . 16 1 . . . 16 . 2 . . . . . . 3 . . 6 . . . . 3 31 2 2 . . . 4 . .
A 9 . . . 1 46 . . . . . 43 97 90 2 1 58 75 . . . . 2 5 . . . . . . . . . 66
Q 1 . . . 1 16 . . . . . 2 . . . 12 . . 15 . 3 . 2 . . 2 . . . . . . . .
S 1 . . . 1 . 1 1 . . 1 . . . . . . . . 2 19 . 16 . 2 . . . 2 . . . . .
H 3 . 14 1 . . . 8 . 2 . . . . . . 3 . . 3 . . . . 3 12 2 2 . . . 6 . .
R 4 22 . 2 . . . 5 1 . . . . . . 1 1 . . 3 . . . . 4 . 3 3 . 3 . 1 3 .
N 2 3 . 1 4 . . 1 2 7 . . . . 3 2 . . . 1 . . 3 9 7 . 10 7 . 1 . 9 1 .
M 2 2 . 1 3 . . . 1 10 . . . . 4 2 1 . . 1 1 25 . . 5 . 8 8 . 2 . 7 1 .
2 2 3 . 2 . . . 7 . 1 . . . . . 1 1 . . 1 . . 1 . 7 . 1 1 . . . 1 . .
P 1 . . 1 . . . 1 . 4 . . . . . . . . . . . . . . 3 . 2 7 . . . 5 . .
I 0 . . . . 1 . . . . . 4 . 5 . . 17 7 . . . . . . . . . . . . . . . .
K 0 . . . 1 . . . 1 . . . . . 5 1 . . . . . . 1 . . . . . . 1 2 . . .
F 0 . . . . . . . . 1 . . . . . . . . . . . . . . . . . 2 . . . 1 . .
G 7 5 . 3 22 14 9 . 32 11 15 7 . . 24 13 . . 6 2 1 . 2 5 8 . 7 7 1 30 44 8 31 11
a 1 . 5 . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . . . .
e 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i 1 . 3 . . . . . . . . . . . . . . . . 4 . . . . . . . . . . . . . .
o 0 . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
U 5 19 . 3 1 . 20 1 5 7 4 . . . 1 3 . . 12 3 . . . . 2 1 7 8 2 3 . 7 6 .
W 3 . 3 . 4 . . . . . . . . . 2 . . . . 12 . . . . 1 . . . 17 . . . . .
X 4 . 14 1 5 . 3 1 . . 2 . . . 1 2 . . 3 9 17 . 13 9 4 . . . 17 . 2 . . 6
Y 5 . 12 1 7 . 3 1 . . 2 . . . 4 2 . . . 12 16 . 17 5 5 . . . 22 . . . . 6
B 9 8 1 2 18 12 4 1 48 15 10 6 . . 20 17 1 2 . 2 . . 5 9 9 . 9 10 1 52 38 9 52 .
q 5 . 22 1 . . . 22 . . . . . . . . . . . 4 . . . . 2 39 1 1 . . . 4 . .
4 0 . 1 . . . . . . . . . . . 1 1 . . 3 . . . 4 . . 1 . . . . . . . .
T 2 . . 1 2 1 2 1 . . 1 . . . 2 2 . . 3 4 33 50 25 38 3 . . . 4 . . . . .
p 1 . 6 . . . . 5 . 1 . . . . . . 1 . . 2 . . . . 1 8 . 1 . . . 1 . .
L 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.416
Next-symbol entropy:
TT TT C O 8 E D A Q S H R N M 2 P I K F G a e i o U W X Y B q 4 T p L
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 4.005 1731 0.290 0.011 0.104 0.307 0.333 0.214 0.028 0.223 0.086 0.215 0.180 . . 0.225 0.088 . . 0.011 0.109 0.011 . 0.016 0.006 0.228 0.006 0.178 0.191 0.086 0.454 0.077 0.106 0.210 0.011
B 3.786 2057 0.325 0.025 0.068 0.248 0.274 0.100 0.054 0.261 0.093 0.142 0.145 . . 0.173 0.098 0.005 0.005 . 0.104 0.005 . 0.025 0.010 0.218 . 0.184 0.219 0.068 0.511 0.060 0.100 0.266 .
M 3.536 440 0.401 0.020 0.115 0.209 0.049 0.049 0.062 0.035 0.216 0.035 0.020 . . 0.166 0.049 0.020 . . 0.158 0.035 0.020 . . 0.392 . 0.419 0.458 0.084 0.196 . 0.264 0.062 .
T 3.521 400 0.091 . 0.169 0.186 0.161 0.194 0.263 . 0.022 0.113 0.066 . . 0.091 0.066 . . 0.022 0.417 0.429 0.038 0.286 0.113 0.286 . 0.022 . 0.467 . . 0.022 . .
N 3.489 491 0.411 0.018 0.146 0.236 0.057 . 0.123 0.067 0.146 0.018 0.018 . . 0.114 0.045 . . . 0.123 . . 0.057 0.032 0.424 0.032 0.447 0.419 0.078 0.146 . 0.286 0.045 .
3.429 2561 0.364 0.020 0.522 0.217 0.121 0.109 0.186 . 0.106 0.104 0.059 . . 0.151 0.071 0.004 . 0.020 0.106 0.011 0.004 0.011 0.008 0.317 0.034 0.345 0.315 0.052 . 0.018 0.151 . .
S 3.386 212 0.193 . 0.127 0.108 0.127 0.146 0.348 0.036 . 0.146 0.036 . . 0.036 . . . . 0.386 0.449 . 0.312 . 0.364 . . 0.063 0.434 0.036 . 0.036 . .
K 3.261 57 0.224 . 0.269 0.420 0.170 . . 0.170 . . . . . 0.525 0.102 . . . 0.224 . . 0.102 . 0.170 . 0.170 0.170 . 0.342 0.102 . 0.102 .
4 3.238 47 0.303 0.513 . . . 0.253 0.253 . . . . . . 0.194 0.194 . . 0.118 0.303 0.118 . 0.344 . . 0.409 0.118 . . . . . 0.118 .
E 3.230 1200 0.530 0.009 0.194 0.075 0.015 0.273 0.143 0.087 0.098 0.071 0.053 . . 0.062 0.033 . 0.015 0.015 0.209 . . . . 0.180 0.009 0.273 0.383 0.127 0.180 . 0.155 0.043 .
U 3.070 1153 0.525 0.009 0.159 0.055 0.034 0.423 0.109 0.073 0.077 0.120 0.028 . . 0.034 0.039 . . 0.028 0.194 . . . . 0.094 0.039 0.227 0.281 0.150 0.159 . 0.127 0.086 .
H 2.866 583 0.068 0.502 0.108 0.016 0.028 0.016 0.518 . 0.049 . . . . 0.016 . 0.039 . . 0.334 . . . . 0.244 0.386 0.142 0.200 0.016 . . 0.184 . .
P 2.851 195 0.172 0.039 0.205 0.068 . . 0.260 . 0.189 . . . . . . . . . 0.172 . . . . 0.455 0.068 0.307 0.531 0.039 . . 0.346 . .
O 2.680 1127 0.107 0.023 0.009 0.074 . 0.523 0.009 0.023 0.009 0.506 0.502 0.040 0.079 0.046 0.183 0.056 0.046 0.051 0.074 0.040 . 0.035 0.009 . 0.040 0.040 0.029 0.065 0.046 0.009 . . 0.009
2 2.679 372 0.470 0.041 0.262 . 0.023 0.070 0.531 . 0.041 0.023 . . . . 0.023 0.023 . . 0.140 0.023 . 0.023 . 0.477 . 0.150 0.140 0.056 0.070 . 0.070 0.023 .
X 2.678 866 0.043 0.438 0.101 0.176 . 0.152 0.096 . . 0.080 . . . 0.028 0.036 . . 0.011 0.438 0.187 . 0.106 0.020 0.215 . . . 0.527 . 0.011 . . 0.011
Y 2.674 1053 0.042 0.363 0.069 0.212 . 0.124 0.117 . . 0.083 0.017 0.010 . 0.083 0.031 . . . 0.460 0.153 . 0.113 0.010 0.222 0.017 . . 0.522 . . 0.017 . 0.010
D 2.618 919 0.082 0.457 0.092 0.011 0.041 . 0.529 . 0.041 . . . 0.011 . . 0.027 . . 0.354 . . . . 0.161 0.481 0.097 0.129 . . . 0.106 . .
p 2.542 269 0.072 0.488 0.030 0.030 0.030 . 0.529 . 0.053 . . . . . . 0.030 . . 0.346 . . . . 0.151 0.465 0.072 0.122 . . . 0.122 . .
A 2.441 1990 . . 0.022 0.038 0.514 0.014 0.006 . 0.006 0.010 0.465 0.496 0.466 0.029 0.006 0.141 0.120 . 0.018 0.006 . 0.010 0.006 0.006 . . . 0.022 . . . . 0.044
8 2.318 695 0.308 0.059 0.119 . 0.088 0.074 0.437 0.067 0.051 0.014 0.024 . . 0.014 . 0.014 . . . . . . . 0.286 0.081 0.209 0.173 0.024 0.137 . 0.101 0.024 0.014
o 2.290 21 . 0.524 0.209 0.209 . . 0.323 . . . . . . . . . . . 0.493 . . . . 0.209 . . . 0.323 . . . . .
q 2.251 1074 0.036 0.480 0.063 . 0.042 . 0.528 . 0.009 . . . . . . . . . 0.250 . . . . 0.119 0.491 0.053 0.072 0.009 . . 0.099 . .
C 2.156 1063 0.017 . 0.053 0.181 0.024 0.162 0.087 0.017 0.042 0.087 0.030 . . 0.116 0.036 . . 0.017 0.507 0.024 . 0.017 0.009 0.131 . 0.024 0.036 0.480 0.009 . 0.048 . .
R 2.126 915 0.419 0.019 0.154 0.019 0.011 0.011 0.335 0.034 0.011 0.011 . . . . 0.019 0.011 . . 0.211 . . . . 0.235 0.019 0.129 0.165 0.034 0.165 . 0.048 0.066 .
Q 2.080 286 0.144 . . 0.102 0.389 . 0.069 . . . 0.223 0.029 . . 0.292 . . 0.102 0.029 0.131 . 0.050 . 0.050 0.169 0.050 0.050 0.086 0.086 . 0.029 . .
e 2.000 4 . 0.500 . 0.500 . . . . . . . . . . . . . . . . . . . . 0.500 . . 0.500 . . . . .
I 1.994 92 . . . . 0.328 . . . . . 0.525 . 0.506 . . 0.439 0.197 . . . . . . . . . . . . . . . .
F 1.954 32 0.156 0.156 . . . . 0.250 . 0.250 . . . . . . . . . . . . . . 0.320 . . 0.447 . . . 0.375 . .
L 1.792 18 0.434 . 0.232 . 0.431 . . 0.232 . . . . . . . . . . 0.232 . . . . . . . . . 0.232 . . . .
W 1.681 648 0.014 0.201 0.026 0.181 0.014 0.014 0.054 . . 0.014 0.026 . . 0.063 . . . . 0.526 . . . . 0.063 . . . 0.470 . . 0.014 . .
i 1.671 121 0.057 0.499 0.163 . . . 0.132 . . . . . . 0.057 . . . . 0.434 . . . . 0.057 0.057 . . 0.215 . . . . .
a 1.560 199 0.038 0.506 0.067 0.038 . . 0.134 . . . . . . . . . . . 0.421 . . . . 0.038 0.038 . 0.038 0.202 . . 0.038 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.917 22891 0.354 0.206 0.214 0.153 0.223 0.186 0.306 0.079 0.063 0.135 0.186 0.119 0.110 0.097 0.059 0.032 0.022 0.013 0.282 0.060 0.002 0.040 0.009 0.217 0.146 0.179 0.204 0.312 0.207 0.018 0.102 0.075 0.008
Now we have too many spaces.
The abbreviations "e" = "FZ" and "o" = "PZ" are useless.
Big problems:
"W" = "CC" ("CCG" "CC8G" ),
"C" ("CG", "C8G"),
"a" = "DZ" ("DZG", "DZC"),
"i" = "HZ" ("HZG", "HZC"),
"q" = "QD" = "4OD" ("4ODA", "4ODC", "4ODCC"),
"R" ("R ")
Let's get rid of the remaining "I".
Let's also map "AM" "AN" and final "AR" to "m" "n" "r".
Let's go by steps:
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/G /G/g' \
-e 's/AM */m/g' \
-e 's/AN */n/g' \
-e 's/AK */k/g' \
-e 's/ *4O/Q/g' \
\
-e 's/O\([DHPF]\)/ O\1/g' \
\
-e 's/OE/U/g' \
-e 's/AR/r/g' \
-e 's/OR/s/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/CCG/x/g' \
-e 's/CC8G/y/g' \
-e 's/CG/u/g' \
-e 's/C8G/v/g' \
-e 's/CC/W/g' \
-e 's/DZ/a/g' \
-e 's/HZ/i/g' \
-e 's/8G/B/g' \
-e 's/QD/q/g' \
-e 's/QH/p/g' \
| /n/gnu/bin/fold -s -w 200 \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDAQSHRNM2PKGmnkrsaiUWXYxyuvBqpFZ4LI'
Digraph counts:
TT C O 8 E D A Q S H R N M 2 P K G m n k r s a i U W X Y x y u v B q p F Z 4 L T I
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2584 291 5 730 130 57 50 33 . 47 46 22 . 1 82 30 . 48 32 16 4 18 50 3 4 243 5 279 243 2 3 1 1 19 . . 7 . 5 . 77 .
G 1243 88 2 6 118 106 76 1 64 18 71 36 . . 78 19 . 26 1 . 1 2 15 2 3 62 . 51 58 1 . . . 21 223 58 2 . 14 1 19 .
E 1200 470 1 21 14 2 86 9 17 20 13 9 . . 11 5 2 57 8 5 2 9 30 . . 46 . 86 156 . 1 . . 28 46 7 2 . . . 37 .
U 1153 488 2 9 9 5 184 5 13 14 25 4 . . 5 6 . 49 6 7 . 4 28 . . 18 3 62 87 1 . . 1 34 37 16 4 . . . 27 .
B 1122 91 4 2 74 64 24 3 89 18 42 26 . . 45 26 1 19 2 . . 5 8 . 3 53 . 35 53 . . . 1 11 321 77 . . 11 . 13 1
q 1074 5 34 6 . 6 . 137 . 1 . . . . . . . 67 85 157 4 52 4 . . 23 7 8 12 87 153 41 166 1 . . . . . . 18 .
Y 1053 6 36 1 51 . 24 12 . . 14 2 1 . 14 5 . 206 . 1 1 8 10 32 21 55 1 . . 1 . 55 33 460 . . . . . 1 2 .
D 919 12 41 4 1 5 . 63 . 5 . 2 . 2 . . . 103 70 118 8 53 10 . . 30 19 15 22 67 107 30 115 . . . . . . . 17 .
X 866 5 42 2 32 . 26 8 . . 11 . . . 3 6 . 150 . . 1 5 13 35 16 43 . . . . . 51 57 357 . . 1 . 1 1 . .
O 839 21 3 . 13 . 348 . 3 1 294 . 6 20 7 45 8 13 . 1 . . 1 6 5 . . 6 4 2 3 . 1 11 7 . 8 . 1 1 . .
8 695 61 1 . . 10 8 133 7 5 1 2 . . 1 . 1 . 98 55 11 125 15 . . 54 . 33 25 4 4 3 3 2 18 2 . . . 1 12 .
A 616 . . 5 10 554 3 1 . 1 2 . . . 7 2 . 4 . . . . . 1 2 1 . . . . . . . 5 . . . . . 12 . 6
H 583 6 25 1 1 2 1 57 . 4 . 1 . 1 1 . 1 59 23 43 1 45 10 . . 35 8 16 26 30 38 25 99 1 . . . . . . 23 .
v 558 69 1 . 36 51 7 1 28 9 9 19 . . 18 7 . 13 . 1 . 1 6 1 2 31 . 32 29 . . . . 7 126 33 . . 6 . 15 .
n 483 73 1 8 28 4 . 6 5 14 1 1 . . 10 5 . 11 1 1 . 3 6 . 4 77 1 86 76 . 1 . . 6 14 3 . . . . 37 .
r 431 330 . 2 . . . 9 3 . . . . . . 1 . 21 1 1 1 5 7 . . 12 . 2 6 . . . . 2 20 7 . . . . 1 .
m 416 60 1 3 21 3 2 2 1 22 2 1 . . 15 3 . 12 . . . 2 5 2 . 55 . 67 77 . . . . 6 18 4 1 . . . 30 1
T 400 6 . 5 16 13 17 14 . 1 8 4 . . 6 12 . 62 . 1 4 8 9 66 31 31 . 1 . . . . . 81 . . 3 . . . 1 .
y 377 38 . 3 17 34 4 3 21 5 5 13 . . 11 3 . 5 . . . . 2 . 1 20 . 14 23 . . . . 3 112 32 . . 1 . 7 .
2 372 77 1 7 . 1 4 32 . 2 1 1 . . . 1 . 10 41 31 1 28 18 1 1 80 . 11 10 . . 1 . 3 4 1 . . . . 4 .
s 288 198 . 3 . . 1 7 . . . . . . . . . 15 7 6 . 5 3 . . 19 . 6 5 . . . 1 . 9 2 . . . . 1 .
Q 286 8 2 . 5 191 . 1 . . . 15 1 . . 23 . 1 1 . . 1 . 7 2 2 1 2 2 1 6 . . 4 4 . 5 . . . 1 .
u 271 22 . 1 19 33 6 . 19 4 11 11 . . 10 5 . 5 . . . . 4 . . 16 . 7 6 . . . . 3 63 16 . . 2 1 7 .
p 269 3 9 . 1 1 . 34 . 2 . 1 . . . . . 29 15 24 1 18 1 . . 8 5 3 6 7 41 8 46 . . . . . . . 6 .
C 234 2 . 2 41 3 35 6 2 6 15 4 . . 22 6 . . 1 2 . 6 6 3 2 26 . 3 5 10 16 . . . 1 . 2 . . . 7 .
x 217 27 . 1 14 35 3 . 8 2 4 19 . . 4 2 . 2 1 . . . 4 . . 16 . 7 8 . . . . . 40 9 . . 5 . 6 .
P 216 7 1 4 2 . . 6 . 8 . . . . . . . 7 2 1 . 4 5 . . 37 . 17 70 1 1 . . 1 . . . 21 . . 21 .
S 212 9 . 1 4 5 6 10 1 . 6 1 . . 1 . . 28 1 1 1 10 4 39 19 25 . . 2 . . . . 36 1 . . . . . 1 .
a 199 1 2 1 1 . . 4 . . . . . . . . . 125 . 1 . . 1 . . 1 1 . 1 . . 30 20 9 . . . . . . 1 .
R 196 50 . 4 2 1 . 11 1 1 1 . . . . 1 . 8 19 10 3 8 9 . . 21 . 14 20 1 1 . 1 2 2 . . . . . 4 1
i 121 1 4 1 . . . 2 . . . . . . 1 . . 74 . . . 1 3 . . 1 1 . . . . 18 8 6 . . . . . . . .
W 54 1 3 1 25 1 1 2 . . 1 2 . . 6 . . . . . . 3 1 . . 6 . . . . . . . . . . . . . . 1 .
4 47 4 13 . . . 3 2 . . . . . . 2 2 . 4 . . . 1 . 1 5 . 2 1 . 1 2 1 1 . . 1 1 . . . . .
k 44 3 . 3 8 . . . 2 . . . . . 12 1 . 3 . . . . . . . 1 . 2 2 . . . . . 5 1 . . 1 . . .
F 36 1 . . . . . 1 . 2 . . . . . . . . 1 . . . . . . 3 . . 19 . . 1 . . . . . 4 . . 4 .
Z 25 . . 1 2 . . 1 . . . . . . . . . 5 . . . 1 . . . 1 . . . 1 . 6 4 3 . . . . . . . .
M 24 21 . . . . . . 1 . . . . . . . . 1 . . . . . . . . . . . . . . . . 1 . . . . . . .
L 18 11 . 1 . 3 . . 1 . . . . . . . . 1 . . . . . . . . . . . . . . . . 1 . . . . . . .
K 13 11 . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . .
I 11 . . . . 9 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
N 8 7 . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 19773 2584 234 839 695 1200 919 616 286 212 583 196 8 24 372 216 13 1243 416 483 44 431 288 199 121 1153 54 866 1053 217 377 271 558 1122 1074 269 36 25 47 18 400 11
Next-symbol probability (× 99):
TT TT TT C O 8 E D A Q S H R N M 2 P K G m n k r s a i U W X Y x y u v B q p F Z 4 L T I
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
G 4.057 1243 99 7 . . 9 8 6 . 5 1 6 3 . . 6 2 . 2 . . . . 1 . . 5 . 4 5 . . . . 2 18 5 . . 1 . 2 .
H 3.953 583 99 1 4 . . . . 10 . 1 . . . . . . . 10 4 7 . 8 2 . . 6 1 3 4 5 6 4 17 . . . . . . . 4 .
C 3.946 234 99 1 . 1 17 1 15 3 1 3 6 2 . . 9 3 . . . 1 . 3 3 1 1 11 . 1 2 4 7 . . . . . 1 . . . 3 .
D 3.879 919 99 1 4 . . 1 . 7 . 1 . . . . . . . 11 8 13 1 6 1 . . 3 2 2 2 7 12 3 12 . . . . . . . 2 .
v 3.850 558 99 12 . . 6 9 1 . 5 2 2 3 . . 3 1 . 2 . . . . 1 . . 6 . 6 5 . . . . 1 22 6 . . 1 . 3 .
u 3.816 271 99 8 . . 7 12 2 . 7 1 4 4 . . 4 2 . 2 . . . . 1 . . 6 . 3 2 . . . . 1 23 6 . . 1 . 3 .
B 3.787 1122 99 8 . . 7 6 2 . 8 2 4 2 . . 4 2 . 2 . . . . 1 . . 5 . 3 5 . . . . 1 28 7 . . 1 . 1 .
x 3.721 217 99 12 . . 6 16 1 . 4 1 2 9 . . 2 1 . 1 . . . . 2 . . 7 . 3 4 . . . . . 18 4 . . 2 . 3 .
R 3.689 196 99 25 . 2 1 1 . 6 1 1 1 . . . . 1 . 4 10 5 2 4 5 . . 11 . 7 10 1 1 . 1 1 1 . . . . . 2 1
p 3.679 269 99 1 3 . . . . 13 . 1 . . . . . . . 11 6 9 . 7 . . . 3 2 1 2 3 15 3 17 . . . . . . . 2 .
4 3.630 47 99 8 27 . . . 6 4 . . . . . . 4 4 . 8 . . . 2 . 2 11 . 4 2 . 2 4 2 2 . . 2 2 . . . . .
3.629 2584 99 11 . 28 5 2 2 1 . 2 2 1 . . 3 1 . 2 1 1 . 1 2 . . 9 . 11 9 . . . . 1 . . . . . . 3 .
T 3.627 400 99 1 . 1 4 3 4 3 . . 2 1 . . 1 3 . 15 . . 1 2 2 16 8 8 . . . . . . . 20 . . 1 . . . . .
y 3.598 377 99 10 . 1 4 9 1 1 6 1 1 3 . . 3 1 . 1 . . . . 1 . . 5 . 4 6 . . . . 1 29 8 . . . . 2 .
8 3.592 695 99 9 . . . 1 1 19 1 1 . . . . . . . . 14 8 2 18 2 . . 8 . 5 4 1 1 . . . 3 . . . . . 2 .
S 3.580 212 99 4 . . 2 2 3 5 . . 3 . . . . . . 13 . . . 5 2 18 9 12 . . 1 . . . . 17 . . . . . . . .
q 3.572 1074 99 . 3 1 . 1 . 13 . . . . . . . . . 6 8 14 . 5 . . . 2 1 1 1 8 14 4 15 . . . . . . . 2 .
m 3.568 416 99 14 . 1 5 1 . . . 5 . . . . 4 1 . 3 . . . . 1 . . 13 . 16 18 . . . . 1 4 1 . . . . 7 .
n 3.561 483 99 15 . 2 6 1 . 1 1 3 . . . . 2 1 . 2 . . . 1 1 . 1 16 . 18 16 . . . . 1 3 1 . . . . 8 .
2 3.469 372 99 20 . 2 . . 1 9 . 1 . . . . . . . 3 11 8 . 7 5 . . 21 . 3 3 . . . . 1 1 . . . . . 1 .
E 3.331 1200 99 39 . 2 1 . 7 1 1 2 1 1 . . 1 . . 5 1 . . 1 2 . . 4 . 7 13 . . . . 2 4 1 . . . . 3 .
k 3.212 44 99 7 . 7 18 . . . 5 . . . . . 27 2 . 7 . . . . . . . 2 . 5 5 . . . . . 11 2 . . 2 . . .
P 3.189 216 99 3 . 2 1 . . 3 . 4 . . . . . . . 3 1 . . 2 2 . . 17 . 8 32 . . . . . . . . 10 . . 10 .
U 3.141 1153 99 42 . 1 1 . 16 . 1 1 2 . . . . 1 . 4 1 1 . . 2 . . 2 . 5 7 . . . . 3 3 1 . . . . 2 .
X 2.975 866 99 1 5 . 4 . 3 1 . . 1 . . . . 1 . 17 . . . 1 1 4 2 5 . . . . . 6 7 41 . . . . . . . .
Z 2.969 25 99 . . 4 8 . . 4 . . . . . . . . . 20 . . . 4 . . . 4 . . . 4 . 24 16 12 . . . . . . . .
Y 2.889 1053 99 1 3 . 5 . 2 1 . . 1 . . . 1 . . 19 . . . 1 1 3 2 5 . . . . . 5 3 43 . . . . . . . .
W 2.780 54 99 2 6 2 46 2 2 4 . . 2 4 . . 11 . . . . . . 6 2 . . 11 . . . . . . . . . . . . . . 2 .
O 2.467 839 99 2 . . 2 . 41 . . . 35 . 1 2 1 5 1 2 . . . . . 1 1 . . 1 . . . . . 1 1 . 1 . . . . .
F 2.296 36 99 3 . . . . . 3 . 6 . . . . . . . . 3 . . . . . . 8 . . 52 . . 3 . . . . . 11 . . 11 .
Q 2.152 286 99 3 1 . 2 66 . . . . . 5 . . . 8 . . . . . . . 2 1 1 . 1 1 . 2 . . 1 1 . 2 . . . . .
i 2.053 121 99 1 3 1 . . . 2 . . . . . . 1 . . 61 . . . 1 2 . . 1 1 . . . . 15 7 5 . . . . . . . .
s 1.977 288 99 68 . 1 . . . 2 . . . . . . . . . 5 2 2 . 2 1 . . 7 . 2 2 . . . . . 3 1 . . . . . .
a 1.893 199 99 . 1 . . . . 2 . . . . . . . . . 62 . . . . . . . . . . . . . 15 10 4 . . . . . . . .
L 1.792 18 99 61 . 6 . 17 . . 6 . . . . . . . . 6 . . . . . . . . . . . . . . . . 6 . . . . . . .
r 1.586 431 99 76 . . . . . 2 1 . . . . . . . . 5 . . . 1 2 . . 3 . . 1 . . . . . 5 2 . . . . . .
A 0.821 616 99 . . 1 2 89 . . . . . . . . 1 . . 1 . . . . . . . . . . . . . . . 1 . . . . . 2 . 1
K 0.773 13 99 84 . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . . . . . . .
M 0.742 24 99 87 . . . . . . 4 . . . . . . . . 4 . . . . . . . . . . . . . . . . 4 . . . . . . .
I 0.684 11 99 . . . . 81 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
N 0.544 8 99 87 . . . . . . . . . . . . . . . . . . . . . . . 12 . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.300 19773 99 13 1 4 3 6 5 3 1 1 3 1 0 0 2 1 0 6 2 2 0 2 1 1 1 6 0 4 5 1 2 1 3 6 5 1 0 0 0 0 2 0
Previous-symbol probability (× 99):
TT C O 8 E D A Q S H R N M 2 P K G m n k r s a i U W X Y x y u v B q p F Z 4 L T I
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
13 11 2 86 19 5 5 5 . 22 8 11 . 4 22 14 . 4 8 3 9 4 17 1 3 21 9 32 23 1 1 . . 2 . . 19 . 11 . 19 .
C 1 . . . 6 . 4 1 1 3 3 2 . . 6 3 . . . . . 1 2 1 2 2 . . . 5 4 . . . . . 6 . . . 2 .
O 4 1 1 . 2 . 37 . 1 . 50 . 74 83 2 21 61 1 . . . . . 3 4 . . 1 . 1 1 . . 1 1 . 22 . 2 6 . .
8 3 2 . . . 1 1 21 2 2 . 1 . . . . 8 . 23 11 25 29 5 . . 5 . 4 2 2 1 1 1 . 2 1 . . . 6 3 .
E 6 18 . 2 2 . 9 1 6 9 2 5 . . 3 2 15 5 2 1 5 2 10 . . 4 . 10 15 . . . . 2 4 3 6 . . . 9 .
D 5 . 17 . . . . 10 . 2 . 1 . 8 . . . 8 17 24 18 12 3 . . 3 35 2 2 31 28 11 20 . . . . . . . 4 .
A 3 . . 1 1 46 . . . . . . . . 2 1 . . . . . . . . 2 . . . . . . . . . . . . . . 66 . 54
Q 1 . 1 . 1 16 . . . . . 8 12 . . 11 . . . . . . . 3 2 . 2 . . . 2 . . . . . 14 . . . . .
S 1 . . . 1 . 1 2 . . 1 1 . . . . . 2 . . 2 2 1 19 16 2 . . . . . . . 3 . . . . . . . .
H 3 . 11 . . . . 9 . 2 . 1 . 4 . . 8 5 5 9 2 10 3 . . 3 15 2 2 14 10 9 18 . . . . . . . 6 .
R 1 2 . . . . . 2 . . . . . . . . . 1 5 2 7 2 3 . . 2 . 2 2 . . . . . . . . . . . 1 9
N 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
M 0 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 2 3 . 1 . . . 5 . 1 . 1 . . . . . 1 10 6 2 6 6 . 1 7 . 1 1 . . . . . . . . . . . 1 .
P 1 . . . . . . 1 . 4 . . . . . . . 1 . . . 1 2 . . 3 . 2 7 . . . . . . . . 83 . . 5 .
K 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
G 6 3 1 1 17 9 8 . 22 8 12 18 . . 21 9 . 2 . . 2 . 5 1 2 5 . 6 5 . . . . 2 21 21 6 . 29 6 5 .
m 2 2 . . 3 . . . . 10 . 1 . . 4 1 . 1 . . . . 2 1 . 5 . 8 7 . . . . 1 2 1 3 . . . 7 9
n 2 3 . 1 4 . . 1 2 7 . 1 . . 3 2 . 1 . . . 1 2 . 3 7 2 10 7 . . . . 1 1 1 . . . . 9 .
k 0 . . . 1 . . . 1 . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . . 2 . . .
r 2 13 . . . . . 1 1 . . . . . . . . 2 . . 2 1 2 . . 1 . . 1 . . . . . 2 3 . . . . . .
s 1 8 . . . . . 1 . . . . . . . . . 1 2 1 . 1 1 . . 2 . 1 . . . . . . 1 1 . . . . . .
a 1 . 1 . . . . 1 . . . . . . . . . 10 . . . . . . . . 2 . . . . 11 4 1 . . . . . . . .
i 1 . 2 . . . . . . . . . . . . . . 6 . . . . 1 . . . 2 . . . . 7 1 1 . . . . . . . .
U 6 19 1 1 1 . 20 1 5 7 4 2 . . 1 3 . 4 1 1 . 1 10 . . 2 6 7 8 . . . . 3 3 6 11 . . . 7 .
W 0 . 1 . 4 . . . . . . 1 . . 2 . . . . . . 1 . . . 1 . . . . . . . . . . . . . . . .
X 4 . 18 . 5 . 3 1 . . 2 . . . 1 3 . 12 . . 2 1 4 17 13 4 . . . . . 19 10 32 . . 3 . 2 6 . .
Y 5 . 15 . 7 . 3 2 . . 2 1 12 . 4 2 . 16 . . 2 2 3 16 17 5 2 . . . . 20 6 41 . . . . . 6 . .
x 1 1 . . 2 3 . . 3 1 1 10 . . 1 1 . . . . . . 1 . . 1 . 1 1 . . . . . 4 3 . . 11 . 1 .
y 2 1 . . 2 3 . . 7 2 1 7 . . 3 1 . . . . . . 1 . 1 2 . 2 2 . . . . . 10 12 . . 2 . 2 .
u 1 1 . . 3 3 1 . 7 2 2 6 . . 3 2 . . . . . . 1 . . 1 . 1 1 . . . . . 6 6 . . 4 6 2 .
v 3 3 . . 5 4 1 . 10 4 2 10 . . 5 3 . 1 . . . . 2 . 2 3 . 4 3 . . . . 1 12 12 . . 13 . 4 .
B 6 3 2 . 11 5 3 . 31 8 7 13 . . 12 12 8 2 . . . 1 3 . 2 5 . 4 5 . . . . 1 30 28 . . 23 . 3 9
q 5 . 14 1 . . . 22 . . . . . . . . . 5 20 32 9 12 1 . . 2 13 1 1 40 40 15 29 . . . . . . . 4 .
p 1 . 4 . . . . 5 . 1 . 1 . . . . . 2 4 5 2 4 . . . 1 9 . 1 3 11 3 8 . . . . . . . 1 .
F 0 . . . . . . . . 1 . . . . . . . . . . . . . . . . . . 2 . . . . . . . . 16 . . 1 .
Z 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1 . . . . . . . . .
4 0 . 6 . . . . . . . . . . . 1 1 . . . . . . . . 4 . 4 . . . 1 . . . . . 3 . . . . .
L 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 2 . . 1 2 1 2 2 . . 1 2 . . 2 6 . 5 . . 9 2 3 33 25 3 . . . . . . . 7 . . 8 . . . . .
I 0 . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.668
Next-symbol entropy:
TT TT C O 8 E D A Q S H R N M 2 P K G m n k r s a i U W X Y x y u v B q p F Z 4 L T I
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 4.057 1243 0.270 0.015 0.037 0.322 0.303 0.247 0.008 0.220 0.088 0.236 0.148 . . 0.251 0.092 . 0.117 0.008 . 0.008 0.015 0.077 0.015 0.021 0.216 . 0.189 0.206 0.008 . . . 0.099 0.445 0.206 0.015 . 0.073 0.008 0.092 .
H 3.953 583 0.068 0.195 0.016 0.016 0.028 0.016 0.328 . 0.049 . 0.016 . 0.016 0.016 . 0.016 0.334 0.184 0.277 0.016 0.285 0.101 . . 0.244 0.085 0.142 0.200 0.220 0.257 0.195 0.434 0.016 . . . . . . 0.184 .
C 3.946 234 0.059 . 0.059 0.440 0.081 0.410 0.136 0.059 0.136 0.254 0.100 . . 0.321 0.136 . . 0.034 0.059 . 0.136 0.136 0.081 0.059 0.352 . 0.081 0.119 0.194 0.265 . . . 0.034 . 0.059 . . . 0.151 .
D 3.879 919 0.082 0.200 0.034 0.011 0.041 . 0.265 . 0.041 . 0.019 . 0.019 . . . 0.354 0.283 0.380 0.060 0.237 0.071 . . 0.161 0.116 0.097 0.129 0.275 0.361 0.161 0.375 . . . . . . . 0.106 .
v 3.850 558 0.373 0.016 . 0.255 0.315 0.079 0.016 0.217 0.096 0.096 0.166 . . 0.160 0.079 . 0.126 . 0.016 . 0.016 0.070 0.016 0.029 0.232 . 0.237 0.222 . . . . 0.079 0.485 0.241 . . 0.070 . 0.140 .
u 3.816 271 0.294 . 0.030 0.269 0.370 0.122 . 0.269 0.090 0.188 0.188 . . 0.176 0.106 . 0.106 . . . . 0.090 . . 0.241 . 0.136 0.122 . . . . 0.072 0.489 0.241 . . 0.052 0.030 0.136 .
B 3.787 1122 0.294 0.029 0.016 0.259 0.236 0.119 0.023 0.290 0.096 0.177 0.126 . . 0.186 0.126 0.009 0.100 0.016 . . 0.035 0.051 . 0.023 0.208 . 0.156 0.208 . . . 0.009 0.065 0.517 0.265 . . 0.065 . 0.075 0.009
x 3.721 217 0.374 . 0.036 0.255 0.425 0.085 . 0.176 0.062 0.106 0.308 . . 0.106 0.062 . 0.062 0.036 . . . 0.106 . . 0.277 . 0.160 0.176 . . . . . 0.450 0.190 . . 0.125 . 0.143 .
R 3.689 196 0.503 . 0.115 0.067 0.039 . 0.233 0.039 0.039 0.039 . . . . 0.039 . 0.188 0.326 0.219 0.092 0.188 0.204 . . 0.345 . 0.272 0.336 0.039 0.039 . 0.039 0.067 0.067 . . . . . 0.115 0.039
p 3.679 269 0.072 0.164 . 0.030 0.030 . 0.377 . 0.053 . 0.030 . . . . . 0.346 0.232 0.311 0.030 0.261 0.030 . . 0.151 0.107 0.072 0.122 0.137 0.414 0.151 0.436 . . . . . . . 0.122 .
4 3.630 47 0.303 0.513 . . . 0.253 0.194 . . . . . . 0.194 0.194 . 0.303 . . . 0.118 . 0.118 0.344 . 0.194 0.118 . 0.118 0.194 0.118 0.118 . . 0.118 0.118 . . . . .
3.629 2584 0.355 0.017 0.515 0.217 0.121 0.110 0.080 . 0.105 0.103 0.059 . 0.004 0.158 0.075 . 0.107 0.078 0.045 0.014 0.050 0.110 0.011 0.014 0.321 0.017 0.347 0.321 0.008 0.011 0.004 0.004 0.052 . . 0.023 . 0.017 . 0.151 .
T 3.627 400 0.091 . 0.079 0.186 0.161 0.194 0.169 . 0.022 0.113 0.066 . . 0.091 0.152 . 0.417 . 0.022 0.066 0.113 0.123 0.429 0.286 0.286 . 0.022 . . . . . 0.467 . . 0.053 . . . 0.022 .
y 3.598 377 0.334 . 0.055 0.202 0.313 0.070 0.055 0.232 0.083 0.083 0.168 . . 0.149 0.055 . 0.083 . . . . 0.040 . 0.023 0.225 . 0.176 0.246 . . . . 0.055 0.520 0.302 . . 0.023 . 0.107 .
8 3.592 695 0.308 0.014 . . 0.088 0.074 0.457 0.067 0.051 0.014 0.024 . . 0.014 . 0.014 . 0.399 0.290 0.095 0.445 0.119 . . 0.286 . 0.209 0.173 0.043 0.043 0.034 0.034 0.024 0.137 0.024 . . . 0.014 0.101 .
S 3.580 212 0.193 . 0.036 0.108 0.127 0.146 0.208 0.036 . 0.146 0.036 . . 0.036 . . 0.386 0.036 0.036 0.036 0.208 0.108 0.449 0.312 0.364 . . 0.063 . . . . 0.434 0.036 . . . . . 0.036 .
q 3.572 1074 0.036 0.158 0.042 . 0.042 . 0.379 . 0.009 . . . . . . . 0.250 0.290 0.406 0.030 0.212 0.030 . . 0.119 0.047 0.053 0.072 0.294 0.401 0.180 0.416 0.009 . . . . . . 0.099 .
m 3.568 416 0.403 0.021 0.051 0.217 0.051 0.037 0.037 0.021 0.224 0.037 0.021 . . 0.173 0.051 . 0.148 . . . 0.037 0.077 0.037 . 0.386 . 0.424 0.450 . . . . 0.088 0.196 0.064 0.021 . . . 0.274 0.021
n 3.561 483 0.412 0.018 0.098 0.238 0.057 . 0.079 0.068 0.148 0.018 0.018 . . 0.116 0.068 . 0.124 0.018 0.018 . 0.046 0.079 . 0.057 0.422 0.018 0.443 0.420 . 0.018 . . 0.079 0.148 0.046 . . . . 0.284 .
2 3.469 372 0.470 0.023 0.108 . 0.023 0.070 0.304 . 0.041 0.023 0.023 . . . 0.023 . 0.140 0.351 0.299 0.023 0.281 0.211 0.023 0.023 0.477 . 0.150 0.140 . . 0.023 . 0.056 0.070 0.023 . . . . 0.070 .
E 3.331 1200 0.530 0.009 0.102 0.075 0.015 0.273 0.053 0.087 0.098 0.071 0.053 . . 0.062 0.033 0.015 0.209 0.048 0.033 0.015 0.053 0.133 . . 0.180 . 0.273 0.383 . 0.009 . . 0.127 0.180 0.043 0.015 . . . 0.155 .
k 3.212 44 0.264 . 0.264 0.447 . . . 0.203 . . . . . 0.511 0.124 . 0.264 . . . . . . . 0.124 . 0.203 0.203 . . . . . 0.357 0.124 . . 0.124 . . .
P 3.189 216 0.160 0.036 0.107 0.063 . . 0.144 . 0.176 . . . . . . . 0.160 0.063 0.036 . 0.107 0.126 . . 0.436 . 0.289 0.527 0.036 0.036 . . 0.036 . . . 0.327 . . 0.327 .
U 3.141 1153 0.525 0.016 0.055 0.055 0.034 0.423 0.034 0.073 0.077 0.120 0.028 . . 0.034 0.039 . 0.194 0.039 0.045 . 0.028 0.130 . . 0.094 0.022 0.227 0.281 0.009 . . 0.009 0.150 0.159 0.086 0.028 . . . 0.127 .
X 2.975 866 0.043 0.212 0.020 0.176 . 0.152 0.062 . . 0.080 . . . 0.028 0.050 . 0.438 . . 0.011 0.043 0.091 0.187 0.106 0.215 . . . . . 0.241 0.258 0.527 . . 0.011 . 0.011 0.011 . .
Z 2.969 25 . . 0.186 0.292 . . 0.186 . . . . . . . . . 0.464 . . . 0.186 . . . 0.186 . . . 0.186 . 0.494 0.423 0.367 . . . . . . . .
Y 2.889 1053 0.042 0.167 0.010 0.212 . 0.124 0.074 . . 0.083 0.017 0.010 . 0.083 0.037 . 0.460 . 0.010 0.010 0.053 0.064 0.153 0.113 0.222 0.010 . . 0.010 . 0.222 0.157 0.522 . . . . . 0.010 0.017 .
W 2.780 54 0.107 0.232 0.107 0.514 0.107 0.107 0.176 . . 0.107 0.176 . . 0.352 . . . . . . 0.232 0.107 . . 0.352 . . . . . . . . . . . . . . 0.107 .
O 2.467 839 0.133 0.029 . 0.093 . 0.527 . 0.029 0.012 0.530 . 0.051 0.129 0.058 0.226 0.064 0.093 . 0.012 . . 0.012 0.051 0.044 . . 0.051 0.037 0.021 0.029 . 0.012 0.082 0.058 . 0.064 . 0.012 0.012 . .
F 2.296 36 0.144 . . . . . 0.144 . 0.232 . . . . . . . . 0.144 . . . . . . 0.299 . . 0.487 . . 0.144 . . . . . 0.352 . . 0.352 .
Q 2.152 286 0.144 0.050 . 0.102 0.389 . 0.029 . . . 0.223 0.029 . . 0.292 . 0.029 0.029 . . 0.029 . 0.131 0.050 0.050 0.029 0.050 0.050 0.029 0.117 . . 0.086 0.086 . 0.102 . . . 0.029 .
i 2.053 121 0.057 0.163 0.057 . . . 0.098 . . . . . . 0.057 . . 0.434 . . . 0.057 0.132 . . 0.057 0.057 . . . . 0.409 0.259 0.215 . . . . . . . .
s 1.977 288 0.372 . 0.069 . . 0.028 0.130 . . . . . . . . . 0.222 0.130 0.116 . 0.102 0.069 . . 0.259 . 0.116 0.102 . . . 0.028 . 0.156 0.050 . . . . 0.028 .
a 1.893 199 0.038 0.067 0.038 0.038 . . 0.113 . . . . . . . . . 0.421 . 0.038 . . 0.038 . . 0.038 0.038 . 0.038 . . 0.412 0.333 0.202 . . . . . . 0.038 .
L 1.792 18 0.434 . 0.232 . 0.431 . . 0.232 . . . . . . . . 0.232 . . . . . . . . . . . . . . . . 0.232 . . . . . . .
r 1.586 431 0.295 . 0.036 . . . 0.117 0.050 . . . . . . 0.020 . 0.212 0.020 0.020 0.020 0.075 0.097 . . 0.144 . 0.036 0.086 . . . . 0.036 0.206 0.097 . . . . 0.020 .
A 0.821 616 . . 0.056 0.097 0.138 0.037 0.015 . 0.015 0.027 . . . 0.073 0.027 . 0.047 . . . . . 0.015 0.027 0.015 . . . . . . . 0.056 . . . . . 0.111 . 0.065
K 0.773 13 0.204 . . . 0.285 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 0.285 . . . . . . .
M 0.742 24 0.169 . . . . . . 0.191 . . . . . . . . 0.191 . . . . . . . . . . . . . . . . 0.191 . . . . . . .
I 0.684 11 . . . . 0.237 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 0.447
N 0.544 8 0.169 . . . . . . . . . . . . . . . . . . . . . . . 0.375 . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.300 19773 0.384 0.076 0.193 0.170 0.245 0.206 0.156 0.088 0.070 0.150 0.066 0.005 0.012 0.108 0.071 0.007 0.251 0.117 0.131 0.020 0.120 0.089 0.067 0.045 0.239 0.023 0.198 0.225 0.071 0.109 0.085 0.145 0.235 0.228 0.084 0.017 0.012 0.021 0.009 0.114 0.006
Now the characters Z M L K I N are discardable.
Big problemas are "A" ("AE"), "R" ("r "), and "s" ("s "). I suppose
we can assume that the cases of non-word-final "R" and "S" are due
to omission of space. When inverting the map we must remember to
insert spaces randomly after "R", with 2/3 probability.
The remaining instances of "R" seem to be indistingushable from "2"s.
But let them stay for now.
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/G /G/g' \
-e 's/AM */m/g' \
-e 's/AN */n/g' \
-e 's/AK */k/g' \
-e 's/AR */r/g' \
-e 's/OR */s/g' \
-e 's/ *4O/Q/g' \
\
-e 's/O\([DHPF]\)/ O\1/g' \
\
-e 's/OE/U/g' \
-e 's/AE/J/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/CCG/x/g' \
-e 's/CC8G/y/g' \
-e 's/CG/u/g' \
-e 's/C8G/v/g' \
-e 's/CC/W/g' \
-e 's/DZ/a/g' \
-e 's/HZ/i/g' \
-e 's/8G/B/g' \
-e 's/QD/q/g' \
-e 's/QH/p/g' \
-e 's/[ZMNKLI]//g' \
| /n/gnu/bin/fold -s -w 200 \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDAQSTHR2PGmnkrsaiUJWXYxyuvBqpF4'
Digraph counts:
TT C O 8 E D A Q S T H R 2 P G m n k r s a i U J W X Y x y u v B q p F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2046 211 5 721 111 52 46 1 . 32 54 43 21 74 19 33 21 8 2 5 31 2 3 149 16 4 168 182 1 3 . 1 15 . . 6 6
G 1243 88 2 6 118 107 76 1 58 18 19 71 36 78 19 26 1 . 1 2 15 2 3 62 . . 51 58 1 . . . 21 223 58 2 20
U 1153 490 2 9 9 5 184 2 11 14 27 25 4 5 6 49 6 7 . 4 28 . . 18 3 3 62 87 1 . . 1 34 37 16 4 .
B 1122 92 4 2 74 65 24 1 85 18 13 42 26 45 26 19 2 . . 5 8 . 3 53 2 . 35 53 . . . 1 11 321 77 . 15
q 1074 5 34 6 . 6 . 15 . 1 18 . . . . 67 85 157 4 52 4 . . 23 122 7 8 12 87 153 41 166 1 . . . .
Y 1053 7 36 1 51 . 24 1 . . 2 14 2 14 5 207 . 1 1 8 10 32 21 55 11 1 . . 1 . 55 33 460 . . . .
D 919 14 41 4 1 5 . 11 . 5 17 . 2 . . 103 70 118 8 53 10 . . 30 52 19 15 22 67 107 30 115 . . . . .
X 866 5 42 2 32 1 26 . . . . 11 . 3 6 150 . . 1 5 13 35 16 43 8 . . . . . 51 57 357 . . 1 1
O 839 51 3 . 13 . 348 . 4 1 . 294 . 7 45 14 . 1 . . 1 6 5 1 . . 6 4 2 3 . 1 11 9 . 8 1
8 695 62 1 . . 11 8 9 7 5 12 1 2 1 . . 98 55 11 125 15 . . 54 124 . 33 25 4 4 3 3 2 18 2 . .
E 646 126 1 16 10 3 78 . 5 11 28 10 7 6 5 20 6 3 2 7 18 . . 37 7 . 73 139 . 1 . . 13 11 1 2 .
H 583 8 25 1 1 2 1 2 . 4 23 . 1 1 . 59 23 43 1 45 10 . . 35 55 8 16 26 30 38 25 99 1 . . . .
v 558 69 1 . 36 51 7 1 27 9 15 9 19 18 7 13 . 1 . 1 6 1 2 31 . . 32 29 . . . . 7 126 33 . 7
J 554 345 . 5 4 . 8 . 12 9 9 3 2 5 . 37 2 2 . 2 12 . . 9 2 . 13 17 . . . . 15 35 6 . .
n 483 73 1 8 28 4 . 3 5 14 37 1 1 10 5 11 1 1 . 3 6 . 4 77 3 1 86 76 . 1 . . 6 14 3 . .
r 431 51 . 7 10 3 2 4 3 12 17 . 1 7 5 29 4 4 2 11 18 . 1 75 17 1 70 42 . . 1 . 6 20 7 1 .
m 416 60 1 3 21 4 2 . 1 22 30 2 1 15 3 12 . . . 2 5 2 . 55 2 . 67 77 . . . . 6 18 4 1 .
T 400 6 . 5 16 13 17 . . 1 1 8 4 6 12 62 . 1 4 8 9 66 31 31 14 . 1 . . . . . 81 . . 3 .
y 377 38 . 3 17 34 4 . 20 5 7 5 13 11 3 5 . . . . 2 . 1 20 3 . 14 23 . . . . 3 112 32 . 2
2 372 77 1 7 . 1 4 3 . 2 4 1 1 . 1 10 41 31 1 28 18 1 1 80 29 . 11 10 . . 1 . 3 4 1 . .
s 303 25 . 7 9 2 3 . . 3 8 3 . 1 7 22 18 12 1 12 11 1 . 50 11 . 49 31 2 1 . 2 . 9 2 . 1
Q 271 9 2 . 5 191 . . . . 1 . . . 23 1 1 . . 1 . 7 2 2 1 1 2 2 1 6 . . 4 4 . 5 .
u 271 22 . 2 19 33 6 . 19 4 7 11 11 10 5 5 . . . . 4 . . 16 . . 7 6 . . . . 3 63 16 . 2
p 269 3 9 . 1 1 . 3 . 2 6 . 1 . . 29 15 24 1 18 1 . . 8 31 5 3 6 7 41 8 46 . . . . .
C 234 2 . 2 41 3 35 2 2 6 7 15 4 22 6 . 1 2 . 6 6 3 2 26 4 . 3 5 10 16 . . . 1 . 2 .
x 217 27 . 1 14 35 3 . 8 2 6 4 19 4 2 2 1 . . . 4 . . 16 . . 7 8 . . . . . 40 9 . 5
P 216 7 1 5 3 . . . . 8 21 . . . . 12 2 1 . 5 5 . . 38 7 . 17 70 1 1 5 4 3 . . . .
S 212 9 . 1 4 5 6 1 1 . 1 6 1 1 . 28 1 1 1 10 4 39 19 25 9 . . 2 . . . . 36 1 . . .
a 199 1 2 1 1 . . . . . 1 . . . . 125 . 1 . . 1 . . 1 4 1 . 1 . . 30 20 9 . . . .
R 181 43 . 4 2 2 . 2 1 1 4 1 . . 1 8 16 9 3 8 9 . . 21 9 . 14 19 . . . . 2 2 . . .
i 121 1 4 1 . . . . . . . . . 1 . 74 . . . 1 3 . . 1 2 1 . . . . 18 8 6 . . . .
4 62 4 13 . . . 3 . . . . . . 2 2 4 . . . 1 15 1 5 . 2 2 1 . 1 2 1 1 . . 1 1 .
A 62 10 . 5 10 6 3 . 1 1 . 2 . 7 2 4 . . . . . 1 2 1 1 . . . . . . . 5 1 . . .
W 54 1 3 1 25 1 1 . . . 1 1 2 6 . . . . . 3 1 . . 6 2 . . . . . . . . . . . .
k 44 3 . 3 8 . . . 1 . . . . 12 1 3 . . . . . . . 1 . . 2 2 . . . . . 5 1 . 2
F 36 1 . . 1 . . . . 2 4 . . . . . 1 . . . . . . 3 1 . . 19 1 . 2 . 1 . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 18582 2046 234 839 695 646 919 62 271 212 400 583 181 372 216 1243 416 483 44 431 303 199 121 1153 554 54 866 1053 217 377 271 558 1122 1074 269 36 62
Next-symbol probability (× 99):
TT TT TT C O 8 E D A Q S T H R 2 P G m n k r s a i U J W X Y x y u v B q p F 4
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
G 4.060 1243 99 7 . . 9 9 6 . 5 1 2 6 3 6 2 2 . . . . 1 . . 5 . . 4 5 . . . . 2 18 5 . 2
C 3.969 234 99 1 . 1 17 1 15 1 1 3 3 6 2 9 3 . . 1 . 3 3 1 1 11 2 . 1 2 4 7 . . . . . 1 .
H 3.960 583 99 1 4 . . . . . . 1 4 . . . . 10 4 7 . 8 2 . . 6 9 1 3 4 5 6 4 17 . . . . .
s 3.936 303 99 8 . 2 3 1 1 . . 1 3 1 . . 2 7 6 4 . 4 4 . . 16 4 . 16 10 1 . . 1 . 3 1 . .
D 3.916 919 99 2 4 . . 1 . 1 . 1 2 . . . . 11 8 13 1 6 1 . . 3 6 2 2 2 7 12 3 12 . . . . .
r 3.900 431 99 12 . 2 2 1 . 1 1 3 4 . . 2 1 7 1 1 . 3 4 . . 17 4 . 16 10 . . . . 1 5 2 . .
v 3.854 558 99 12 . . 6 9 1 . 5 2 3 2 3 3 1 2 . . . . 1 . . 6 . . 6 5 . . . . 1 22 6 . 1
u 3.808 271 99 8 . 1 7 12 2 . 7 1 3 4 4 4 2 2 . . . . 1 . . 6 . . 3 2 . . . . 1 23 6 . 1
B 3.785 1122 99 8 . . 7 6 2 . 8 2 1 4 2 4 2 2 . . . . 1 . . 5 . . 3 5 . . . . 1 28 7 . 1
p 3.733 269 99 1 3 . . . . 1 . 1 2 . . . . 11 6 9 . 7 . . . 3 11 2 1 2 3 15 3 17 . . . . .
x 3.721 217 99 12 . . 6 16 1 . 4 1 3 2 9 2 1 1 . . . . 2 . . 7 . . 3 4 . . . . . 18 4 . 2
R 3.699 181 99 24 . 2 1 1 . 1 1 1 2 1 . . 1 4 9 5 2 4 5 . . 11 5 . 8 10 . . . . 1 1 . . .
8 3.643 695 99 9 . . . 2 1 1 1 1 2 . . . . . 14 8 2 18 2 . . 8 18 . 5 4 1 1 . . . 3 . . .
A 3.638 62 99 16 . 8 16 10 5 . 2 2 . 3 . 11 3 6 . . . . . 2 3 2 2 . . . . . . . 8 2 . . .
E 3.637 646 99 19 . 2 2 . 12 . 1 2 4 2 1 1 1 3 1 . . 1 3 . . 6 1 . 11 21 . . . . 2 2 . . .
q 3.636 1074 99 . 3 1 . 1 . 1 . . 2 . . . . 6 8 14 . 5 . . . 2 11 1 1 1 8 14 4 15 . . . . .
T 3.627 400 99 1 . 1 4 3 4 . . . . 2 1 1 3 15 . . 1 2 2 16 8 8 3 . . . . . . . 20 . . 1 .
y 3.608 377 99 10 . 1 4 9 1 . 5 1 2 1 3 3 1 1 . . . . 1 . . 5 1 . 4 6 . . . . 1 29 8 . 1
S 3.603 212 99 4 . . 2 2 3 . . . . 3 . . . 13 . . . 5 2 18 9 12 4 . . 1 . . . . 17 . . . .
n 3.573 483 99 15 . 2 6 1 . 1 1 3 8 . . 2 1 2 . . . 1 1 . 1 16 1 . 18 16 . . . . 1 3 1 . .
m 3.560 416 99 14 . 1 5 1 . . . 5 7 . . 4 1 3 . . . . 1 . . 13 . . 16 18 . . . . 1 4 1 . .
4 3.550 62 99 6 21 . . . 5 . . . . . . 3 3 6 . . . 2 24 2 8 . 3 3 2 . 2 3 2 2 . . 2 2 .
2 3.508 372 99 20 . 2 . . 1 1 . 1 1 . . . . 3 11 8 . 7 5 . . 21 8 . 3 3 . . . . 1 1 . . .
3.455 2046 99 10 . 35 5 3 2 . . 2 3 2 1 4 1 2 1 . . . 2 . . 7 1 . 8 9 . . . . 1 . . . .
P 3.299 216 99 3 . 2 1 . . . . 4 10 . . . . 6 1 . . 2 2 . . 17 3 . 8 32 . . 2 2 1 . . . .
k 3.212 44 99 7 . 7 18 . . . 2 . . . . 27 2 7 . . . . . . . 2 . . 5 5 . . . . . 11 2 . 5
U 3.136 1153 99 42 . 1 1 . 16 . 1 1 2 2 . . 1 4 1 1 . . 2 . . 2 . . 5 7 . . . . 3 3 1 . .
X 2.975 866 99 1 5 . 4 . 3 . . . . 1 . . 1 17 . . . 1 1 4 2 5 1 . . . . . 6 7 41 . . . .
Y 2.881 1053 99 1 3 . 5 . 2 . . . . 1 . 1 . 19 . . . 1 1 3 2 5 1 . . . . . 5 3 43 . . . .
W 2.780 54 99 2 6 2 46 2 2 . . . 2 2 4 11 . . . . . 6 2 . . 11 4 . . . . . . . . . . . .
F 2.463 36 99 3 . . 3 . . . . 6 11 . . . . . 3 . . . . . . 8 3 . . 52 3 . 6 . 3 . . . .
J 2.410 554 99 62 . 1 1 . 1 . 2 2 2 1 . 1 . 7 . . . . 2 . . 2 . . 2 3 . . . . 3 6 1 . .
O 2.362 839 99 6 . . 2 . 41 . . . . 35 . 1 5 2 . . . . . 1 1 . . . 1 . . . . . 1 1 . 1 .
i 2.053 121 99 1 3 1 . . . . . . . . . 1 . 61 . . . 1 2 . . 1 2 1 . . . . 15 7 5 . . . .
Q 1.941 271 99 3 1 . 2 70 . . . . . . . . 8 . . . . . . 3 1 1 . . 1 1 . 2 . . 1 1 . 2 .
a 1.893 199 99 . 1 . . . . . . . . . . . . 62 . . . . . . . . 2 . . . . . 15 10 4 . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.436 18582 99 11 1 4 4 3 5 0 1 1 2 3 1 2 1 7 2 3 0 2 2 1 1 6 3 0 5 6 1 2 1 3 6 6 1 0 0
Previous-symbol probability (× 99):
TT C O 8 E D A Q S T H R 2 P G m n k r s a i U J W X Y x y u v B q p F 4
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
11 10 2 85 16 8 5 2 . 15 13 7 11 20 9 3 5 2 5 1 10 1 2 13 3 7 19 17 . 1 . . 1 . . 17 10
C 1 . . . 6 . 4 3 1 3 2 3 2 6 3 . . . . 1 2 1 2 2 1 . . . 5 4 . . . . . 6 .
O 4 2 1 . 2 . 37 . 1 . . 50 . 2 21 1 . . . . . 3 4 . . . 1 . 1 1 . . 1 1 . 22 2
8 4 3 . . . 2 1 14 3 2 3 . 1 . . . 23 11 25 29 5 . . 5 22 . 4 2 2 1 1 1 . 2 1 . .
E 3 6 . 2 1 . 8 . 2 5 7 2 4 2 2 2 1 1 5 2 6 . . 3 1 . 8 13 . . . . 1 1 . 6 .
D 5 1 17 . . 1 . 18 . 2 4 . 1 . . 8 17 24 18 12 3 . . 3 9 35 2 2 31 28 11 20 . . . . .
A 0 . . 1 1 1 . . . . . . . 2 1 . . . . . . . 2 . . . . . . . . . . . . . .
Q 1 . 1 . 1 29 . . . . . . . . 11 . . . . . . 3 2 . . 2 . . . 2 . . . . . 14 .
S 1 . . . 1 1 1 2 . . . 1 1 . . 2 . . 2 2 1 19 16 2 2 . . . . . . . 3 . . . .
T 2 . . 1 2 2 2 . . . . 1 2 2 6 5 . . 9 2 3 33 25 3 3 . . . . . . . 7 . . 8 .
H 3 . 11 . . . . 3 . 2 6 . 1 . . 5 5 9 2 10 3 . . 3 10 15 2 2 14 10 9 18 . . . . .
R 1 2 . . . . . 3 . . 1 . . . . 1 4 2 7 2 3 . . 2 2 . 2 2 . . . . . . . . .
2 2 4 . 1 . . . 5 . 1 1 . 1 . . 1 10 6 2 6 6 . 1 7 5 . 1 1 . . . . . . . . .
P 1 . . 1 . . . . . 4 5 . . . . 1 . . . 1 2 . . 3 1 . 2 7 . . 2 1 . . . . .
G 7 4 1 1 17 16 8 2 21 8 5 12 20 21 9 2 . . 2 . 5 1 2 5 . . 6 5 . . . . 2 21 21 6 32
m 2 3 . . 3 1 . . . 10 7 . 1 4 1 1 . . . . 2 1 . 5 . . 8 7 . . . . 1 2 1 3 .
n 3 4 . 1 4 1 . 5 2 7 9 . 1 3 2 1 . . . 1 2 . 3 7 1 2 10 7 . . . . 1 1 1 . .
k 0 . . . 1 . . . . . . . . 3 . . . . . . . . . . . . . . . . . . . . . . 3
r 2 2 . 1 1 . . 6 1 6 4 . 1 2 2 2 1 1 5 3 6 . 1 6 3 2 8 4 . . . . 1 2 3 3 .
s 2 1 . 1 1 . . . . 1 2 1 . . 3 2 4 2 2 3 4 . . 4 2 . 6 3 1 . . . . 1 1 . 2
a 1 . 1 . . . . . . . . . . . . 10 . . . . . . . . 1 2 . . . . 11 4 1 . . . .
i 1 . 2 . . . . . . . . . . . . 6 . . . . 1 . . . . 2 . . . . 7 1 1 . . . .
U 6 24 1 1 1 1 20 3 4 7 7 4 2 1 3 4 1 1 . 1 9 . . 2 1 6 7 8 . . . . 3 3 6 11 .
J 3 17 . 1 1 . 1 . 4 4 2 1 1 1 . 3 . . . . 4 . . 1 . . 1 2 . . . . 1 3 2 . .
W 0 . 1 . 4 . . . . . . . 1 2 . . . . . 1 . . . 1 . . . . . . . . . . . . .
X 5 . 18 . 5 . 3 . . . . 2 . 1 3 12 . . 2 1 4 17 13 4 1 . . . . . 19 10 32 . . 3 2
Y 6 . 15 . 7 . 3 2 . . . 2 1 4 2 16 . . 2 2 3 16 17 5 2 2 . . . . 20 6 41 . . . .
x 1 1 . . 2 5 . . 3 1 1 1 10 1 1 . . . . . 1 . . 1 . . 1 1 . . . . . 4 3 . 8
y 2 2 . . 2 5 . . 7 2 2 1 7 3 1 . . . . . 1 . 1 2 1 . 2 2 . . . . . 10 12 . 3
u 1 1 . . 3 5 1 . 7 2 2 2 6 3 2 . . . . . 1 . . 1 . . 1 1 . . . . . 6 6 . 3
v 3 3 . . 5 8 1 2 10 4 4 2 10 5 3 1 . . . . 2 . 2 3 . . 4 3 . . . . 1 12 12 . 11
B 6 4 2 . 11 10 3 2 31 8 3 7 14 12 12 2 . . . 1 3 . 2 5 . . 4 5 . . . . 1 30 28 . 24
q 6 . 14 1 . 1 . 24 . . 4 . . . . 5 20 32 9 12 1 . . 2 22 13 1 1 40 40 15 29 . . . . .
p 1 . 4 . . . . 5 . 1 1 . 1 . . 2 4 5 2 4 . . . 1 6 9 . 1 3 11 3 8 . . . . .
F 0 . . . . . . . . 1 1 . . . . . . . . . . . . . . . . 2 . . 1 . . . . . .
4 0 . 6 . . . . . . . . . . 1 1 . . . . . 5 . 4 . . 4 . . . 1 . . . . . 3 .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.703
Next-symbol entropy:
TT TT C O 8 E D A Q S T H R 2 P G m n k r s a i U J W X Y x y u v B q p F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 4.060 1243 0.270 0.015 0.037 0.322 0.305 0.247 0.008 0.206 0.088 0.092 0.236 0.148 0.251 0.092 0.117 0.008 . 0.008 0.015 0.077 0.015 0.021 0.216 . . 0.189 0.206 0.008 . . . 0.099 0.445 0.206 0.015 0.096
C 3.969 234 0.059 . 0.059 0.440 0.081 0.410 0.059 0.059 0.136 0.151 0.254 0.100 0.321 0.136 . 0.034 0.059 . 0.136 0.136 0.081 0.059 0.352 0.100 . 0.081 0.119 0.194 0.265 . . . 0.034 . 0.059 .
H 3.960 583 0.085 0.195 0.016 0.016 0.028 0.016 0.028 . 0.049 0.184 . 0.016 0.016 . 0.334 0.184 0.277 0.016 0.285 0.101 . . 0.244 0.321 0.085 0.142 0.200 0.220 0.257 0.195 0.434 0.016 . . . .
s 3.936 303 0.297 . 0.126 0.151 0.048 0.066 . . 0.066 0.138 0.066 . 0.027 0.126 0.275 0.242 0.184 0.027 0.184 0.174 0.027 . 0.429 0.174 . 0.425 0.336 0.048 0.027 . 0.048 . 0.151 0.048 . 0.027
D 3.916 919 0.092 0.200 0.034 0.011 0.041 . 0.076 . 0.041 0.106 . 0.019 . . 0.354 0.283 0.380 0.060 0.237 0.071 . . 0.161 0.234 0.116 0.097 0.129 0.275 0.361 0.161 0.375 . . . . .
r 3.900 431 0.364 . 0.097 0.126 0.050 0.036 0.063 0.050 0.144 0.184 . 0.020 0.097 0.075 0.262 0.063 0.063 0.036 0.135 0.191 . 0.020 0.439 0.184 0.020 0.426 0.327 . . 0.020 . 0.086 0.206 0.097 0.020 .
v 3.854 558 0.373 0.016 . 0.255 0.315 0.079 0.016 0.211 0.096 0.140 0.096 0.166 0.160 0.079 0.126 . 0.016 . 0.016 0.070 0.016 0.029 0.232 . . 0.237 0.222 . . . . 0.079 0.485 0.241 . 0.079
u 3.808 271 0.294 . 0.052 0.269 0.370 0.122 . 0.269 0.090 0.136 0.188 0.188 0.176 0.106 0.106 . . . . 0.090 . . 0.241 . . 0.136 0.122 . . . . 0.072 0.489 0.241 . 0.052
B 3.785 1122 0.296 0.029 0.016 0.259 0.238 0.119 0.009 0.282 0.096 0.075 0.177 0.126 0.186 0.126 0.100 0.016 . . 0.035 0.051 . 0.023 0.208 0.016 . 0.156 0.208 . . . 0.009 0.065 0.517 0.265 . 0.083
p 3.733 269 0.072 0.164 . 0.030 0.030 . 0.072 . 0.053 0.122 . 0.030 . . 0.346 0.232 0.311 0.030 0.261 0.030 . . 0.151 0.359 0.107 0.072 0.122 0.137 0.414 0.151 0.436 . . . . .
x 3.721 217 0.374 . 0.036 0.255 0.425 0.085 . 0.176 0.062 0.143 0.106 0.308 0.106 0.062 0.062 0.036 . . . 0.106 . . 0.277 . . 0.160 0.176 . . . . . 0.450 0.190 . 0.125
R 3.699 181 0.493 . 0.122 0.072 0.072 . 0.072 0.041 0.041 0.122 0.041 . . 0.041 0.199 0.309 0.215 0.098 0.199 0.215 . . 0.361 0.215 . 0.286 0.341 . . . . 0.072 0.072 . . .
8 3.643 695 0.311 0.014 . . 0.095 0.074 0.081 0.067 0.051 0.101 0.014 0.024 0.014 . . 0.399 0.290 0.095 0.445 0.119 . . 0.286 0.444 . 0.209 0.173 0.043 0.043 0.034 0.034 0.024 0.137 0.024 . .
A 3.638 62 0.425 . 0.293 0.425 0.326 0.211 . 0.096 0.096 . 0.160 . 0.355 0.160 0.255 . . . . . 0.096 0.160 0.096 0.096 . . . . . . . 0.293 0.096 . . .
E 3.637 646 0.460 0.014 0.132 0.093 0.036 0.368 . 0.054 0.100 0.196 0.093 0.071 0.063 0.054 0.155 0.063 0.036 0.026 0.071 0.144 . . 0.236 0.071 . 0.355 0.477 . 0.014 . . 0.113 0.100 0.014 0.026 .
q 3.636 1074 0.036 0.158 0.042 . 0.042 . 0.086 . 0.009 0.099 . . . . 0.250 0.290 0.406 0.030 0.212 0.030 . . 0.119 0.356 0.047 0.053 0.072 0.294 0.401 0.180 0.416 0.009 . . . .
T 3.627 400 0.091 . 0.079 0.186 0.161 0.194 . . 0.022 0.022 0.113 0.066 0.091 0.152 0.417 . 0.022 0.066 0.113 0.123 0.429 0.286 0.286 0.169 . 0.022 . . . . . 0.467 . . 0.053 .
y 3.608 377 0.334 . 0.055 0.202 0.313 0.070 . 0.225 0.083 0.107 0.083 0.168 0.149 0.055 0.083 . . . . 0.040 . 0.023 0.225 0.055 . 0.176 0.246 . . . . 0.055 0.520 0.302 . 0.040
S 3.603 212 0.193 . 0.036 0.108 0.127 0.146 0.036 0.036 . 0.036 0.146 0.036 0.036 . 0.386 0.036 0.036 0.036 0.208 0.108 0.449 0.312 0.364 0.193 . . 0.063 . . . . 0.434 0.036 . . .
n 3.573 483 0.412 0.018 0.098 0.238 0.057 . 0.046 0.068 0.148 0.284 0.018 0.018 0.116 0.068 0.124 0.018 0.018 . 0.046 0.079 . 0.057 0.422 0.046 0.018 0.443 0.420 . 0.018 . . 0.079 0.148 0.046 . .
m 3.560 416 0.403 0.021 0.051 0.217 0.064 0.037 . 0.021 0.224 0.274 0.037 0.021 0.173 0.051 0.148 . . . 0.037 0.077 0.037 . 0.386 0.037 . 0.424 0.450 . . . . 0.088 0.196 0.064 0.021 .
4 3.550 62 0.255 0.473 . . . 0.211 . . . . . . 0.160 0.160 0.255 . . . 0.096 0.495 0.096 0.293 . 0.160 0.160 0.096 . 0.096 0.160 0.096 0.096 . . 0.096 0.096 .
2 3.508 372 0.470 0.023 0.108 . 0.023 0.070 0.056 . 0.041 0.070 0.023 0.023 . 0.023 0.140 0.351 0.299 0.023 0.281 0.211 0.023 0.023 0.477 0.287 . 0.150 0.140 . . 0.023 . 0.056 0.070 0.023 . .
3.455 2046 0.338 0.021 0.530 0.228 0.135 0.123 0.005 . 0.094 0.138 0.117 0.068 0.173 0.063 0.096 0.068 0.031 0.010 0.021 0.092 0.010 0.014 0.275 0.055 0.018 0.296 0.311 0.005 0.014 . 0.005 0.052 . . 0.025 0.025
P 3.299 216 0.160 0.036 0.126 0.086 . . . . 0.176 0.327 . . . . 0.232 0.063 0.036 . 0.126 0.126 . . 0.441 0.160 . 0.289 0.527 0.036 0.036 0.126 0.107 0.086 . . . .
k 3.212 44 0.264 . 0.264 0.447 . . . 0.124 . . . . 0.511 0.124 0.264 . . . . . . . 0.124 . . 0.203 0.203 . . . . . 0.357 0.124 . 0.203
U 3.136 1153 0.525 0.016 0.055 0.055 0.034 0.423 0.016 0.064 0.077 0.127 0.120 0.028 0.034 0.039 0.194 0.039 0.045 . 0.028 0.130 . . 0.094 0.022 0.022 0.227 0.281 0.009 . . 0.009 0.150 0.159 0.086 0.028 .
X 2.975 866 0.043 0.212 0.020 0.176 0.011 0.152 . . . . 0.080 . 0.028 0.050 0.438 . . 0.011 0.043 0.091 0.187 0.106 0.215 0.062 . . . . . 0.241 0.258 0.527 . . 0.011 0.011
Y 2.881 1053 0.048 0.167 0.010 0.212 . 0.124 0.010 . . 0.017 0.083 0.017 0.083 0.037 0.461 . 0.010 0.010 0.053 0.064 0.153 0.113 0.222 0.069 0.010 . . 0.010 . 0.222 0.157 0.522 . . . .
W 2.780 54 0.107 0.232 0.107 0.514 0.107 0.107 . . . 0.107 0.107 0.176 0.352 . . . . . 0.232 0.107 . . 0.352 0.176 . . . . . . . . . . . .
F 2.463 36 0.144 . . 0.144 . . . . 0.232 0.352 . . . . . 0.144 . . . . . . 0.299 0.144 . . 0.487 0.144 . 0.232 . 0.144 . . . .
J 2.410 554 0.426 . 0.061 0.051 . 0.088 . 0.120 0.097 0.097 0.041 0.029 0.061 . 0.261 0.029 0.029 . 0.029 0.120 . . 0.097 0.029 . 0.127 0.154 . . . . 0.141 0.252 0.071 . .
O 2.362 839 0.246 0.029 . 0.093 . 0.527 . 0.037 0.012 . 0.530 . 0.058 0.226 0.099 . 0.012 . . 0.012 0.051 0.044 0.012 . . 0.051 0.037 0.021 0.029 . 0.012 0.082 0.070 . 0.064 0.012
i 2.053 121 0.057 0.163 0.057 . . . . . . . . . 0.057 . 0.434 . . . 0.057 0.132 . . 0.057 0.098 0.057 . . . . 0.409 0.259 0.215 . . . .
Q 1.941 271 0.163 0.052 . 0.106 0.356 . . . . 0.030 . . . 0.302 0.030 0.030 . . 0.030 . 0.136 0.052 0.052 0.030 0.030 0.052 0.052 0.030 0.122 . . 0.090 0.090 . 0.106 .
a 1.893 199 0.038 0.067 0.038 0.038 . . . . . 0.038 . . . . 0.421 . 0.038 . . 0.038 . . 0.038 0.113 0.038 . 0.038 . . 0.412 0.333 0.202 . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.436 18582 0.350 0.079 0.202 0.177 0.168 0.215 0.027 0.089 0.074 0.119 0.157 0.065 0.113 0.075 0.261 0.123 0.137 0.021 0.126 0.097 0.070 0.047 0.249 0.151 0.024 0.206 0.235 0.075 0.114 0.089 0.152 0.245 0.238 0.088 0.017 0.027
Big problems are
"Q" = "4O" ("4OE")
"O" ("OD", "OH)
"a" = "DZ" ("DZG")
"i" = "HZ" ("HZG")
"J" = "AE" ("J ").
We might also condense "XB" = "SC8G" and "YB" = "TC8G"
We can supress spaces after "OE" and "AE", but must remember to insert them back when generating the Voynichese:
40% after "OE", 60% after "AE".
OK, let's supress all spaces, then worry about them later:
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/ //g' \
\
-e 's/4OD/q/g' \
-e 's/4OH/p/g' \
-e 's/AM/m/g' \
-e 's/AN/n/g' \
-e 's/AK/k/g' \
-e 's/AR/r/g' \
-e 's/OR/s/g' \
-e 's/OE/U/g' \
-e 's/AE/J/g' \
-e 's/4O/o/g' \
-e 's/4U/u/g' \
-e 's/SC8G/d/g' \
-e 's/TC8G/b/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/CCG/x/g' \
-e 's/CC8G/y/g' \
-e 's/CG/v/g' \
-e 's/C8G/w/g' \
-e 's/8G/z/g' \
-e 's/CC/W/g' \
-e 's/DZ/a/g' \
-e 's/HZ/i/g' \
-e 's/[ZMNKLI]//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDASTHR2PGqpmnkrsUJouWXYdbxyvwzaiF4'
Digraph counts:
TT C O 8 E D A S T H R 2 P G q p m n k r s U J o u W X Y d b x y v w z a i F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 1238 . 2 94 118 107 74 1 18 19 70 35 78 19 26 225 59 1 . 1 2 15 62 . 11 44 . 37 43 14 15 1 . . . 21 2 3 1 20
U 1155 . 4 67 44 25 218 2 25 50 48 10 25 15 58 39 16 14 8 1 5 42 78 5 3 6 5 74 85 55 78 1 2 . 1 35 2 1 5 3
q 1081 . 34 8 . 6 . 15 1 18 . . . . 68 . . 85 157 4 52 4 24 122 . . 8 2 5 7 7 87 154 45 167 1 . . . .
D 919 . 41 7 2 5 . 11 5 19 . 3 . . 104 . . 71 119 8 53 10 31 52 . . 18 11 15 5 9 68 107 30 115 . . . . .
O 836 . 3 8 15 1 350 . 1 1 296 . 14 45 18 9 . . 1 . . 1 7 . 3 1 . 9 9 2 4 2 3 . 1 11 6 6 8 1
8 691 . 1 14 5 17 8 9 8 14 4 2 5 . . 19 2 98 55 11 125 20 61 125 2 4 . 13 14 24 13 4 4 3 3 2 . . 1 1
Y 592 . 36 4 51 . 24 1 . 2 14 2 14 5 207 . . . 1 1 8 10 57 11 . . 1 1 . . . 1 . 55 33 . 32 21 . .
H 583 . 25 4 1 2 1 2 4 23 . 1 1 . 59 . . 23 43 1 45 10 38 55 . . 8 7 12 10 15 30 38 25 99 1 . . . .
w 558 . 1 68 36 51 8 1 9 15 9 19 18 7 13 126 33 . 1 . 1 6 31 . 8 19 . 16 16 16 13 . . . . 7 1 2 . 7
J 554 . 1 27 61 14 11 1 19 28 9 7 32 5 45 35 6 2 2 1 2 20 42 3 3 9 . 30 31 33 41 1 . . 1 27 . 1 2 2
X 507 . 42 5 31 1 27 . . . 11 . 3 6 150 . . . . 1 5 13 43 8 . . . . . . . . . 51 57 . 35 16 1 1
n 483 . 1 80 28 4 . 3 14 37 1 1 10 5 11 14 3 1 1 . 3 7 77 3 1 4 1 59 47 27 29 . 1 . . 6 . 4 . .
b 461 1 3 35 24 36 11 . 6 5 14 16 16 9 3 130 35 2 . . 1 4 22 2 6 33 . 7 19 6 6 . . . . 3 . 1 . 5
E 452 . 1 22 15 6 50 . 10 25 8 7 10 4 14 8 1 3 2 2 5 18 41 5 . . 1 34 55 31 59 . 1 . . 12 . . 2 .
r 431 . . 57 10 3 2 4 12 17 . 1 7 5 29 20 7 4 4 2 11 18 75 17 1 2 1 41 28 29 15 . . 1 . 6 . 1 1 .
m 416 . 1 63 21 4 2 . 22 30 2 1 15 3 12 18 4 . . . 2 5 55 2 . 1 . 45 59 22 18 . . . . 6 2 . 1 .
T 400 . . 10 16 13 17 . 2 1 8 4 6 12 62 . . . 1 4 8 9 31 14 . . . 1 . . . . . . . 81 66 31 3 .
y 378 . . 41 17 34 5 . 5 7 5 13 11 3 5 112 32 . . . . 2 20 3 9 11 . 8 11 6 12 . . . . 3 . 1 . 2
2 372 . 1 26 2 2 4 3 3 5 6 1 5 2 11 4 1 49 33 1 30 19 91 35 . . . 12 8 6 6 . . 1 . 3 1 1 . .
d 359 . . 30 18 8 3 . 6 4 9 1 10 8 5 130 31 . . . 1 2 19 . 10 24 . 9 6 6 7 . . . . 2 . 2 . 8
s 305 . . 33 9 2 3 . 3 8 3 . 1 7 22 9 2 18 12 1 13 11 50 11 . . . 29 26 20 5 2 1 . 2 . 1 . . 1
z 305 . 1 27 32 21 11 1 6 4 20 10 20 9 11 61 12 . . . 3 2 12 . 5 6 . 6 9 1 6 . . . 1 6 . . . 2
p 271 . 10 . 1 1 . 3 2 6 . 2 . . 29 . . 15 24 1 18 1 8 31 . . 4 2 3 2 4 7 42 9 46 . . . . .
v 271 . . 24 19 33 6 . 4 7 11 11 10 5 5 64 16 . . . . 4 16 . 4 13 . 6 6 1 . . . . . 3 . . . 3
C 234 . . 2 41 3 35 2 6 7 15 5 22 6 . 2 . 1 2 . 6 6 27 4 . 1 . 3 2 . 3 10 16 . . . 3 2 2 .
x 218 . . 28 14 35 3 . 2 6 4 19 4 2 2 40 9 1 . . . 4 16 . 1 7 . 3 5 4 3 . . . . . . . 1 5
P 216 . 2 9 3 . . . 8 22 . . . . 12 . . 2 1 . 5 5 39 7 . . . 7 23 10 47 1 1 5 4 3 . . . .
S 212 . . 8 5 5 6 1 . 1 6 1 1 . 28 1 . 1 1 1 10 4 26 9 . 1 . . 2 . . . . . . 36 39 19 . .
a 192 . 2 . 1 . . . . 1 . . . . 124 . . . 1 . . 1 1 4 . . 1 1 1 . . . . 26 19 9 . . . .
u 192 . 1 12 1 3 31 . 4 5 4 4 3 3 9 3 . 4 2 . 3 1 11 2 . 5 . 22 25 11 21 . . . . 2 . . . .
R 179 . . 7 2 3 . 2 3 4 2 1 2 3 9 2 . 19 12 3 8 10 25 15 . 1 . 10 19 7 8 . . . . 2 . . . .
i 119 . 3 2 . . . . . . . . 1 . 74 . . . . . 1 3 1 2 . . 1 . . . . . . 17 8 6 . . . .
o 69 . 2 2 6 . . . . 2 . . . 23 1 4 . 1 . . 1 1 4 1 . . 1 1 1 1 1 1 6 . . 4 . . 5 .
4 63 . 13 . . . 5 . . . 1 . 2 2 4 . 1 . . . 1 16 . 2 . . 2 . . 1 . 1 2 1 1 . 1 5 2 .
A 62 . . 5 9 6 3 . 2 1 2 . 8 2 5 1 . . . . . . 4 1 1 . . . 2 1 . . . . . 6 1 2 . .
W 52 . 3 1 24 1 1 . . 1 1 2 6 . . . . . . . 3 1 6 2 . . . . . . . . . . . . . . . .
k 44 . . 6 8 . . . . . . . 12 1 3 5 1 . . . . . 1 . 1 . . 1 1 1 1 . . . . . . . . 2
F 36 . . . 1 . . . 2 5 . . . . . . . 1 . . . . 3 1 . . . . 4 . 15 1 . 2 . 1 . . . .
1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 15507 1 234 836 691 452 919 62 212 400 583 179 372 216 1238 1081 271 416 483 44 431 305 1155 554 69 192 52 507 592 359 461 218 378 271 558 305 192 119 36 63
Next-symbol probability (× 99):
TT TT TT C O 8 E D A S T H R 2 P G q p m n k r s U J o u W X Y d b x y v w z a i F 4
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
J 4.357 554 99 . . 5 11 3 2 . 3 5 2 1 6 1 8 6 1 . . . . 4 8 1 1 2 . 5 6 6 7 . . . . 5 . . . .
U 4.276 1155 99 . . 6 4 2 19 . 2 4 4 1 2 1 5 3 1 1 1 . . 4 7 . . 1 . 6 7 5 7 . . . . 3 . . . .
G 4.131 1238 99 . . 8 9 9 6 . 1 2 6 3 6 2 2 18 5 . . . . 1 5 . 1 4 . 3 3 1 1 . . . . 2 . . . 2
R 4.129 179 99 . . 4 1 2 . 1 2 2 1 1 1 2 5 1 . 11 7 2 4 6 14 8 . 1 . 6 11 4 4 . . . . 1 . . . .
E 4.110 452 99 . . 5 3 1 11 . 2 5 2 2 2 1 3 2 . 1 . . 1 4 9 1 . . . 7 12 7 13 . . . . 3 . . . .
r 4.087 431 99 . . 13 2 1 . 1 3 4 . . 2 1 7 5 2 1 1 . 3 4 17 4 . . . 9 6 7 3 . . . . 1 . . . .
s 4.078 305 99 . . 11 3 1 1 . 1 3 1 . . 2 7 3 1 6 4 . 4 4 16 4 . . . 9 8 6 2 1 . . 1 . . . . .
z 4.077 305 99 . . 9 10 7 4 . 2 1 6 3 6 3 4 20 4 . . . 1 1 4 . 2 2 . 2 3 . 2 . . . . 2 . . . 1
w 4.011 558 99 . . 12 6 9 1 . 2 3 2 3 3 1 2 22 6 . . . . 1 6 . 1 3 . 3 3 3 2 . . . . 1 . . . 1
H 4.007 583 99 . 4 1 . . . . 1 4 . . . . 10 . . 4 7 . 8 2 6 9 . . 1 1 2 2 3 5 6 4 17 . . . . .
u 3.977 192 99 . 1 6 1 2 16 . 2 3 2 2 2 2 5 2 . 2 1 . 2 1 6 1 . 3 . 11 13 6 11 . . . . 1 . . . .
C 3.957 234 99 . . 1 17 1 15 1 3 3 6 2 9 3 . 1 . . 1 . 3 3 11 2 . . . 1 1 . 1 4 7 . . . 1 1 1 .
D 3.931 919 99 . 4 1 . 1 . 1 1 2 . . . . 11 . . 8 13 1 6 1 3 6 . . 2 1 2 1 1 7 12 3 12 . . . . .
b 3.876 461 99 . 1 8 5 8 2 . 1 1 3 3 3 2 1 28 8 . . . . 1 5 . 1 7 . 2 4 1 1 . . . . 1 . . . 1
A 3.865 62 99 . . 8 14 10 5 . 3 2 3 . 13 3 8 2 . . . . . . 6 2 2 . . . 3 2 . . . . . 10 2 3 . .
8 3.847 691 99 . . 2 1 2 1 1 1 2 1 . 1 . . 3 . 14 8 2 18 3 9 18 . 1 . 2 2 3 2 1 1 . . . . . . .
v 3.840 271 99 . . 9 7 12 2 . 1 3 4 4 4 2 2 23 6 . . . . 1 6 . 1 5 . 2 2 . . . . . . 1 . . . 1
n 3.821 483 99 . . 16 6 1 . 1 3 8 . . 2 1 2 3 1 . . . 1 1 16 1 . 1 . 12 10 6 6 . . . . 1 . 1 . .
m 3.811 416 99 . . 15 5 1 . . 5 7 . . 4 1 3 4 1 . . . . 1 13 . . . . 11 14 5 4 . . . . 1 . . . .
x 3.804 218 99 . . 13 6 16 1 . 1 3 2 9 2 1 1 18 4 . . . . 2 7 . . 3 . 1 2 2 1 . . . . . . . . 2
2 3.769 372 99 . . 7 1 1 1 1 1 1 2 . 1 1 3 1 . 13 9 . 8 5 24 9 . . . 3 2 2 2 . . . . 1 . . . .
p 3.753 271 99 . 4 . . . . 1 1 2 . 1 . . 11 . . 5 9 . 7 . 3 11 . . 1 1 1 1 1 3 15 3 17 . . . . .
y 3.725 378 99 . . 11 4 9 1 . 1 2 1 3 3 1 1 29 8 . . . . 1 5 1 2 3 . 2 3 2 3 . . . . 1 . . . 1
q 3.644 1081 99 . 3 1 . 1 . 1 . 2 . . . . 6 . . 8 14 . 5 . 2 11 . . 1 . . 1 1 8 14 4 15 . . . . .
P 3.617 216 99 . 1 4 1 . . . 4 10 . . . . 6 . . 1 . . 2 2 18 3 . . . 3 11 5 22 . . 2 2 1 . . . .
T 3.607 400 99 . . 2 4 3 4 . . . 2 1 1 3 15 . . . . 1 2 2 8 3 . . . . . . . . . . . 20 16 8 1 .
S 3.578 212 99 . . 4 2 2 3 . . . 3 . . . 13 . . . . . 5 2 12 4 . . . . 1 . . . . . . 17 18 9 . .
d 3.553 359 99 . . 8 5 2 1 . 2 1 2 . 3 2 1 36 9 . . . . 1 5 . 3 7 . 2 2 2 2 . . . . 1 . 1 . 2
o 3.548 69 99 . 3 3 9 . . . . 3 . . . 33 1 6 . 1 . . 1 1 6 1 . . 1 1 1 1 1 1 9 . . 6 . . 7 .
4 3.512 63 99 . 20 . . . 8 . . . 2 . 3 3 6 . 2 . . . 2 25 . 3 . . 3 . . 2 . 2 3 2 2 . 2 8 3 .
X 3.374 507 99 . 8 1 6 . 5 . . . 2 . 1 1 29 . . . . . 1 3 8 2 . . . . . . . . . 10 11 . 7 3 . .
Y 3.344 592 99 . 6 1 9 . 4 . . . 2 . 2 1 35 . . . . . 1 2 10 2 . . . . . . . . . 9 6 . 5 4 . .
k 3.166 44 99 . . 13 18 . . . . . . . 27 2 7 11 2 . . . . . 2 . 2 . . 2 2 2 2 . . . . . . . . 5
F 2.754 36 99 . . . 3 . . . 6 14 . . . . . . . 3 . . . . 8 3 . . . . 11 . 41 3 . 6 . 3 . . . .
W 2.728 52 99 . 6 2 46 2 2 . . 2 2 4 11 . . . . . . . 6 2 11 4 . . . . . . . . . . . . . . . .
O 2.446 836 99 . . 1 2 . 41 . . . 35 . 2 5 2 1 . . . . . . 1 . . . . 1 1 . . . . . . 1 1 1 1 .
i 2.004 119 99 . 2 2 . . . . . . . . 1 . 62 . . . . . 1 2 1 2 . . 1 . . . . . . 14 7 5 . . . .
a 1.836 192 99 . 1 . 1 . . . . 1 . . . . 64 . . . 1 . . 1 1 2 . . 1 1 1 . . . . 13 10 5 . . . .
0.000 1 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.764 15507 99 0 1 5 4 3 6 0 1 3 4 1 2 1 8 7 2 3 3 0 3 2 7 4 0 1 0 3 4 2 3 1 2 2 4 2 1 1 0 0
Previous-symbol probability (× 99):
TT C O 8 E D A S T H R 2 P G q p m n k r s U J o u W X Y d b x y v w z a i F 4
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 .
C 1 . . . 6 1 4 3 3 2 3 3 6 3 . . . . . . 1 2 2 1 . 1 . 1 . . 1 5 4 . . . 2 2 6 .
O 5 . 1 1 2 . 38 . . . 50 . 4 21 1 1 . . . . . . 1 . 4 1 . 2 2 1 1 1 1 . . 4 3 5 22 2
8 4 . . 2 1 4 1 14 4 3 1 1 1 . . 2 1 23 11 25 29 6 5 22 3 2 . 3 2 7 3 2 1 1 1 1 . . 3 2
E 3 . . 3 2 1 5 . 5 6 1 4 3 2 1 1 . 1 . 5 1 6 4 1 . . 2 7 9 9 13 . . . . 4 . . 6 .
D 6 . 17 1 . 1 . 18 2 5 . 2 . . 8 . . 17 24 18 12 3 3 9 . . 34 2 3 1 2 31 28 11 20 . . . . .
A 0 . . 1 1 1 . . 1 . . . 2 1 . . . . . . . . . . 1 . . . . . . . . . . 2 1 2 . .
S 1 . . 1 1 1 1 2 . . 1 1 . . 2 . . . . 2 2 1 2 2 . 1 . . . . . . . . . 12 20 16 . .
T 3 . . 1 2 3 2 . 1 . 1 2 2 6 5 . . . . 9 2 3 3 3 . . . . . . . . . . . 26 34 26 8 .
H 4 . 11 . . . . 3 2 6 . 1 . . 5 . . 5 9 2 10 3 3 10 . . 15 1 2 3 3 14 10 9 18 . . . . .
R 1 . . 1 . 1 . 3 1 1 . 1 1 1 1 . . 5 2 7 2 3 2 3 . 1 . 2 3 2 2 . . . . 1 . . . .
2 2 . . 3 . . . 5 1 1 1 1 1 1 1 . . 12 7 2 7 6 8 6 . . . 2 1 2 1 . . . . 1 1 1 . .
P 1 . 1 1 . . . . 4 5 . . . . 1 . . . . . 1 2 3 1 . . . 1 4 3 10 . . 2 1 1 . . . .
G 8 . 1 11 17 23 8 2 8 5 12 19 21 9 2 21 22 . . 2 . 5 5 . 16 23 . 7 7 4 3 . . . . 7 1 2 3 31
q 7 . 14 1 . 1 . 24 . 4 . . . . 5 . . 20 32 9 12 1 2 22 . . 15 . 1 2 2 40 40 16 30 . . . . .
p 2 . 4 . . . . 5 1 1 . 1 . . 2 . . 4 5 2 4 . 1 6 . . 8 . 1 1 1 3 11 3 8 . . . . .
m 3 . . 7 3 1 . . 10 7 . 1 4 1 1 2 1 . . . . 2 5 . . 1 . 9 10 6 4 . . . . 2 1 . 3 .
n 3 . . 9 4 1 . 5 7 9 . 1 3 2 1 1 1 . . . 1 2 7 1 1 2 2 12 8 7 6 . . . . 2 . 3 . .
k 0 . . 1 1 . . . . . . . 3 . . . . . . . . . . . 1 . . . . . . . . . . . . . . 3
r 3 . . 7 1 1 . 6 6 4 . 1 2 2 2 2 3 1 1 5 3 6 6 3 1 1 2 8 5 8 3 . . . . 2 . 1 3 .
s 2 . . 4 1 . . . 1 2 1 . . 3 2 1 1 4 2 2 3 4 4 2 . . . 6 4 6 1 1 . . . . 1 . . 2
U 7 . 2 8 6 5 23 3 12 12 8 6 7 7 5 4 6 3 2 2 1 14 7 1 4 3 10 14 14 15 17 . 1 . . 11 1 1 14 5
J 4 . . 3 9 3 1 2 9 7 2 4 9 2 4 3 2 . . 2 . 6 4 1 4 5 . 6 5 9 9 . . . . 9 . 1 6 3
o 0 . 1 . 1 . . . . . . . . 11 . . . . . . . . . . . . 2 . . . . . 2 . . 1 . . 14 .
u 1 . . 1 . 1 3 . 2 1 1 2 1 1 1 . . 1 . . 1 . 1 . . 3 . 4 4 3 5 . . . . 1 . . . .
W 0 . 1 . 3 . . . . . . 1 2 . . . . . . . 1 . 1 . . . . . . . . . . . . . . . . .
X 3 . 18 1 4 . 3 . . . 2 . 1 3 12 . . . . 2 1 4 4 1 . . . . . . . . . 19 10 . 18 13 3 2
Y 4 . 15 . 7 . 3 2 . . 2 1 4 2 17 . . . . 2 2 3 5 2 . . 2 . . . . . . 20 6 . 17 17 . .
d 2 . . 4 3 2 . . 3 1 2 1 3 4 . 12 11 . . . . 1 2 . 14 12 . 2 1 2 2 . . . . 1 . 2 . 13
b 3 99 1 4 3 8 1 . 3 1 2 9 4 4 . 12 13 . . . . 1 2 . 9 17 . 1 3 2 1 . . . . 1 . 1 . 8
x 1 . . 3 2 8 . . 1 1 1 11 1 1 . 4 3 . . . . 1 1 . 1 4 . 1 1 1 1 . . . . . . . 3 8
y 2 . . 5 2 7 1 . 2 2 1 7 3 1 . 10 12 . . . . 1 2 1 13 6 . 2 2 2 3 . . . . 1 . 1 . 3
v 2 . . 3 3 7 1 . 2 2 2 6 3 2 . 6 6 . . . . 1 1 . 6 7 . 1 1 . . . . . . 1 . . . 5
w 4 . . 8 5 11 1 2 4 4 2 11 5 3 1 12 12 . . . . 2 3 . 11 10 . 3 3 4 3 . . . . 2 1 2 . 11
z 2 . . 3 5 5 1 2 3 1 3 6 5 4 1 6 4 . . . 1 1 1 . 7 3 . 1 2 . 1 . . . . 2 . . . 3
a 1 . 1 . . . . . . . . . . . 10 . . . . . . . . 1 . . 2 . . . . . . 9 3 3 . . . .
i 1 . 1 . . . . . . . . . . . 6 . . . . . . 1 . . . . 2 . . . . . . 6 1 2 . . . .
F 0 . . . . . . . 1 1 . . . . . . . . . . . . . . . . . . 1 . 3 . . 1 . . . . . .
4 0 . 6 . . . 1 . . . . . 1 1 . . . . . . . 5 . . . . 4 . . . . . 1 . . . 1 4 6 .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.863
Next-symbol entropy:
TT TT C O 8 E D A S T H R 2 P G q p m n k r s U J o u W X Y d b x y v w z a i F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
J 4.357 554 . 0.016 0.212 0.350 0.134 0.112 0.016 0.167 0.218 0.097 0.080 0.238 0.061 0.294 0.252 0.071 0.029 0.029 0.016 0.029 0.173 0.282 0.041 0.041 0.097 . 0.228 0.233 0.242 0.278 0.016 . . 0.016 0.212 . 0.016 0.029 0.029
U 4.276 1155 . 0.028 0.238 0.180 0.120 0.454 0.016 0.120 0.196 0.191 0.059 0.120 0.081 0.217 0.165 0.086 0.077 0.050 0.009 0.034 0.174 0.263 0.034 0.022 0.039 0.034 0.254 0.277 0.209 0.263 0.009 0.016 . 0.009 0.153 0.016 0.009 0.034 0.022
G 4.131 1238 . 0.015 0.282 0.323 0.305 0.243 0.008 0.089 0.092 0.234 0.145 0.251 0.092 0.117 0.447 0.209 0.008 . 0.008 0.015 0.077 0.216 . 0.061 0.171 . 0.151 0.168 0.073 0.077 0.008 . . . 0.100 0.015 0.021 0.008 0.096
R 4.129 179 . . 0.183 0.072 0.099 . 0.072 0.099 0.123 0.072 0.042 0.072 0.099 0.217 0.072 . 0.343 0.261 0.099 0.200 0.233 0.397 0.300 . 0.042 . 0.233 0.343 0.183 0.200 . . . . 0.072 . . . .
E 4.110 452 . 0.020 0.212 0.163 0.083 0.351 . 0.122 0.231 0.103 0.093 0.122 0.060 0.155 0.103 0.020 0.048 0.035 0.035 0.072 0.185 0.314 0.072 . . 0.020 0.281 0.370 0.265 0.383 . 0.020 . . 0.139 . . 0.035 .
r 4.087 431 . . 0.386 0.126 0.050 0.036 0.063 0.144 0.184 . 0.020 0.097 0.075 0.262 0.206 0.097 0.063 0.063 0.036 0.135 0.191 0.439 0.184 0.020 0.036 0.020 0.323 0.256 0.262 0.169 . . 0.020 . 0.086 . 0.020 0.020 .
s 4.078 305 . . 0.347 0.150 0.048 0.066 . 0.066 0.138 0.066 . 0.027 0.125 0.274 0.150 0.048 0.241 0.184 0.027 0.194 0.173 0.428 0.173 . . . 0.323 0.303 0.258 0.097 0.048 0.027 . 0.048 . 0.027 . . 0.027
z 4.077 305 . 0.027 0.310 0.341 0.266 0.173 0.027 0.111 0.082 0.258 0.162 0.258 0.150 0.173 0.464 0.184 . . . 0.066 0.048 0.184 . 0.097 0.111 . 0.111 0.150 0.027 0.111 . . . 0.027 0.111 . . . 0.048
w 4.011 558 . 0.016 0.370 0.255 0.315 0.088 0.016 0.096 0.140 0.096 0.166 0.160 0.079 0.126 0.485 0.241 . 0.016 . 0.016 0.070 0.232 . 0.088 0.166 . 0.147 0.147 0.147 0.126 . . . . 0.079 0.016 0.029 . 0.079
H 4.007 583 . 0.195 0.049 0.016 0.028 0.016 0.028 0.049 0.184 . 0.016 0.016 . 0.334 . . 0.184 0.277 0.016 0.285 0.101 0.257 0.321 . . 0.085 0.077 0.115 0.101 0.136 0.220 0.257 0.195 0.434 0.016 . . . .
u 3.977 192 . 0.040 0.250 0.040 0.094 0.425 . 0.116 0.137 0.116 0.116 0.094 0.094 0.207 0.094 . 0.116 0.069 . 0.094 0.040 0.236 0.069 . 0.137 . 0.358 0.383 0.236 0.349 . . . . 0.069 . . . .
C 3.957 234 . . 0.059 0.440 0.081 0.410 0.059 0.136 0.151 0.254 0.119 0.321 0.136 . 0.059 . 0.034 0.059 . 0.136 0.136 0.359 0.100 . 0.034 . 0.081 0.059 . 0.081 0.194 0.265 . . . 0.081 0.059 0.059 .
D 3.931 919 . 0.200 0.054 0.019 0.041 . 0.076 0.041 0.116 . 0.027 . . 0.356 . . 0.285 0.382 0.060 0.237 0.071 0.165 0.234 . . 0.111 0.076 0.097 0.041 0.065 0.278 0.361 0.161 0.375 . . . . .
b 3.876 461 0.019 0.047 0.282 0.222 0.287 0.129 . 0.082 0.071 0.153 0.168 0.168 0.111 0.047 0.515 0.282 0.034 . . 0.019 0.059 0.209 0.034 0.082 0.272 . 0.092 0.190 0.082 0.082 . . . . 0.047 . 0.019 . 0.071
A 3.865 62 . . 0.293 0.404 0.326 0.211 . 0.160 0.096 0.160 . 0.381 0.160 0.293 0.096 . . . . . . 0.255 0.096 0.096 . . . 0.160 0.096 . . . . . 0.326 0.096 0.160 . .
8 3.847 691 . 0.014 0.114 0.051 0.131 0.074 0.082 0.074 0.114 0.043 0.024 0.051 . . 0.143 0.024 0.400 0.291 0.095 0.446 0.148 0.309 0.446 0.024 0.043 . 0.108 0.114 0.168 0.108 0.043 0.043 0.034 0.034 0.024 . . 0.014 0.014
v 3.840 271 . . 0.310 0.269 0.370 0.122 . 0.090 0.136 0.188 0.188 0.176 0.106 0.106 0.492 0.241 . . . . 0.090 0.241 . 0.090 0.210 . 0.122 0.122 0.030 . . . . . 0.072 . . . 0.072
n 3.821 483 . 0.018 0.430 0.238 0.057 . 0.046 0.148 0.284 0.018 0.018 0.116 0.068 0.124 0.148 0.046 0.018 0.018 . 0.046 0.089 0.422 0.046 0.018 0.057 0.018 0.371 0.327 0.233 0.244 . 0.018 . . 0.079 . 0.057 . .
m 3.811 416 . 0.021 0.412 0.217 0.064 0.037 . 0.224 0.274 0.037 0.021 0.173 0.051 0.148 0.196 0.064 . . . 0.037 0.077 0.386 0.037 . 0.021 . 0.347 0.400 0.224 0.196 . . . . 0.088 0.037 . 0.021 .
x 3.804 218 . . 0.380 0.254 0.424 0.085 . 0.062 0.143 0.106 0.307 0.106 0.062 0.062 0.449 0.190 0.036 . . . 0.106 0.277 . 0.036 0.159 . 0.085 0.125 0.106 0.085 . . . . . . . 0.036 0.125
2 3.769 372 . 0.023 0.268 0.041 0.041 0.070 0.056 0.056 0.084 0.096 0.023 0.084 0.041 0.150 0.070 0.023 0.385 0.310 0.023 0.293 0.219 0.497 0.321 . . . 0.160 0.119 0.096 0.096 . . 0.023 . 0.056 0.023 0.023 . .
p 3.753 271 . 0.176 . 0.030 0.030 . 0.072 0.052 0.122 . 0.052 . . 0.345 . . 0.231 0.310 0.030 0.260 0.030 0.150 0.358 . . 0.090 0.052 0.072 0.052 0.090 0.136 0.417 0.163 0.434 . . . . .
y 3.725 378 . . 0.348 0.201 0.313 0.083 . 0.083 0.107 0.083 0.167 0.148 0.055 0.083 0.520 0.302 . . . . 0.040 0.224 0.055 0.128 0.148 . 0.118 0.148 0.095 0.158 . . . . 0.055 . 0.023 . 0.040
q 3.644 1081 . 0.157 0.052 . 0.042 . 0.086 0.009 0.098 . . . . 0.251 . . 0.288 0.404 0.030 0.211 0.030 0.122 0.355 . . 0.052 0.017 0.036 0.047 0.047 0.293 0.401 0.191 0.416 0.009 . . . .
P 3.617 216 . 0.063 0.191 0.086 . . . 0.176 0.336 . . . . 0.232 . . 0.063 0.036 . 0.126 0.126 0.446 0.160 . . . 0.160 0.344 0.205 0.479 0.036 0.036 0.126 0.107 0.086 . . . .
T 3.607 400 . . 0.133 0.186 0.161 0.194 . 0.038 0.022 0.113 0.066 0.091 0.152 0.417 . . . 0.022 0.066 0.113 0.123 0.286 0.169 . . . 0.022 . . . . . . . 0.467 0.429 0.286 0.053 .
S 3.578 212 . . 0.178 0.127 0.127 0.146 0.036 . 0.036 0.146 0.036 0.036 . 0.386 0.036 . 0.036 0.036 0.036 0.208 0.108 0.371 0.193 . 0.036 . . 0.063 . . . . . . 0.434 0.449 0.312 . .
d 3.553 359 . . 0.299 0.216 0.122 0.058 . 0.099 0.072 0.133 0.024 0.144 0.122 0.086 0.531 0.305 . . . 0.024 0.042 0.224 . 0.144 0.261 . 0.133 0.099 0.099 0.111 . . . . 0.042 . 0.042 . 0.122
o 3.548 69 . 0.148 0.148 0.306 . . . . 0.148 . . . 0.528 0.089 0.238 . 0.089 . . 0.089 0.089 0.238 0.089 . . 0.089 0.089 0.089 0.089 0.089 0.089 0.306 . . 0.238 . . 0.274 .
4 3.512 63 . 0.470 . . . 0.290 . . . 0.095 . 0.158 0.158 0.253 . 0.095 . . . 0.095 0.502 . 0.158 . . 0.158 . . 0.095 . 0.095 0.158 0.095 0.095 . 0.095 0.290 0.158 .
X 3.374 507 . 0.298 0.066 0.247 0.018 0.225 . . . 0.120 . 0.044 0.076 0.520 . . . . 0.018 0.066 0.136 0.302 0.094 . . . . . . . . . 0.333 0.354 . 0.266 0.157 0.018 0.018
Y 3.344 592 . 0.246 0.049 0.305 . 0.187 0.016 . 0.028 0.128 0.028 0.128 0.058 0.530 . . . 0.016 0.016 0.084 0.099 0.325 0.107 . . 0.016 0.016 . . . 0.016 . 0.318 0.232 . 0.228 0.171 . .
k 3.166 44 . . 0.392 0.447 . . . . . . . 0.511 0.124 0.264 0.357 0.124 . . . . . 0.124 . 0.124 . . 0.124 0.124 0.124 0.124 . . . . . . . . 0.203
F 2.754 36 . . . 0.144 . . . 0.232 0.396 . . . . . . . 0.144 . . . . 0.299 0.144 . . . . 0.352 . 0.526 0.144 . 0.232 . 0.144 . . . .
W 2.728 52 . 0.237 0.110 0.515 0.110 0.110 . . 0.110 0.110 0.181 0.359 . . . . . . . 0.237 0.110 0.359 0.181 . . . . . . . . . . . . . . . .
O 2.446 836 . 0.029 0.064 0.104 0.012 0.526 . 0.012 0.012 0.530 . 0.099 0.227 0.119 0.070 . . 0.012 . . 0.012 0.058 . 0.029 0.012 . 0.070 0.070 0.021 0.037 0.021 0.029 . 0.012 0.082 0.051 0.051 0.064 0.012
i 2.004 119 . 0.134 0.099 . . . . . . . . 0.058 . 0.426 . . . . . 0.058 0.134 0.058 0.099 . . 0.058 . . . . . . 0.401 0.262 0.217 . . . .
a 1.836 192 . 0.069 . 0.040 . . . . 0.040 . . . . 0.407 . . . 0.040 . . 0.040 0.040 0.116 . . 0.040 0.040 0.040 . . . . 0.391 0.330 0.207 . . . .
0.000 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.764 15507 0.001 0.091 0.227 0.200 0.149 0.242 0.032 0.085 0.136 0.178 0.074 0.129 0.086 0.291 0.268 0.102 0.140 0.156 0.024 0.144 0.111 0.279 0.172 0.035 0.078 0.028 0.161 0.180 0.126 0.151 0.086 0.131 0.102 0.173 0.111 0.078 0.054 0.020 0.032
There is a problem with "O" ("OD" or "OH").
Let's try
cat .voyn.fsg \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/6/8/g' \
-e 's/A /G /g' \
\
-e 's/ //g' \
\
-e 's/4OD/q/g' \
-e 's/4OH/p/g' \
-e 's/OD/d/g' \
-e 's/OH/b/g' \
-e 's/AM/m/g' \
-e 's/AN/n/g' \
-e 's/AK/k/g' \
-e 's/AR/r/g' \
-e 's/OR/s/g' \
-e 's/OE/U/g' \
-e 's/AE/J/g' \
-e 's/4O/o/g' \
-e 's/4U/u/g' \
-e 's/SC8G/f/g' \
-e 's/TC8G/t/g' \
-e 's/SC/X/g' \
-e 's/TC/Y/g' \
-e 's/CCG/x/g' \
-e 's/CC8G/y/g' \
-e 's/CG/v/g' \
-e 's/C8G/w/g' \
-e 's/8G/z/g' \
-e 's/CC/W/g' \
-e 's/DZ/a/g' \
-e 's/HZ/i/g' \
-e 's/[ZMNKLI]//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CO8EDASTHR2PGqpdbmnkrsUJouWXYftxyvwzaiF4'
Digraph counts:
TT C O 8 E D A S T H R 2 P G q p d b m n k r s U J o u W X Y f t x y v w z a i F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
G 1238 . 2 12 118 107 74 1 18 19 70 35 78 19 26 225 59 42 40 1 . 1 2 15 62 . 11 44 . 37 43 14 15 1 . . . 21 2 3 1 20
U 1155 . 4 15 44 25 218 2 25 50 48 10 25 15 58 39 16 25 27 14 8 1 5 42 78 5 3 6 5 74 85 55 78 1 2 . 1 35 2 1 5 3
q 1081 . 34 7 . 6 . 15 1 18 . . . . 68 . . 1 . 85 157 4 52 4 24 122 . . 8 2 5 7 7 87 154 45 167 1 . . . .
8 691 . 1 1 5 17 8 9 8 14 4 2 5 . . 19 2 7 6 98 55 11 125 20 61 125 2 4 . 13 14 24 13 4 4 3 3 2 . . 1 1
Y 592 . 36 1 51 . 24 1 . 2 14 2 14 5 207 . . 3 . . 1 1 8 10 57 11 . . 1 1 . . . 1 . 55 33 . 32 21 . .
D 570 . 23 3 1 4 . 4 4 13 . 3 . . 82 . . . 2 35 73 6 29 8 18 22 . . 9 7 8 2 7 52 68 19 68 . . . . .
w 558 . 1 5 36 51 8 1 9 15 9 19 18 7 13 126 33 35 28 . 1 . 1 6 31 . 8 19 . 16 16 16 13 . . . . 7 1 2 . 7
J 554 . 1 7 61 14 11 1 19 28 9 7 32 5 45 35 6 10 10 2 2 1 2 20 42 3 3 9 . 30 31 33 41 1 . . 1 27 . 1 2 2
X 507 . 42 2 31 1 27 . . . 11 . 3 6 150 . . 3 . . . 1 5 13 43 8 . . . . . . . . . 51 57 . 35 16 1 1
n 483 . 1 11 28 4 . 3 14 37 1 1 10 5 11 14 3 34 35 1 1 . 3 7 77 3 1 4 1 59 47 27 29 . 1 . . 6 . 4 . .
t 461 1 3 5 24 36 11 . 6 5 14 16 16 9 3 130 35 15 15 2 . . 1 4 22 2 6 33 . 7 19 6 6 . . . . 3 . 1 . 5
E 452 . 1 16 15 6 50 . 10 25 8 7 10 4 14 8 1 3 3 3 2 2 5 18 41 5 . . 1 34 55 31 59 . 1 . . 12 . . 2 .
r 431 . . 12 10 3 2 4 12 17 . 1 7 5 29 20 7 25 20 4 4 2 11 18 75 17 1 2 1 41 28 29 15 . . 1 . 6 . 1 1 .
m 416 . 1 5 21 4 2 . 22 30 2 1 15 3 12 18 4 35 23 . . . 2 5 55 2 . 1 . 45 59 22 18 . . . . 6 2 . 1 .
T 400 . . 5 16 13 17 . 2 1 8 4 6 12 62 . . 3 2 . 1 4 8 9 31 14 . . . 1 . . . . . . . 81 66 31 3 .
y 378 . . 4 17 34 5 . 5 7 5 13 11 3 5 112 32 20 17 . . . . 2 20 3 9 11 . 8 11 6 12 . . . . 3 . 1 . 2
2 372 . 1 10 2 2 4 3 3 5 6 1 5 2 11 4 1 11 5 49 33 1 30 19 91 35 . . . 12 8 6 6 . . 1 . 3 1 1 . .
f 359 . . 2 18 8 3 . 6 4 9 1 10 8 5 130 31 11 17 . . . 1 2 19 . 10 24 . 9 6 6 7 . . . . 2 . 2 . 8
d 355 . 18 1 1 1 . 7 1 6 . . . . 26 . . . 1 36 46 2 24 2 13 30 . . 9 4 7 3 2 16 39 13 47 . . . . .
s 305 . . 11 9 2 3 . 3 8 3 . 1 7 22 9 2 16 6 18 12 1 13 11 50 11 . . . 29 26 20 5 2 1 . 2 . 1 . . 1
z 305 . 1 9 32 21 11 1 6 4 20 10 20 9 11 61 12 8 10 . . . 3 2 12 . 5 6 . 6 9 1 6 . . . 1 6 . . . 2
b 301 . 16 1 1 1 . 2 3 7 . 1 . . 22 . . . . 13 28 . 29 3 15 31 . . 1 2 4 5 4 19 25 16 52 . . . . .
H 287 . 10 . . 1 1 . 1 16 . . 1 . 38 . . 1 2 10 15 1 16 8 23 24 . . 7 5 8 5 11 11 13 11 47 1 . . . .
p 271 . 10 . 1 1 . 3 2 6 . 2 . . 29 . . . . 15 24 1 18 1 8 31 . . 4 2 3 2 4 7 42 9 46 . . . . .
v 271 . . 3 19 33 6 . 4 7 11 11 10 5 5 64 16 13 8 . . . . 4 16 . 4 13 . 6 6 1 . . . . . 3 . . . 3
C 234 . . 2 41 3 35 2 6 7 15 5 22 6 . 2 . . . 1 2 . 6 6 27 4 . 1 . 3 2 . 3 10 16 . . . 3 2 2 .
x 218 . . 2 14 35 3 . 2 6 4 19 4 2 2 40 9 13 13 1 . . . 4 16 . 1 7 . 3 5 4 3 . . . . . . . 1 5
P 216 . 2 5 3 . . . 8 22 . . . . 12 . . 3 1 2 1 . 5 5 39 7 . . . 7 23 10 47 1 1 5 4 3 . . . .
S 212 . . 2 5 5 6 1 . 1 6 1 1 . 28 1 . 6 . 1 1 1 10 4 26 9 . 1 . . 2 . . . . . . 36 39 19 . .
u 192 . 1 3 1 3 31 . 4 5 4 4 3 3 9 3 . 3 6 4 2 . 3 1 11 2 . 5 . 22 25 11 21 . . . . 2 . . . .
a 186 . 2 . 1 . . . . 1 . . . . 120 . . . . . 1 . . 1 1 4 . . 1 1 1 . . . . 24 19 9 . . . .
O 180 . 3 4 15 1 1 . 1 1 . . 14 45 18 9 . 4 . . 1 . . 1 7 . 3 1 . 9 9 2 4 2 3 . 1 11 . 1 8 1
R 179 . . 4 2 3 . 2 3 4 2 1 2 3 9 2 . 1 2 19 12 3 8 10 25 15 . 1 . 10 19 7 8 . . . . 2 . . . .
i 114 . 2 1 . . . . . . . . 1 . 73 . . 1 . . . . 1 2 1 2 . . 1 . . . . . . 15 8 6 . . . .
o 69 . 2 1 6 . . . . 2 . . . 23 1 4 . 1 . 1 . . 1 1 4 1 . . 1 1 1 1 1 1 6 . . 4 . . 5 .
4 63 . 13 . . . 5 . . . 1 . 2 2 4 . 1 . . . . . 1 16 . 2 . . 2 . . 1 . 1 2 1 1 . 1 5 2 .
A 62 . . 4 9 6 3 . 2 1 2 . 8 2 5 1 . 1 . . . . . . 4 1 1 . . . 2 1 . . . . . 6 1 2 . .
W 52 . 3 1 24 1 1 . . 1 1 2 6 . . . . . . . . . 3 1 6 2 . . . . . . . . . . . . . . . .
k 44 . . 3 8 . . . . . . . 12 1 3 5 1 1 2 . . . . . 1 . 1 . . 1 1 1 1 . . . . . . . . 2
F 36 . . . 1 . . . 2 5 . . . . . . . . . 1 . . . . 3 1 . . . . 4 . 15 1 . 2 . 1 . . . .
1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 14851 1 234 180 691 452 570 62 212 400 287 179 372 216 1238 1081 271 355 301 416 483 44 431 305 1155 554 69 192 52 507 592 359 461 218 378 271 558 305 186 114 36 63
Next-symbol probability (× 99):
TT TT TT C O 8 E D A S T H R 2 P G q p d b m n k r s U J o u W X Y f t x y v w z a i F 4
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
J 4.434 554 99 . . 1 11 3 2 . 3 5 2 1 6 1 8 6 1 2 2 . . . . 4 8 1 1 2 . 5 6 6 7 . . . . 5 . . . .
U 4.365 1155 99 . . 1 4 2 19 . 2 4 4 1 2 1 5 3 1 2 2 1 1 . . 4 7 . . 1 . 6 7 5 7 . . . . 3 . . . .
r 4.289 431 99 . . 3 2 1 . 1 3 4 . . 2 1 7 5 2 6 5 1 1 . 3 4 17 4 . . . 9 6 7 3 . . . . 1 . . . .
G 4.239 1238 99 . . 1 9 9 6 . 1 2 6 3 6 2 2 18 5 3 3 . . . . 1 5 . 1 4 . 3 3 1 1 . . . . 2 . . . 2
s 4.239 305 99 . . 4 3 1 1 . 1 3 1 . . 2 7 3 1 5 2 6 4 . 4 4 16 4 . . . 9 8 6 2 1 . . 1 . . . . .
z 4.217 305 99 . . 3 10 7 4 . 2 1 6 3 6 3 4 20 4 3 3 . . . 1 1 4 . 2 2 . 2 3 . 2 . . . . 2 . . . 1
R 4.183 179 99 . . 2 1 2 . 1 2 2 1 1 1 2 5 1 . 1 1 11 7 2 4 6 14 8 . 1 . 6 11 4 4 . . . . 1 . . . .
w 4.169 558 99 . . 1 6 9 1 . 2 3 2 3 3 1 2 22 6 6 5 . . . . 1 6 . 1 3 . 3 3 3 2 . . . . 1 . . . 1
E 4.164 452 99 . . 4 3 1 11 . 2 5 2 2 2 1 3 2 . 1 1 1 . . 1 4 9 1 . . . 7 12 7 13 . . . . 3 . . . .
u 4.071 192 99 . 1 2 1 2 16 . 2 3 2 2 2 2 5 2 . 2 3 2 1 . 2 1 6 1 . 3 . 11 13 6 11 . . . . 1 . . . .
n 4.060 483 99 . . 2 6 1 . 1 3 8 . . 2 1 2 3 1 7 7 . . . 1 1 16 1 . 1 . 12 10 6 6 . . . . 1 . 1 . .
H 4.044 287 99 . 3 . . . . . . 6 . . . . 13 . . . 1 3 5 . 6 3 8 8 . . 2 2 3 2 4 4 4 4 16 . . . . .
m 4.007 416 99 . . 1 5 1 . . 5 7 . . 4 1 3 4 1 8 5 . . . . 1 13 . . . . 11 14 5 4 . . . . 1 . . . .
t 3.986 461 99 . 1 1 5 8 2 . 1 1 3 3 3 2 1 28 8 3 3 . . . . 1 5 . 1 7 . 2 4 1 1 . . . . 1 . . . 1
x 3.971 218 99 . . 1 6 16 1 . 1 3 2 9 2 1 1 18 4 6 6 . . . . 2 7 . . 3 . 1 2 2 1 . . . . . . . . 2
v 3.963 271 99 . . 1 7 12 2 . 1 3 4 4 4 2 2 23 6 5 3 . . . . 1 6 . 1 5 . 2 2 . . . . . . 1 . . . 1
C 3.957 234 99 . . 1 17 1 15 1 3 3 6 2 9 3 . 1 . . . . 1 . 3 3 11 2 . . . 1 1 . 1 4 7 . . . 1 1 1 .
A 3.923 62 99 . . 6 14 10 5 . 3 2 3 . 13 3 8 2 . 2 . . . . . . 6 2 2 . . . 3 2 . . . . . 10 2 3 . .
O 3.916 180 99 . 2 2 8 1 1 . 1 1 . . 8 25 10 5 . 2 . . 1 . . 1 4 . 2 1 . 5 5 1 2 1 2 . 1 6 . 1 4 1
D 3.904 570 99 . 4 1 . 1 . 1 1 2 . 1 . . 14 . . . . 6 13 1 5 1 3 4 . . 2 1 1 . 1 9 12 3 12 . . . . .
d 3.896 355 99 . 5 . . . . 2 . 2 . . . . 7 . . . . 10 13 1 7 1 4 8 . . 3 1 2 1 1 4 11 4 13 . . . . .
2 3.875 372 99 . . 3 1 1 1 1 1 1 2 . 1 1 3 1 . 3 1 13 9 . 8 5 24 9 . . . 3 2 2 2 . . . . 1 . . . .
8 3.873 691 99 . . . 1 2 1 1 1 2 1 . 1 . . 3 . 1 1 14 8 2 18 3 9 18 . 1 . 2 2 3 2 1 1 . . . . . . .
y 3.872 378 99 . . 1 4 9 1 . 1 2 1 3 3 1 1 29 8 5 4 . . . . 1 5 1 2 3 . 2 3 2 3 . . . . 1 . . . 1
b 3.862 301 99 . 5 . . . . 1 1 2 . . . . 7 . . . . 4 9 . 10 1 5 10 . . . 1 1 2 1 6 8 5 17 . . . . .
p 3.753 271 99 . 4 . . . . 1 1 2 . 1 . . 11 . . . . 5 9 . 7 . 3 11 . . 1 1 1 1 1 3 15 3 17 . . . . .
P 3.673 216 99 . 1 2 1 . . . 4 10 . . . . 6 . . 1 . 1 . . 2 2 18 3 . . . 3 11 5 22 . . 2 2 1 . . . .
f 3.658 359 99 . . 1 5 2 1 . 2 1 2 . 3 2 1 36 9 3 5 . . . . 1 5 . 3 7 . 2 2 2 2 . . . . 1 . 1 . 2
q 3.648 1081 99 . 3 1 . 1 . 1 . 2 . . . . 6 . . . . 8 14 . 5 . 2 11 . . 1 . . 1 1 8 14 4 15 . . . . .
T 3.644 400 99 . . 1 4 3 4 . . . 2 1 1 3 15 . . 1 . . . 1 2 2 8 3 . . . . . . . . . . . 20 16 8 1 .
S 3.609 212 99 . . 1 2 2 3 . . . 3 . . . 13 . . 3 . . . . 5 2 12 4 . . . . 1 . . . . . . 17 18 9 . .
o 3.577 69 99 . 3 1 9 . . . . 3 . . . 33 1 6 . 1 . 1 . . 1 1 6 1 . . 1 1 1 1 1 1 9 . . 6 . . 7 .
4 3.512 63 99 . 20 . . . 8 . . . 2 . 3 3 6 . 2 . . . . . 2 25 . 3 . . 3 . . 2 . 2 3 2 2 . 2 8 3 .
X 3.384 507 99 . 8 . 6 . 5 . . . 2 . 1 1 29 . . 1 . . . . 1 3 8 2 . . . . . . . . . 10 11 . 7 3 . .
k 3.365 44 99 . . 7 18 . . . . . . . 27 2 7 11 2 2 5 . . . . . 2 . 2 . . 2 2 2 2 . . . . . . . . 5
Y 3.349 592 99 . 6 . 9 . 4 . . . 2 . 2 1 35 . . 1 . . . . 1 2 10 2 . . . . . . . . . 9 6 . 5 4 . .
F 2.754 36 99 . . . 3 . . . 6 14 . . . . . . . . . 3 . . . . 8 3 . . . . 11 . 41 3 . 6 . 3 . . . .
W 2.728 52 99 . 6 2 46 2 2 . . 2 2 4 11 . . . . . . . . . 6 2 11 4 . . . . . . . . . . . . . . . .
i 1.956 114 99 . 2 1 . . . . . . . . 1 . 63 . . 1 . . . . 1 2 1 2 . . 1 . . . . . . 13 7 5 . . . .
a 1.850 186 99 . 1 . 1 . . . . 1 . . . . 64 . . . . . 1 . . 1 1 2 . . 1 1 1 . . . . 13 10 5 . . . .
0.000 1 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.913 14851 99 0 2 1 5 3 4 0 1 3 2 1 2 1 8 7 2 2 2 3 3 0 3 2 8 4 0 1 0 3 4 2 3 1 3 2 4 2 1 1 0 0
Previous-symbol probability (× 99):
TT C O 8 E D A S T H R 2 P G q p d b m n k r s U J o u W X Y f t x y v w z a i F 4
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 .
C 2 . . 1 6 1 6 3 3 2 5 3 6 3 . . . . . . . . 1 2 2 1 . 1 . 1 . . 1 5 4 . . . 2 2 6 .
O 1 . 1 2 2 . . . . . . . 4 21 1 1 . 1 . . . . . . 1 . 4 1 . 2 2 1 1 1 1 . . 4 . 1 22 2
8 5 . . 1 1 4 1 14 4 3 1 1 1 . . 2 1 2 2 23 11 25 29 6 5 22 3 2 . 3 2 7 3 2 1 1 1 1 . . 3 2
E 3 . . 9 2 1 9 . 5 6 3 4 3 2 1 1 . 1 1 1 . 5 1 6 4 1 . . 2 7 9 9 13 . . . . 4 . . 6 .
D 4 . 10 2 . 1 . 6 2 3 . 2 . . 7 . . . 1 8 15 13 7 3 2 4 . . 17 1 1 1 2 24 18 7 12 . . . . .
A 0 . . 2 1 1 1 . 1 . 1 . 2 1 . . . . . . . . . . . . 1 . . . . . . . . . . 2 1 2 . .
S 1 . . 1 1 1 1 2 . . 2 1 . . 2 . . 2 . . . 2 2 1 2 2 . 1 . . . . . . . . . 12 21 17 . .
T 3 . . 3 2 3 3 . 1 . 3 2 2 6 5 . . 1 1 . . 9 2 3 3 3 . . . . . . . . . . . 26 35 27 8 .
H 2 . 4 . . . . . . 4 . . . . 3 . . . 1 2 3 2 4 3 2 4 . . 13 1 1 1 2 5 3 4 8 . . . . .
R 1 . . 2 . 1 . 3 1 1 1 1 1 1 1 . . . 1 5 2 7 2 3 2 3 . 1 . 2 3 2 2 . . . . 1 . . . .
2 2 . . 6 . . 1 5 1 1 2 1 1 1 1 . . 3 2 12 7 2 7 6 8 6 . . . 2 1 2 1 . . . . 1 1 1 . .
P 1 . 1 3 . . . . 4 5 . . . . 1 . . 1 . . . . 1 2 3 1 . . . 1 4 3 10 . . 2 1 1 . . . .
G 8 . 1 7 17 23 13 2 8 5 24 19 21 9 2 21 22 12 13 . . 2 . 5 5 . 16 23 . 7 7 4 3 . . . . 7 1 3 3 31
q 7 . 14 4 . 1 . 24 . 4 . . . . 5 . . . . 20 32 9 12 1 2 22 . . 15 . 1 2 2 40 40 16 30 . . . . .
p 2 . 4 . . . . 5 1 1 . 1 . . 2 . . . . 4 5 2 4 . 1 6 . . 8 . 1 1 1 3 11 3 8 . . . . .
d 2 . 8 1 . . . 11 . 1 . . . . 2 . . . . 9 9 5 6 1 1 5 . . 17 1 1 1 . 7 10 5 8 . . . . .
b 2 . 7 1 . . . 3 1 2 . 1 . . 2 . . . . 3 6 . 7 1 1 6 . . 2 . 1 1 1 9 7 6 9 . . . . .
m 3 . . 3 3 1 . . 10 7 1 1 4 1 1 2 1 10 8 . . . . 2 5 . . 1 . 9 10 6 4 . . . . 2 1 . 3 .
n 3 . . 6 4 1 . 5 7 9 . 1 3 2 1 1 1 9 12 . . . 1 2 7 1 1 2 2 12 8 7 6 . . . . 2 . 3 . .
k 0 . . 2 1 . . . . . . . 3 . . . . . 1 . . . . . . . 1 . . . . . . . . . . . . . . 3
r 3 . . 7 1 1 . 6 6 4 . 1 2 2 2 2 3 7 7 1 1 5 3 6 6 3 1 1 2 8 5 8 3 . . . . 2 . 1 3 .
s 2 . . 6 1 . 1 . 1 2 1 . . 3 2 1 1 4 2 4 2 2 3 4 4 2 . . . 6 4 6 1 1 . . . . 1 . . 2
U 8 . 2 8 6 5 38 3 12 12 17 6 7 7 5 4 6 7 9 3 2 2 1 14 7 1 4 3 10 14 14 15 17 . 1 . . 11 1 1 14 5
J 4 . . 4 9 3 2 2 9 7 3 4 9 2 4 3 2 3 3 . . 2 . 6 4 1 4 5 . 6 5 9 9 . . . . 9 . 1 6 3
o 0 . 1 1 1 . . . . . . . . 11 . . . . . . . . . . . . . . 2 . . . . . 2 . . 1 . . 14 .
u 1 . . 2 . 1 5 . 2 1 1 2 1 1 1 . . 1 2 1 . . 1 . 1 . . 3 . 4 4 3 5 . . . . 1 . . . .
W 0 . 1 1 3 . . . . . . 1 2 . . . . . . . . . 1 . 1 . . . . . . . . . . . . . . . . .
X 3 . 18 1 4 . 5 . . . 4 . 1 3 12 . . 1 . . . 2 1 4 4 1 . . . . . . . . . 19 10 . 19 14 3 2
Y 4 . 15 1 7 . 4 2 . . 5 1 4 2 17 . . 1 . . . 2 2 3 5 2 . . 2 . . . . . . 20 6 . 17 18 . .
f 2 . . 1 3 2 1 . 3 1 3 1 3 4 . 12 11 3 6 . . . . 1 2 . 14 12 . 2 1 2 2 . . . . 1 . 2 . 13
t 3 99 1 3 3 8 2 . 3 1 5 9 4 4 . 12 13 4 5 . . . . 1 2 . 9 17 . 1 3 2 1 . . . . 1 . 1 . 8
x 1 . . 1 2 8 1 . 1 1 1 11 1 1 . 4 3 4 4 . . . . 1 1 . 1 4 . 1 1 1 1 . . . . . . . 3 8
y 3 . . 2 2 7 1 . 2 2 2 7 3 1 . 10 12 6 6 . . . . 1 2 1 13 6 . 2 2 2 3 . . . . 1 . 1 . 3
v 2 . . 2 3 7 1 . 2 2 4 6 3 2 . 6 6 4 3 . . . . 1 1 . 6 7 . 1 1 . . . . . . 1 . . . 5
w 4 . . 3 5 11 1 2 4 4 3 11 5 3 1 12 12 10 9 . . . . 2 3 . 11 10 . 3 3 4 3 . . . . 2 1 2 . 11
z 2 . . 5 5 5 2 2 3 1 7 6 5 4 1 6 4 2 3 . . . 1 1 1 . 7 3 . 1 2 . 1 . . . . 2 . . . 3
a 1 . 1 . . . . . . . . . . . 10 . . . . . . . . . . 1 . . 2 . . . . . . 9 3 3 . . . .
i 1 . 1 1 . . . . . . . . . . 6 . . . . . . . . 1 . . . . 2 . . . . . . 5 1 2 . . . .
F 0 . . . . . . . 1 1 . . . . . . . . . . . . . . . . . . . . 1 . 3 . . 1 . . . . . .
4 0 . 6 . . . 1 . . . . . 1 1 . . . . . . . . . 5 . . . . 4 . . . . . 1 . . . 1 4 6 .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.954
Next-symbol entropy:
TT TT C O 8 E D A S T H R 2 P G q p d b m n k r s U J o u W X Y f t x y v w z a i F 4
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
J 4.434 554 . 0.016 0.080 0.350 0.134 0.112 0.016 0.167 0.218 0.097 0.080 0.238 0.061 0.294 0.252 0.071 0.105 0.105 0.029 0.029 0.016 0.029 0.173 0.282 0.041 0.041 0.097 . 0.228 0.233 0.242 0.278 0.016 . . 0.016 0.212 . 0.016 0.029 0.029
U 4.365 1155 . 0.028 0.081 0.180 0.120 0.454 0.016 0.120 0.196 0.191 0.059 0.120 0.081 0.217 0.165 0.086 0.120 0.127 0.077 0.050 0.009 0.034 0.174 0.263 0.034 0.022 0.039 0.034 0.254 0.277 0.209 0.263 0.009 0.016 . 0.009 0.153 0.016 0.009 0.034 0.022
r 4.289 431 . . 0.144 0.126 0.050 0.036 0.063 0.144 0.184 . 0.020 0.097 0.075 0.262 0.206 0.097 0.238 0.206 0.063 0.063 0.036 0.135 0.191 0.439 0.184 0.020 0.036 0.020 0.323 0.256 0.262 0.169 . . 0.020 . 0.086 . 0.020 0.020 .
G 4.239 1238 . 0.015 0.065 0.323 0.305 0.243 0.008 0.089 0.092 0.234 0.145 0.251 0.092 0.117 0.447 0.209 0.166 0.160 0.008 . 0.008 0.015 0.077 0.216 . 0.061 0.171 . 0.151 0.168 0.073 0.077 0.008 . . . 0.100 0.015 0.021 0.008 0.096
s 4.239 305 . . 0.173 0.150 0.048 0.066 . 0.066 0.138 0.066 . 0.027 0.125 0.274 0.150 0.048 0.223 0.111 0.241 0.184 0.027 0.194 0.173 0.428 0.173 . . . 0.323 0.303 0.258 0.097 0.048 0.027 . 0.048 . 0.027 . . 0.027
z 4.217 305 . 0.027 0.150 0.341 0.266 0.173 0.027 0.111 0.082 0.258 0.162 0.258 0.150 0.173 0.464 0.184 0.138 0.162 . . . 0.066 0.048 0.184 . 0.097 0.111 . 0.111 0.150 0.027 0.111 . . . 0.027 0.111 . . . 0.048
R 4.183 179 . . 0.123 0.072 0.099 . 0.072 0.099 0.123 0.072 0.042 0.072 0.099 0.217 0.072 . 0.042 0.072 0.343 0.261 0.099 0.200 0.233 0.397 0.300 . 0.042 . 0.233 0.343 0.183 0.200 . . . . 0.072 . . . .
w 4.169 558 . 0.016 0.061 0.255 0.315 0.088 0.016 0.096 0.140 0.096 0.166 0.160 0.079 0.126 0.485 0.241 0.251 0.217 . 0.016 . 0.016 0.070 0.232 . 0.088 0.166 . 0.147 0.147 0.147 0.126 . . . . 0.079 0.016 0.029 . 0.079
E 4.164 452 . 0.020 0.171 0.163 0.083 0.351 . 0.122 0.231 0.103 0.093 0.122 0.060 0.155 0.103 0.020 0.048 0.048 0.048 0.035 0.035 0.072 0.185 0.314 0.072 . . 0.020 0.281 0.370 0.265 0.383 . 0.020 . . 0.139 . . 0.035 .
u 4.071 192 . 0.040 0.094 0.040 0.094 0.425 . 0.116 0.137 0.116 0.116 0.094 0.094 0.207 0.094 . 0.094 0.156 0.116 0.069 . 0.094 0.040 0.236 0.069 . 0.137 . 0.358 0.383 0.236 0.349 . . . . 0.069 . . . .
n 4.060 483 . 0.018 0.124 0.238 0.057 . 0.046 0.148 0.284 0.018 0.018 0.116 0.068 0.124 0.148 0.046 0.269 0.274 0.018 0.018 . 0.046 0.089 0.422 0.046 0.018 0.057 0.018 0.371 0.327 0.233 0.244 . 0.018 . . 0.079 . 0.057 . .
H 4.044 287 . 0.169 . . 0.028 0.028 . 0.028 0.232 . . 0.028 . 0.386 . . 0.028 0.050 0.169 0.223 0.028 0.232 0.144 0.292 0.299 . . 0.131 0.102 0.144 0.102 0.180 0.180 0.202 0.180 0.427 0.028 . . . .
m 4.007 416 . 0.021 0.077 0.217 0.064 0.037 . 0.224 0.274 0.037 0.021 0.173 0.051 0.148 0.196 0.064 0.300 0.231 . . . 0.037 0.077 0.386 0.037 . 0.021 . 0.347 0.400 0.224 0.196 . . . . 0.088 0.037 . 0.021 .
t 3.986 461 0.019 0.047 0.071 0.222 0.287 0.129 . 0.082 0.071 0.153 0.168 0.168 0.111 0.047 0.515 0.282 0.161 0.161 0.034 . . 0.019 0.059 0.209 0.034 0.082 0.272 . 0.092 0.190 0.082 0.082 . . . . 0.047 . 0.019 . 0.071
x 3.971 218 . . 0.062 0.254 0.424 0.085 . 0.062 0.143 0.106 0.307 0.106 0.062 0.062 0.449 0.190 0.243 0.243 0.036 . . . 0.106 0.277 . 0.036 0.159 . 0.085 0.125 0.106 0.085 . . . . . . . 0.036 0.125
v 3.963 271 . . 0.072 0.269 0.370 0.122 . 0.090 0.136 0.188 0.188 0.176 0.106 0.106 0.492 0.241 0.210 0.150 . . . . 0.090 0.241 . 0.090 0.210 . 0.122 0.122 0.030 . . . . . 0.072 . . . 0.072
C 3.957 234 . . 0.059 0.440 0.081 0.410 0.059 0.136 0.151 0.254 0.119 0.321 0.136 . 0.059 . . . 0.034 0.059 . 0.136 0.136 0.359 0.100 . 0.034 . 0.081 0.059 . 0.081 0.194 0.265 . . . 0.081 0.059 0.059 .
A 3.923 62 . . 0.255 0.404 0.326 0.211 . 0.160 0.096 0.160 . 0.381 0.160 0.293 0.096 . 0.096 . . . . . . 0.255 0.096 0.096 . . . 0.160 0.096 . . . . . 0.326 0.096 0.160 . .
O 3.916 180 . 0.098 0.122 0.299 0.042 0.042 . 0.042 0.042 . . 0.287 0.500 0.332 0.216 . 0.122 . . 0.042 . . 0.042 0.182 . 0.098 0.042 . 0.216 0.216 0.072 0.122 0.072 0.098 . 0.042 0.246 . 0.042 0.200 0.042
D 3.904 570 . 0.187 0.040 0.016 0.050 . 0.050 0.050 0.124 . 0.040 . . 0.402 . . . 0.029 0.247 0.380 0.069 0.219 0.086 0.157 0.181 . . 0.094 0.078 0.086 0.029 0.078 0.315 0.366 0.164 0.366 . . . . .
d 3.896 355 . 0.218 0.024 0.024 0.024 . 0.112 0.024 0.099 . . . . 0.276 . . . 0.024 0.335 0.382 0.042 0.263 0.042 0.175 0.301 . . 0.134 0.073 0.112 0.058 0.042 0.202 0.350 0.175 0.386 . . . . .
2 3.875 372 . 0.023 0.140 0.041 0.041 0.070 0.056 0.056 0.084 0.096 0.023 0.084 0.041 0.150 0.070 0.023 0.150 0.084 0.385 0.310 0.023 0.293 0.219 0.497 0.321 . . . 0.160 0.119 0.096 0.096 . . 0.023 . 0.056 0.023 0.023 . .
8 3.873 691 . 0.014 0.014 0.051 0.131 0.074 0.082 0.074 0.114 0.043 0.024 0.051 . . 0.143 0.024 0.067 0.059 0.400 0.291 0.095 0.446 0.148 0.309 0.446 0.024 0.043 . 0.108 0.114 0.168 0.108 0.043 0.043 0.034 0.034 0.024 . . 0.014 0.014
y 3.872 378 . . 0.069 0.201 0.313 0.083 . 0.083 0.107 0.083 0.167 0.148 0.055 0.083 0.520 0.302 0.224 0.201 . . . . 0.040 0.224 0.055 0.128 0.148 . 0.118 0.148 0.095 0.158 . . . . 0.055 . 0.023 . 0.040
b 3.862 301 . 0.225 0.027 0.027 0.027 . 0.048 0.066 0.126 . 0.027 . . 0.276 . . . . 0.196 0.319 . 0.325 0.066 0.216 0.338 . . 0.027 0.048 0.083 0.098 0.083 0.252 0.298 0.225 0.438 . . . . .
p 3.753 271 . 0.176 . 0.030 0.030 . 0.072 0.052 0.122 . 0.052 . . 0.345 . . . . 0.231 0.310 0.030 0.260 0.030 0.150 0.358 . . 0.090 0.052 0.072 0.052 0.090 0.136 0.417 0.163 0.434 . . . . .
P 3.673 216 . 0.063 0.126 0.086 . . . 0.176 0.336 . . . . 0.232 . . 0.086 0.036 0.063 0.036 . 0.126 0.126 0.446 0.160 . . . 0.160 0.344 0.205 0.479 0.036 0.036 0.126 0.107 0.086 . . . .
f 3.658 359 . . 0.042 0.216 0.122 0.058 . 0.099 0.072 0.133 0.024 0.144 0.122 0.086 0.531 0.305 0.154 0.208 . . . 0.024 0.042 0.224 . 0.144 0.261 . 0.133 0.099 0.099 0.111 . . . . 0.042 . 0.042 . 0.122
q 3.648 1081 . 0.157 0.047 . 0.042 . 0.086 0.009 0.098 . . . . 0.251 . . 0.009 . 0.288 0.404 0.030 0.211 0.030 0.122 0.355 . . 0.052 0.017 0.036 0.047 0.047 0.293 0.401 0.191 0.416 0.009 . . . .
T 3.644 400 . . 0.079 0.186 0.161 0.194 . 0.038 0.022 0.113 0.066 0.091 0.152 0.417 . . 0.053 0.038 . 0.022 0.066 0.113 0.123 0.286 0.169 . . . 0.022 . . . . . . . 0.467 0.429 0.286 0.053 .
S 3.609 212 . . 0.063 0.127 0.127 0.146 0.036 . 0.036 0.146 0.036 0.036 . 0.386 0.036 . 0.146 . 0.036 0.036 0.036 0.208 0.108 0.371 0.193 . 0.036 . . 0.063 . . . . . . 0.434 0.449 0.312 . .
o 3.577 69 . 0.148 0.089 0.306 . . . . 0.148 . . . 0.528 0.089 0.238 . 0.089 . 0.089 . . 0.089 0.089 0.238 0.089 . . 0.089 0.089 0.089 0.089 0.089 0.089 0.306 . . 0.238 . . 0.274 .
4 3.512 63 . 0.470 . . . 0.290 . . . 0.095 . 0.158 0.158 0.253 . 0.095 . . . . . 0.095 0.502 . 0.158 . . 0.158 . . 0.095 . 0.095 0.158 0.095 0.095 . 0.095 0.290 0.158 .
X 3.384 507 . 0.298 0.032 0.247 0.018 0.225 . . . 0.120 . 0.044 0.076 0.520 . . 0.044 . . . 0.018 0.066 0.136 0.302 0.094 . . . . . . . . . 0.333 0.354 . 0.266 0.157 0.018 0.018
k 3.365 44 . . 0.264 0.447 . . . . . . . 0.511 0.124 0.264 0.357 0.124 0.124 0.203 . . . . . 0.124 . 0.124 . . 0.124 0.124 0.124 0.124 . . . . . . . . 0.203
Y 3.349 592 . 0.246 0.016 0.305 . 0.187 0.016 . 0.028 0.128 0.028 0.128 0.058 0.530 . . 0.039 . . 0.016 0.016 0.084 0.099 0.325 0.107 . . 0.016 0.016 . . . 0.016 . 0.318 0.232 . 0.228 0.171 . .
F 2.754 36 . . . 0.144 . . . 0.232 0.396 . . . . . . . . . 0.144 . . . . 0.299 0.144 . . . . 0.352 . 0.526 0.144 . 0.232 . 0.144 . . . .
W 2.728 52 . 0.237 0.110 0.515 0.110 0.110 . . 0.110 0.110 0.181 0.359 . . . . . . . . . 0.237 0.110 0.359 0.181 . . . . . . . . . . . . . . . .
i 1.956 114 . 0.102 0.060 . . . . . . . . 0.060 . 0.412 . . 0.060 . . . . 0.060 0.102 0.060 0.102 . . 0.060 . . . . . . 0.385 0.269 0.224 . . . .
a 1.850 186 . 0.070 . 0.041 . . . . 0.041 . . . . 0.408 . . . . . 0.041 . . 0.041 0.041 0.119 . . 0.041 0.041 0.041 . . . . 0.381 0.336 0.211 . . . .
0.000 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 3.913 14851 0.001 0.094 0.077 0.206 0.153 0.181 0.033 0.088 0.140 0.110 0.077 0.133 0.089 0.299 0.275 0.105 0.129 0.114 0.144 0.161 0.025 0.148 0.115 0.287 0.177 0.036 0.081 0.029 0.166 0.185 0.130 0.156 0.089 0.135 0.105 0.178 0.115 0.079 0.054 0.021 0.033
Wow! I guess we are done. So here is the proposed mapping:
1. Map Latin to CondensedLatin:
" et " --> " + "
" non " --> " - "
"que " --> "G"
"vit " --> "J"
"unt " --> "W"
"ex " --> "X"
"it " --> "I"
"am " --> "H"
"em " --> "M"
"um " --> "U"
"is " --> "Z"
"us " --> "C"
"e " --> "E"
"d " --> "D"
"t " --> "T"
"s " --> "S"
"n " --> "N"
"ver" --> "V"
"er" --> "R"
"in" --> "Y"
"qu" --> "Q"
"on" --> "O"
"i" --> "i"
"a" --> "a"
"u" --> "u"
"e" --> "e"
"o" --> "o"
"n" --> "n"
"r" --> "r"
"p" --> "p"
"c" --> "c"
"l" --> "l"
"g" --> "g"
"b" --> "b"
"s" --> "s"
"h" --> "h"
"d" --> "d"
"t" --> "t"
"m" --> "m"
"f" --> "f"
"v" --> "v"
"x" --> "x"
"z" --> "z"
2. Discard all spaces.
3. Map CondensedLatin to CondensedVoynichese, matching frequancies as well as possible:
CLat CVoy
------- -------
i 608 G 1238
a 524 U 1155
e 400 q 1081
o 349 8 691
s 296 Y 592
t 291 D 570
r 242 w 558
u 236 J 554
d 229 X 507
c 212 n 483
m 190 t 461
n 187 E 452
l 174 r 431
+ 124 m 416
R 121 T 400
E 118 y 378
p 118 2 372
b 108 f 359
g 103 d 355
S 96 s 305
v 92 z 305
U 85 b 301
Y 85 H 287
h 82 p 271
C 77 v 271
T 71 C 234
f 70 x 218
N 69 P 216
Q 64 S 212
O 61 u 192
M 53 a 186
I 52 O 180
H 46 R 179
Z 46 i 114
D 38 o 69
G 34 4 63
x 28 A 62
J 24 W 52
X 21 k 44
V 17 F 36
W 17
- 12
z 2 K 13
(I have ignored the " non " and "unt " abbreviations, and assigned "z" to "K" which I had discarded in the analysis.)
4. Map CondensedVoynichese to Voynichese
"q" --> "4OD"
"p" --> "4OH"
"d" --> "OD"
"b" --> "OH"
"m" --> "AM"
"n" --> "AN"
"k" --> "AK"
"r" --> "AR"
"s" --> "OR"
"U" --> "OE"
"J" --> "AE"
"o" --> "4O"
"u" --> "4OE
"f" --> "SC8G"
"t" --> "TC8G"
"X" --> "SC"
"Y" --> "TC"
"x" --> "CCG"
"y" --> "CC8G"
"v" --> "CG"
"w" --> "C8G"
"z" --> "8G"
"W" --> "CC"
"a" --> "DZ"
"i" --> "HZ"
"C" --> "C"
"O" --> "O"
"8" --> "8"
"E" --> "E"
"D" --> "D"
"A" --> "A"
"S" --> "S"
"T" --> "T"
"H" --> "H"
"R" --> "R"
"2" --> "2"
"P" --> "P"
"G" --> "G"
5. Insert spaces according to these frequencies:
After "M" "N" "K" "G": always
After "R": 67%
After "AE": 40%
After "OE": 60%
Before "4": always
Before "O" if not preceded by "4" "C" "T" "S" "D" "H" Z": 50%
Or, in one step:
" et " --> "AM"
"que " --> "4"
"vit " --> "CC"
"ex " --> "AK"
"it " --> "O"
"am " --> "R"
"em " --> "DZ"
"um " --> "OH"
"is " --> "HZ"
"us " --> "CG"
"e " --> "CC8G"
"d " --> "4O"
"t " --> "C"
"s " --> "OR"
"n " --> "P"
"ver" --> "F"
"er" --> "T"
"in" --> "H"
"qu" --> "S"
"on" --> "4OE"
"i" --> "G"
"a" --> "OE"
"u" --> "AE"
"e" --> "4OD"
"o" --> "8"
"n" --> "E"
"r" --> "C8G"
"p" --> "2"
"c" --> "AN"
"l" --> "AR"
"g" --> "OD"
"b" --> "SC8G"
"s" --> "TC"
"h" --> "4OH"
"d" --> "SC"
"t" --> "D"
"m" --> "TC8G"
"f" --> "CCG"
"v" --> "8G"
"x" --> "A"
"z" --> "K"
[ Oops. While coding the above, found a bug in my old lat2voy. Fixed and redid the old lat2voy runs.
See above... ]
Wrote the rules above as a "lat2psv" script. Had to doctor a bit the result:
--- lat2psv ------------------------
#! /n/gnu/bin/sed -f
# Maps Latin (King James) to pseudo-Voynich (FSG)
# Initially we write FSG "8" as "B", "2" as J", and "4" as "X"
# to avoid confusion with dice throws:
# Map abbreviations:
s/ et /AM/g
s/que /X/g
s/vit /CC/g
s/ex /AK/g
s/it /O/g
s/am /R/g
s/em /DZG/g
s/um /OHA/g
s/is /HZG/g
s/us /CG/g
s/e /CCBG/g
s/d /XO/g
s/t /C/g
s/s /OR/g
s/n /P/g
s/ver/F/g
s/er/T/g
s/in/HC/g
s/qu/S/g
s/on/XOE/g
# Map single letters:
s/i/G/g
s/a/OE/g
s/u/AE/g
s/e/XODC/g
s/o/B/g
s/n/E/g
s/r/CBG/g
s/p/J/g
s/c/AN/g
s/l/AR/g
s/g/OD/g
s/b/SCBG/g
s/s/TC/g
s/h/XOHA/g
s/d/SC/g
s/t/D/g
s/m/TCBG/g
s/f/CCG/g
s/v/BG/g
s/x/A/g
s/z/K/g
# Discard remaining spaces:
s/ //g
# Insert dice throws after each character:
s/^/\#\#/g
s/$/\#\#\#\#\#\#\#\#/g
s/\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)/\10\24\32\46\51\65\73\87/g
# Insert spaces with right probabilities:
s/\([MNGK]\)\([0-7]\)/\1\2 \2/g
s/R\([0-4]\)/R\1 \1/g
s/A\([0-7]\)E\([0-2]\)/A\1E\2 \1/g
s/O\([0-7]\)E\([0-4]\)/O\1E\2 \1/g
s/X\([0-7]\)/ \1X\1/g
s/\([^XCTSDHZ][0-7]\)O\([0-3]\)/ \2\1O\2/g
# Hack to fix the " "-"C" digraph count:
s/ \([0-7]\)C\([0-3]\)/ \1S\2C\2/g
s/ \([0-7]\)C\([4-7]\)/ \1T\2C\2/g
# Hack to fix the " "-"A" digraph count:
s/ \([0-7]\)A\([0-2]\)/ \1B\2A\2/g
s/ \([0-7]\)A\([3-6]\)/ \1O\2D\1A\2/g
s/ \([0-7]\)A\([7-7]\)/ \1O\2H\1A\2/g
# Remove dice throws and padding:
s/\#//g
s/[0-9]//g
# Remove extra spaces:
s/ */ /g
# Translate "JXB" to "248"
s/J/2/g
s/X/4/g
s/B/8/g
------------------------------------
Ok, let's try it:
cat latn.txt \
| tr '\012' ' ' \
| lat2psv \
| fold -w 80 -s \
| sed -e 's/^ //g' -e 's/ $//g' \
> pseudo-voynich-3.fsg
cat pseudo-voynich-3.fsg \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' COG8EDA4TSHRNM2ZPIKLF6'
Digraph counts:
TT C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2997 . . 604 283 306 107 126 . 644 418 291 67 39 . . 54 . 42 1 15
C 2186 101 297 238 262 763 61 79 185 . 104 64 8 2 . . 17 . 4 . 1
O 1723 16 6 5 5 5 591 757 10 . 17 15 211 81 . . 4 . . . .
G 1598 1598 . . . . . . . . . . . . . . . . . . .
8 1219 15 45 28 768 7 4 11 161 . 117 26 2 . . . 14 . 21 . .
E 1083 536 75 79 52 41 40 62 85 . 40 50 4 1 . . 11 . 7 . .
D 1093 83 492 41 55 20 12 25 279 . 16 . 25 . . . . 45 . . .
A 984 44 13 39 28 8 263 10 7 . 31 12 3 168 212 123 3 . . 20 .
4 644 2 1 614 3 2 2 2 7 . 6 3 1 . . . 1 . . . .
T 809 7 701 26 8 10 3 3 21 . 10 17 2 . . . . . . 1 .
S 494 7 428 20 23 12 . . . . . . 1 3 . . . . . . .
H 332 20 86 . . . . . 189 . . . . . . . . 37 . . .
R 295 188 15 11 20 18 . 7 16 . 6 9 1 1 . . 3 . . . .
N 212 212 . . . . . . . . . . . . . . . . . . .
M 123 123 . . . . . . . . . . . . . . . . . . .
2 118 20 21 7 8 15 . 4 13 . 26 . 4 . . . . . . . .
Z 82 . . . 82 . . . . . . . . . . . . . . . .
P 74 3 6 9 . 10 . 6 8 . 12 6 2 . . . 11 . . . 1
K 22 22 . . . . . . . . . . . . . . . . . . .
F 17 . . 2 1 2 . 1 3 . 6 1 1 . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 16105 2997 2186 1723 1598 1219 1083 1093 984 644 809 494 332 295 212 123 118 82 74 22 17
Next-symbol probability (× 99):
ntrpy count C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
3.124 2997 . . 20 9 10 4 4 . 21 14 10 2 1 . . 2 . 1 . .
C 2.933 2186 5 13 11 12 35 3 4 8 . 5 3 . . . . 1 . . . .
O 1.982 1723 1 . . . . 34 43 1 . 1 1 12 5 . . . . . . .
G 0.000 1598 99 . . . . . . . . . . . . . . . . . . .
8 1.949 1219 1 4 2 62 1 . 1 13 . 10 2 . . . . 1 . 2 . .
E 2.668 1083 49 7 7 5 4 4 6 8 . 4 5 . . . . 1 . 1 . .
D 2.403 1093 8 45 4 5 2 1 2 25 . 1 . 2 . . . . 4 . . .
A 2.984 984 4 1 4 3 1 26 1 1 . 3 1 . 17 21 12 . . . 2 .
4 0.418 644 . . 94 . . . . 1 . 1 . . . . . . . . . .
T 0.967 809 1 86 3 1 1 . . 3 . 1 2 . . . . . . . . .
S 0.853 494 1 86 4 5 2 . . . . . . . 1 . . . . . . .
H 1.564 332 6 26 . . . . . 56 . . . . . . . . 11 . . .
R 2.066 295 63 5 4 7 6 . 2 5 . 2 3 . . . . 1 . . . .
N 0.000 212 99 . . . . . . . . . . . . . . . . . . .
M 0.000 123 99 . . . . . . . . . . . . . . . . . . .
2 2.923 118 17 18 6 7 13 . 3 11 . 22 . 3 . . . . . . . .
Z 0.000 82 . . . 99 . . . . . . . . . . . . . . . .
P 3.235 74 4 8 12 . 13 . 8 11 . 16 8 3 . . . 15 . . . 1
K 0.000 22 99 . . . . . . . . . . . . . . . . . . .
F 2.660 17 . . 12 6 12 . 6 17 . 35 6 6 . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.065 16105 18 13 11 10 7 7 7 6 4 5 3 2 2 1 1 1 1 0 0 0
Previous-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P K F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
18 . . 35 18 25 10 11 . 99 51 58 20 13 . . 45 . 56 5 87
C 13 3 13 14 16 62 6 7 19 . 13 13 2 1 . . 14 . 5 . 6
O 11 1 . . . . 54 69 1 . 2 3 63 27 . . 3 . . . .
G 10 53 . . . . . . . . . . . . . . . . . . .
8 7 . 2 2 48 1 . 1 16 . 14 5 1 . . . 12 . 28 . .
E 7 18 3 5 3 3 4 6 9 . 5 10 1 . . . 9 . 9 . .
D 7 3 22 2 3 2 1 2 28 . 2 . 7 . . . . 54 . . .
A 6 1 1 2 2 1 24 1 1 . 4 2 1 56 99 99 3 . . 90 .
4 4 . . 35 . . . . 1 . 1 1 . . . . 1 . . . .
T 5 . 32 1 . 1 . . 2 . 1 3 1 . . . . . . 5 .
S 3 . 19 1 1 1 . . . . . . . 1 . . . . . . .
H 2 1 4 . . . . . 19 . . . . . . . . 45 . . .
R 2 6 1 1 1 1 . 1 2 . 1 2 . . . . 3 . . . .
N 1 7 . . . . . . . . . . . . . . . . . . .
M 1 4 . . . . . . . . . . . . . . . . . . .
2 1 1 1 . . 1 . . 1 . 3 . 1 . . . . . . . .
Z 1 . . . 5 . . . . . . . . . . . . . . . .
P 0 . . 1 . 1 . 1 1 . 1 1 1 . . . 9 . . . 6
K 0 1 . . . . . . . . . . . . . . . . . . .
F 0 . . . . . . . . . 1 . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.635
Next-symbol entropy:
ntrpy count C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
3.124 2997 . . 0.466 0.321 0.336 0.172 0.192 . 0.477 0.396 0.327 0.123 0.082 . . 0.104 . 0.086 0.004 0.038
C 2.933 2186 0.205 0.391 0.348 0.367 0.530 0.144 0.173 0.302 . 0.209 0.149 0.030 0.009 . . 0.054 . 0.017 . 0.005
O 1.982 1723 0.063 0.028 0.024 0.024 0.024 0.529 0.521 0.043 . 0.066 0.060 0.371 0.207 . . 0.020 . . . .
G 0.000 1598 . . . . . . . . . . . . . . . . . . . .
8 1.949 1219 0.078 0.176 0.125 0.420 0.043 0.027 0.061 0.386 . 0.325 0.118 0.015 . . . 0.074 . 0.101 . .
E 2.668 1083 0.502 0.267 0.276 0.210 0.179 0.176 0.236 0.288 . 0.176 0.205 0.030 0.009 . . 0.067 . 0.047 . .
D 2.403 1093 0.282 0.518 0.178 0.217 0.106 0.071 0.125 0.503 . 0.089 . 0.125 . . . . 0.189 . . .
A 2.984 984 0.200 0.082 0.185 0.146 0.056 0.509 0.067 0.051 . 0.157 0.078 0.025 0.435 0.477 0.375 0.025 . . 0.114 .
4 0.418 644 0.026 0.014 0.066 0.036 0.026 0.026 0.026 0.071 . 0.063 0.036 0.014 . . . 0.014 . . . .
T 0.967 809 0.059 0.179 0.159 0.066 0.078 0.030 0.030 0.137 . 0.078 0.117 0.021 . . . . . . 0.012 .
S 0.853 494 0.087 0.179 0.187 0.206 0.130 . . . . . . 0.018 0.045 . . . . . . .
H 1.564 332 0.244 0.505 . . . . . 0.463 . . . . . . . . 0.353 . . .
R 2.066 295 0.414 0.219 0.177 0.263 0.246 . 0.128 0.228 . 0.114 0.154 0.028 0.028 . . 0.067 . . . .
N 0.000 212 . . . . . . . . . . . . . . . . . . . .
M 0.000 123 . . . . . . . . . . . . . . . . . . . .
2 2.923 118 0.434 0.443 0.242 0.263 0.378 . 0.166 0.351 . 0.481 . 0.166 . . . . . . . .
Z 0.000 82 . . . . . . . . . . . . . . . . . . . .
P 3.235 74 0.187 0.294 0.370 . 0.390 . 0.294 0.347 . 0.426 0.294 0.141 . . . 0.409 . . . 0.084
K 0.000 22 . . . . . . . . . . . . . . . . . . . .
F 2.660 17 . . 0.363 0.240 0.363 . 0.240 0.442 . 0.530 0.240 0.240 . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.065 16105 0.451 0.391 0.345 0.331 0.282 0.262 0.263 0.246 0.186 0.217 0.154 0.115 0.106 0.082 0.054 0.052 0.039 0.036 0.013 0.010
Close, but not quite it. I give up. As someone said, "the lazy guy has to work for two".
I should write a program to find the right mapping...
Let's go back to the un-hacked transformation, but omitting the blanks:
--- lat2psv ------------------------
#! /n/gnu/bin/sed -f
# Maps Latin (King James) to pseudo-Voynich (FSG)
# Map abbreviations:
s/ et /AM/g
s/que /4/g
s/vit /CC/g
s/ex /AK/g
s/it /O/g
s/am /R/g
s/em /DZ/g
s/um /OH/g
s/is /HZ/g
s/us /CG/g
s/e /CC8G/g
s/d /4O/g
s/t /C/g
s/s /OR/g
s/n /P/g
s/ver/F/g
s/er/T/g
s/in/H/g
s/qu/S/g
s/on/4OE/g
# Map single letters:
s/i/G/g
s/a/OE/g
s/u/AE/g
s/e/4OD/g
s/o/8/g
s/n/E/g
s/r/C8G/g
s/p/2/g
s/c/AN/g
s/l/AR/g
s/g/OD/g
s/b/SC8G/g
s/s/TC/g
s/h/4OH/g
s/d/SC/g
s/t/D/g
s/m/TC8G/g
s/f/CCG/g
s/v/8G/g
s/x/A/g
s/z/K/g
# Discard remaining spaces:
s/ //g
------------------------------------
cat latn.txt \
| tr '\012' ' ' \
| lat2psv \
| fold -w 90 -s \
| sed -e 's/^ //g' -e 's/ $//g' \
> pseudo-voynich-3.fsg
cat pseudo-voynich-3.fsg \
| tr -d '\012' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' COG8EDA4TSHRNM2ZPIKLF6'
Digraph counts:
TT C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . . . . . . . 1 . . . . . . . . . . .
C 1669 . 250 120 226 744 6 35 110 91 50 19 6 1 . . 10 . . . 1
O 1452 . 6 5 5 5 600 538 10 6 17 15 159 82 . . 4 . . . .
G 1516 1 120 199 170 117 24 67 208 245 145 82 47 24 . . 25 . 35 . 7
8 1112 . 45 28 768 7 4 11 54 14 117 26 2 . . . 14 . 22 . .
E 1083 . 151 122 69 64 83 100 169 59 90 124 8 3 . . 23 . 13 . 5
D 874 . 87 141 81 34 74 61 129 79 66 39 27 3 . . 4 45 4 . .
A 827 . . 9 6 . 269 2 1 . 10 1 . 174 212 123 . . . 20 .
4 644 . 1 614 3 2 2 2 7 2 6 3 1 . . . 1 . . . .
T 661 . 553 26 8 11 4 3 21 5 10 17 2 . . . . . . 1 .
S 408 . 342 20 23 14 . . . 5 . . 1 3 . . . . . . .
H 280 . 34 48 32 16 5 16 12 27 25 17 3 . . . 8 37 . . .
R 295 . 30 38 55 48 1 15 31 29 16 20 4 5 . . 3 . . . .
N 212 . 8 40 37 12 . 5 34 47 23 . 4 . . . . . . . 2
M 123 . 10 16 14 7 9 1 12 6 18 15 9 . . . 6 . . . .
2 118 . 21 7 8 15 . 4 13 20 26 . 4 . . . . . . . .
Z 82 . 5 6 6 3 2 6 4 4 20 17 . . . . 8 . . 1 .
P 74 . 6 9 . 10 . 6 8 3 12 6 2 . . . 11 . . . 1
K 22 . . 2 4 1 . 1 1 1 4 6 . . . . 1 . . . 1
F 17 . . 2 1 2 . 1 3 . 6 1 1 . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 11470 1 1669 1452 1516 1112 1083 874 827 644 661 408 280 295 212 123 118 82 74 22 17
Next-symbol probability (× 99):
TT TT TT C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
D 3.503 874 99 . 10 16 9 4 8 7 15 9 7 4 3 . . . . 5 . . .
G 3.493 1516 99 . 8 13 11 8 2 4 14 16 9 5 3 2 . . 2 . 2 . .
E 3.456 1083 99 . 14 11 6 6 8 9 15 5 8 11 1 . . . 2 . 1 . .
H 3.418 280 99 . 12 17 11 6 2 6 4 10 9 6 1 . . . 3 13 . . .
M 3.406 123 99 . 8 13 11 6 7 1 10 5 14 12 7 . . . 5 . . . .
R 3.254 295 99 . 10 13 18 16 . 5 10 10 5 7 1 2 . . 1 . . . .
P 3.235 74 99 . 8 12 . 13 . 8 11 4 16 8 3 . . . 15 . . . 1
Z 3.177 82 99 . 6 7 7 4 2 7 5 5 24 21 . . . . 10 . . 1 .
K 2.936 22 99 . . 9 18 5 . 5 5 5 18 27 . . . . 5 . . . 5
2 2.923 118 99 . 18 6 7 13 . 3 11 17 22 . 3 . . . . . . . .
N 2.858 212 99 . 4 19 17 6 . 2 16 22 11 . 2 . . . . . . . 1
F 2.660 17 99 . . 12 6 12 . 6 17 . 35 6 6 . . . . . . . .
C 2.538 1669 99 . 15 7 13 44 . 2 7 5 3 1 . . . . 1 . . . .
A 2.286 827 99 . . 1 1 . 32 . . . 1 . . 21 25 15 . . . 2 .
O 2.007 1452 99 . . . . . 41 37 1 . 1 1 11 6 . . . . . . .
8 1.799 1112 99 . 4 2 68 1 . 1 5 1 10 2 . . . . 1 . 2 . .
T 1.132 661 99 . 83 4 1 2 1 . 3 1 1 3 . . . . . . . . .
S 0.979 408 99 . 83 5 6 3 . . . 1 . . . 1 . . . . . . .
4 0.418 644 99 . . 94 . . . . 1 . 1 . . . . . . . . . .
0.000 1 99 . . . . . . . . 99 . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.481 11470 99 0 14 13 13 10 9 8 7 6 6 4 2 3 2 1 1 1 1 0 0
Previous-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P K F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . . . . .
C 14 . 15 8 15 66 1 4 13 14 7 5 2 . . . 8 . . . 6
O 13 . . . . . 55 61 1 1 3 4 56 28 . . 3 . . . .
G 13 99 7 14 11 10 2 8 25 38 22 20 17 8 . . 21 . 47 . 41
8 10 . 3 2 50 1 . 1 6 2 18 6 1 . . . 12 . 29 . .
E 9 . 9 8 5 6 8 11 20 9 13 30 3 1 . . 19 . 17 . 29
D 8 . 5 10 5 3 7 7 15 12 10 9 10 1 . . 3 54 5 . .
A 7 . . 1 . . 25 . . . 1 . . 58 99 99 . . . 90 .
4 6 . . 42 . . . . 1 . 1 1 . . . . 1 . . . .
T 6 . 33 2 1 1 . . 3 1 1 4 1 . . . . . . 5 .
S 4 . 20 1 2 1 . . . 1 . . . 1 . . . . . . .
H 2 . 2 3 2 1 . 2 1 4 4 4 1 . . . 7 45 . . .
R 3 . 2 3 4 4 . 2 4 4 2 5 1 2 . . 3 . . . .
N 2 . . 3 2 1 . 1 4 7 3 . 1 . . . . . . . 12
M 1 . 1 1 1 1 1 . 1 1 3 4 3 . . . 5 . . . .
2 1 . 1 . 1 1 . . 2 3 4 . 1 . . . . . . . .
Z 1 . . . . . . 1 . 1 3 4 . . . . 7 . . 5 .
P 1 . . 1 . 1 . 1 1 . 2 1 1 . . . 9 . . . 6
K 0 . . . . . . . . . 1 1 . . . . 1 . . . 6
F 0 . . . . . . . . . 1 . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.656
Next-symbol entropy:
TT TT C O G 8 E D A 4 T S H R N M 2 Z P K F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
D 3.503 874 . 0.331 0.425 0.318 0.182 0.302 0.268 0.407 0.313 0.281 0.200 0.155 0.028 . . 0.036 0.220 0.036 . .
G 3.493 1516 0.007 0.290 0.385 0.354 0.285 0.095 0.199 0.393 0.425 0.324 0.228 0.155 0.095 . . 0.098 . 0.126 . 0.036
E 3.456 1083 . 0.396 0.355 0.253 0.241 0.284 0.317 0.418 0.229 0.298 0.358 0.052 0.024 . . 0.118 . 0.077 . 0.036
H 3.418 280 . 0.369 0.436 0.358 0.236 0.104 0.236 0.195 0.325 0.311 0.245 0.070 . . . 0.147 0.386 . . .
M 3.406 123 . 0.294 0.383 0.357 0.235 0.276 0.056 0.328 0.213 0.406 0.370 0.276 . . . 0.213 . . . .
R 3.254 295 . 0.335 0.381 0.452 0.426 0.028 0.219 0.342 0.329 0.228 0.263 0.084 0.100 . . 0.067 . . . .
P 3.235 74 . 0.294 0.370 . 0.390 . 0.294 0.347 0.187 0.426 0.294 0.141 . . . 0.409 . . . 0.084
Z 3.177 82 . 0.246 0.276 0.276 0.175 0.131 0.276 0.213 0.213 0.496 0.471 . . . . 0.328 . . 0.078 .
K 2.936 22 . . 0.314 0.447 0.203 . 0.203 0.203 0.203 0.447 0.511 . . . . 0.203 . . . 0.203
2 2.923 118 . 0.443 0.242 0.263 0.378 . 0.166 0.351 0.434 0.481 . 0.166 . . . . . . . .
N 2.858 212 . 0.178 0.454 0.440 0.235 . 0.127 0.423 0.482 0.348 . 0.108 . . . . . . . 0.063
F 2.660 17 . . 0.363 0.240 0.363 . 0.240 0.442 . 0.530 0.240 0.240 . . . . . . . .
C 2.538 1669 . 0.410 0.273 0.391 0.520 0.029 0.117 0.259 0.229 0.152 0.074 0.029 0.006 . . 0.044 . . . 0.006
A 2.286 827 . . 0.071 0.052 . 0.527 0.021 0.012 . 0.077 0.012 . 0.473 0.503 0.409 . . . 0.130 .
O 2.007 1452 . 0.033 0.028 0.028 0.028 0.527 0.531 0.049 0.033 0.075 0.068 0.349 0.234 . . 0.023 . . . .
8 1.799 1112 . 0.187 0.134 0.369 0.046 0.029 0.066 0.212 0.079 0.342 0.127 0.016 . . . 0.079 . 0.112 . .
T 1.132 661 . 0.215 0.184 0.077 0.098 0.045 0.035 0.158 0.053 0.091 0.136 0.025 . . . . . . 0.014 .
S 0.979 408 . 0.213 0.213 0.234 0.167 . . . 0.078 . . 0.021 0.052 . . . . . . .
4 0.418 644 . 0.014 0.066 0.036 0.026 0.026 0.026 0.071 0.026 0.063 0.036 0.014 . . . 0.014 . . . .
0.000 1 . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.481 11470 0.001 0.405 0.377 0.386 0.326 0.321 0.283 0.274 0.233 0.237 0.171 0.131 0.136 0.106 0.070 0.068 0.051 0.047 0.017 0.014
Comparison with spaceless Voynichese:
cat .tmp-c-fsg.txt \
| sed \
-e 's/\/\///g' \
-e 's/\*//g' \
-e's/=//g' \
| /n/gnu/bin/tr '\012' ' ' \
| /n/gnu/bin/sed \
-e 's/CM/AN/g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/6/8/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/A /G /g' \
| fold -w 90 -s \
| /n/gnu/bin/sed \
-e 's/^ *//g' -e 's/ *$//g' -e 's/ */ /g' \
> .voyn.fsg
cat .voyn.fsg \
| tr -d ' \012' \
| fold -w 90 \
> .voyn.fss
cat .voyn.fss \
| tr -d ' \012' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' COG8EDA4TSHRNM2ZPIKLF6'
Digraph counts:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . . . . . . . . . . . . . . . . . . . . 1
C 4278 . 953 175 845 1903 4 157 56 4 15 9 80 9 1 . 45 . 17 . . 2 3
O 3909 . 19 12 17 35 1347 1436 4 15 10 10 572 303 7 14 10 . 68 9 7 1 13
G 3788 1 9 583 70 323 323 124 22 1378 244 202 151 124 . . 166 . 62 1 1 2 2
8 2752 . 15 94 2061 7 16 8 423 28 41 45 4 2 . . 5 . . 1 . 1 1
E 2353 . 20 381 126 197 47 312 74 139 503 348 71 28 . . 69 . 27 . 2 . 9
D 2192 . 869 82 171 3 11 . 749 . 72 31 . 1 . 1 . 199 . 3 . . .
A 1990 . . 6 4 15 554 4 1 . . 1 4 399 483 401 7 . 2 54 43 12 .
4 1676 . 20 1629 4 . . 6 3 1 . 1 6 . . . 2 . 2 . . . 2
T 1453 . 1053 50 62 97 13 83 27 . 1 3 39 4 . . 6 . 12 . . . 3
S 1078 . 866 38 28 41 5 45 23 2 3 . 25 1 . . 1 . . . . . .
H 973 . 341 60 88 3 3 1 261 . 62 27 . 1 . . 1 121 . 4 . . .
R 915 . 7 286 60 29 7 6 156 45 129 154 6 2 . . 10 . 15 2 . . 1
N 491 . 3 167 11 34 4 . 11 22 115 103 5 1 . . 10 . 5 . . . .
M 440 . 1 132 14 27 3 5 4 25 115 91 2 1 . . 15 . 3 1 . . 1
2 372 . 2 136 11 5 2 5 151 5 19 21 7 . . . 5 . 2 1 . . .
Z 345 . 95 11 204 21 . . 10 . 2 1 . . . . 1 . . . . . .
P 216 . 4 51 7 3 . . 13 . 92 25 . . . . . 21 . . . . .
I 92 . . . . . 9 . . . . . . 39 . 24 . . . 16 4 . .
K 57 . . 9 3 9 2 . . 10 2 2 1 . . . 18 . 1 . . . .
L 18 . . 4 2 . 3 . . 2 4 2 . . . . 1 . . . . . .
F 36 . 1 3 . . . . 2 . 24 2 . . . . . 4 . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 29425 1 4278 3909 3788 2752 2353 2192 1990 1676 1453 1078 973 915 491 440 372 345 216 92 57 18 36
Next-symbol probability (× 99):
TT C Z O G 8 E D A 4 T S H R N M 2 P I K L F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . . . . . . . . . . . . . . . . . . . . . 99
D 99 . 39 9 4 8 . . . 34 . 3 1 . . . . . . . . . .
H 99 . 35 12 6 9 . . . 27 . 6 3 . . . . . . . . . .
P 99 . 2 10 23 3 1 . . 6 . 42 11 . . . . . . . . . .
F 99 . 3 11 8 . . . . 6 . 66 6 . . . . . . . . . .
T 99 . 72 . 3 4 7 1 6 2 . . . 3 . . . . 1 . . . .
S 99 . 80 . 3 3 4 . 4 2 . . . 2 . . . . . . . . .
Z 99 . 27 . 3 59 6 . . 3 . 1 . . . . . . . . . . .
C 99 . 22 . 4 20 44 . 4 1 . . . 2 . . . 1 . . . . .
2 99 . 1 . 36 3 1 1 1 40 1 5 6 2 . . . 1 1 . . . .
R 99 . 1 . 31 6 3 1 1 17 5 14 17 1 . . . 1 2 . . . .
N 99 . 1 . 34 2 7 1 . 2 4 23 21 1 . . . 2 1 . . . .
M 99 . . . 30 3 6 1 1 1 6 26 20 . . . . 3 1 . . . .
K 99 . . . 16 5 16 3 . . 17 3 3 2 . . . 31 2 . . . .
L 99 . . . 22 11 . 17 . . 11 22 11 . . . . 6 . . . . .
G 99 . . . 15 2 8 8 3 1 36 6 5 4 3 . . 4 2 . . . .
O 99 . . . . . 1 34 36 . . . . 14 8 . . . 2 . . . .
A 99 . . . . . 1 28 . . . . . . 20 24 20 . . 3 2 1 .
8 99 . 1 . 3 74 . 1 . 15 1 1 2 . . . . . . . . . .
E 99 . 1 . 16 5 8 2 13 3 6 21 15 3 1 . . 3 1 . . . .
4 99 . 1 . 96 . . . . . . . . . . . . . . . . . .
I 99 . . . . . . 10 . . . . . . 42 . 26 . . 17 4 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 0 14 1 13 13 9 8 7 7 6 5 4 3 3 2 1 1 1 0 0 0 0
Previous-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . . . . . . 3
C 14 . 22 4 22 68 . 7 3 . 1 1 8 1 . . 12 . 8 . . 11 8
O 13 . . . . 1 57 65 . 1 1 1 58 33 1 3 3 . 31 10 12 6 36
G 13 99 . 15 2 12 14 6 1 81 17 19 15 13 . . 44 . 28 1 2 11 6
8 9 . . 2 54 . 1 . 21 2 3 4 . . . . 1 . . 1 . 6 3
E 8 . . 10 3 7 2 14 4 8 34 32 7 3 . . 18 . 12 . 3 . 25
D 7 . 20 2 4 . . . 37 . 5 3 . . . . . 57 . 3 . . .
A 7 . . . . 1 23 . . . . . . 43 97 90 2 . 1 58 75 66 .
4 6 . . 41 . . . . . . . . 1 . . . 1 . 1 . . . 6
T 5 . 24 1 2 3 1 4 1 . . . 4 . . . 2 . 6 . . . 8
S 4 . 20 1 1 1 . 2 1 . . . 3 . . . . . . . . . .
H 3 . 8 2 2 . . . 13 . 4 2 . . . . . 35 . 4 . . .
R 3 . . 7 2 1 . . 8 3 9 14 1 . . . 3 . 7 2 . . 3
N 2 . . 4 . 1 . . 1 1 8 9 1 . . . 3 . 2 . . . .
M 1 . . 3 . 1 . . . 1 8 8 . . . . 4 . 1 1 . . 3
2 1 . . 3 . . . . 8 . 1 2 1 . . . 1 . 1 1 . . .
Z 1 . 2 . 5 1 . . . . . . . . . . . . . . . . .
P 1 . . 1 . . . . 1 . 6 2 . . . . . 6 . . . . .
I 0 . . . . . . . . . . . . 4 . 5 . . . 17 7 . .
K 0 . . . . . . . . 1 . . . . . . 5 . . . . . .
L 0 . . . . . . . . . . . . . . . . . . . . . .
F 0 . . . . . . . . . 2 . . . . . . 1 . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.727
Next-symbol entropy:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
E 3.282 . 0.058 0.425 0.226 0.300 0.113 0.387 0.157 0.241 0.476 0.408 0.152 0.076 . . 0.149 . 0.074 . 0.009 . 0.031
G 3.027 0.003 0.021 0.416 0.106 0.303 0.303 0.161 0.043 0.531 0.255 0.226 0.185 0.161 . . 0.198 . 0.097 0.003 0.003 0.006 0.006
R 2.841 . 0.054 0.524 0.258 0.158 0.054 0.048 0.435 0.214 0.398 0.433 0.048 0.019 . . 0.071 . 0.097 0.019 . . 0.011
K 2.744 . . 0.420 0.224 0.420 0.170 . . 0.441 0.170 0.170 0.102 . . . 0.525 . 0.102 . . . .
L 2.684 . . 0.482 0.352 . 0.431 . . 0.352 0.482 0.352 . . . . 0.232 . . . . . .
M 2.652 . 0.020 0.521 0.158 0.247 0.049 0.073 0.062 0.235 0.506 0.470 0.035 0.020 . . 0.166 . 0.049 0.020 . . 0.020
N 2.574 . 0.045 0.529 0.123 0.267 0.057 . 0.123 0.201 0.490 0.473 0.067 0.018 . . 0.114 . 0.067 . . . .
H 2.486 . 0.530 0.248 0.314 0.026 0.026 0.010 0.509 . 0.253 0.144 . 0.010 . . 0.010 0.374 . 0.033 . . .
A 2.427 . . 0.025 0.018 0.053 0.514 0.018 0.006 . . 0.006 0.018 0.465 0.496 0.466 0.029 . 0.010 0.141 0.120 0.044 .
P 2.300 . 0.107 0.492 0.160 0.086 . . 0.244 . 0.524 0.360 . . . . . 0.327 . . . . .
2 2.249 . 0.041 0.531 0.150 0.084 0.041 0.084 0.528 0.084 0.219 0.234 0.108 . . . 0.084 . 0.041 0.023 . . .
O 2.231 . 0.037 0.026 0.034 0.061 0.530 0.531 0.010 0.031 0.022 0.022 0.406 0.286 0.016 0.029 0.022 . 0.102 0.020 0.016 0.003 0.027
C 2.218 . 0.483 0.189 0.462 0.520 0.009 0.175 0.082 0.009 0.029 0.019 0.107 0.019 0.003 . 0.069 . 0.032 . . 0.005 0.007
D 2.160 . 0.529 0.177 0.287 0.013 0.038 . 0.529 . 0.162 0.087 . 0.005 . 0.005 . 0.314 . 0.013 . . .
I 1.994 . . . . . 0.328 . . . . . . 0.525 . 0.506 . . . 0.439 0.197 . .
T 1.660 . 0.337 0.167 0.194 0.261 0.061 0.236 0.107 . 0.007 0.018 0.140 0.023 . . 0.033 . 0.057 . . . 0.018
F 1.648 . 0.144 0.299 . . . . 0.232 . 0.390 0.232 . . . . . 0.352 . . . . .
Z 1.605 . 0.512 0.158 0.448 0.246 . . 0.148 . 0.043 0.024 . . . . 0.024 . . . . . .
8 1.330 . 0.041 0.166 0.312 0.022 0.043 0.024 0.415 0.067 0.090 0.097 0.014 0.008 . . 0.017 . . 0.004 . 0.004 0.004
S 1.271 . 0.254 0.170 0.137 0.179 0.036 0.191 0.118 0.017 0.024 . 0.126 0.009 . . 0.009 . . . . . .
4 0.259 . 0.076 0.040 0.021 . . 0.029 0.016 0.006 . 0.006 0.029 . . . 0.012 . 0.012 . . . 0.012
0.000 . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.196 0.001 0.404 0.387 0.381 0.320 0.291 0.279 0.263 0.235 0.214 0.175 0.163 0.156 0.099 0.091 0.080 0.075 0.052 0.026 0.017 0.007 0.012
Summary:
H1 H2 H1-H2
----- ----- -----
Latin (lowercase, with blanks): 3.996 3.261 0.735
fake Voynichese (FSG, no blanks): 3.656 2.481 1.175
true Voynichese (FSG, no blanks): 3.727 2.196 1.531
Attempst to break at points of maximum H2 and join points of minimum H2:
cat .voyn.fss \
| tr -d ' \012' \
| sed \
-e 's/\([EGKLMNR]\)/\1 /g' \
-e 's/4OE/u/g' \
-e 's/4OD/d/g' \
-e 's/4OH/h/g' \
-e 's/4O/Q/g' \
-e 's/4C/Q/g' \
-e 's/OD/U/g' \
-e 's/OH/V/g' \
-e 's/TC8G/f/g' \
-e 's/SC8G/g/g' \
-e 's/CC8G/p/g' \
-e 's/TCG/i/g' \
-e 's/SCG/j/g' \
-e 's/CCG/l/g' \
-e 's/ZCG/W/g' \
-e 's/TC/t/g' \
-e 's/SC/s/g' \
-e 's/CC8/y/g' \
-e 's/CC/c/g' \
-e 's/C8G/w/g' \
-e 's/8G/B/g' \
-e 's/ZG/J/g' \
-e 's/OE/o/g' \
-e 's/AE/e/g' \
-e 's/AM/m/g' \
-e 's/AN/n/g' \
-e 's/AR/r/g' \
-e 's/OR/x/g' \
-e 's/AK/k/g' \
-e 's/\([HDQUV28Phd]\)/\1 /g' \
-e 's/[IKML4N]//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CTSfgpijldhtscEAuoemnrxykOQUVW8wBJGDHR2ZPF'
Digraph counts:
TT C T S f g p i j l d h t s c E A u o e m n r x y k O Q U V W 8 w B J G D H R 2 Z P F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
12589 14 244 469 305 439 358 358 200 143 204 1066 271 293 246 26 422 58 189 952 495 413 477 386 240 20 36 158 101 338 298 53 497 436 154 204 569 474 256 181 301 84 140 21
C 334 . . 7 6 3 . 15 2 3 9 2 . . . . 3 2 1 27 4 1 1 6 6 1 . 2 . . . . 42 . . . 111 31 14 5 22 . 6 2
T 488 . . 1 2 . . 33 . . 55 . . . 1 . 13 . . 31 14 . 1 8 9 . 4 5 . 3 2 . 16 . 81 . 62 83 39 4 6 . 12 3
S 320 . . 1 . . . 57 1 . 51 1 . 1 . . 5 1 1 26 9 1 1 10 4 . 1 2 . 6 . . 5 . 36 . 28 45 25 1 1 . . .
f 461 461 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
g 359 359 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
p 466 466 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i 206 206 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
j 150 150 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
l 323 323 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
d 1081 1081 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
h 271 271 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
t 298 2 36 2 . . . . . . 1 . . . . 1 . 1 . 57 11 . 1 8 10 . 1 1 . 3 . . 51 . . . . 56 35 2 14 . 5 .
s 249 1 42 . . . . . . . . . . . . . . . . 43 8 . . 5 13 . 1 2 . 3 . . 31 . . . . 62 27 . 3 . 6 2
c 27 . 2 1 . . . . . . . . . . . . 1 . . 6 2 . . 3 1 . . 1 . . . . . . . . . 1 1 2 6 . . .
E 452 452 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A 62 12 . . 1 . . . . . . . . . . . 6 . . 2 1 . . . . . . 4 . . . . 9 . 6 . 4 4 4 . 7 . 2 .
u 192 192 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 1155 1155 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 554 554 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 416 416 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 483 483 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 431 431 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 289 289 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
y 23 . . . 2 1 . . . . . 5 . . . . 2 . . 2 2 . . 3 1 . 1 . 1 1 1 . . . . . . . . . 1 . . .
k 44 44 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
O 180 35 3 1 2 3 1 3 . 4 2 7 . 2 1 . . . 1 2 . . 1 . 1 . . 3 3 . . . 14 1 11 . 16 . . . 10 . 45 8
Q 105 105 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
U 355 355 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
V 301 301 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
W 54 54 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8 668 668 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
w 469 469 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B 306 306 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
J 204 204 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
G 790 790 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 756 756 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 401 401 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 195 195 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 372 372 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Z 87 . 6 1 . . . . 1 . 1 . . . 1 . . . . 4 7 . 1 2 4 2 . 2 . 1 . . 3 32 18 . . . . . 1 . . .
P 216 216 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
F 36 . 1 5 2 15 . . 2 . . . . 2 . . . . . 3 1 1 . . . . . . . . . 1 . . . . . . . . . 3 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 27218 12589 334 488 320 461 359 466 206 150 323 1081 271 298 249 27 452 62 192 1155 554 416 483 431 289 23 44 180 105 355 301 54 668 469 306 204 790 756 401 195 372 87 216 36
Next-symbol probability (× 99):
TT TT C T S f g p i j l d h t s c E A u o e m n r x y k O Q U V W 8 w B J G D H R 2 Z P F
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
5.038 12589 . 2 4 2 3 3 3 2 1 2 8 2 2 2 . 3 . 1 7 4 3 4 3 2 . . 1 1 3 2 . 4 3 1 2 4 4 2 1 2 1 1 .
T 3.657 488 . . . . . . 7 . . 11 . . . . . 3 . . 6 3 . . 2 2 . 1 1 . 1 . . 3 . 16 . 13 17 8 1 1 . 2 1
O 3.610 180 19 2 1 1 2 1 2 . 2 1 4 . 1 1 . . . 1 1 . . 1 . 1 . . 2 2 . . . 8 1 6 . 9 . . . 6 . 25 4
S 3.514 320 . . . . . . 18 . . 16 . . . . . 2 . . 8 3 . . 3 1 . . 1 . 2 . . 2 . 11 . 9 14 8 . . . . .
C 3.513 334 . . 2 2 1 . 4 1 1 3 1 . . . . 1 1 . 8 1 . . 2 2 . . 1 . . . . 12 . . . 33 9 4 1 7 . 2 1
y 3.464 23 . . . 9 4 . . . . . 22 . . . . 9 . . 9 9 . . 13 4 . 4 . 4 4 4 . . . . . . . . . 4 . . .
A 3.402 62 19 . . 2 . . . . . . . . . . . 10 . . 3 2 . . . . . . 6 . . . . 14 . 10 . 6 6 6 . 11 . 3 .
t 3.241 298 1 12 1 . . . . . . . . . . . . . . . 19 4 . . 3 3 . . . . 1 . . 17 . . . . 19 12 1 5 . 2 .
c 3.208 27 . 7 4 . . . . . . . . . . . . 4 . . 22 7 . . 11 4 . . 4 . . . . . . . . . 4 4 7 22 . . .
s 3.046 249 . 17 . . . . . . . . . . . . . . . . 17 3 . . 2 5 . . 1 . 1 . . 12 . . . . 25 11 . 1 . 2 1
Z 3.029 87 . 7 1 . . . . 1 . 1 . . . 1 . . . . 5 8 . 1 2 5 2 . 2 . 1 . . 3 36 20 . . . . . 1 . . .
F 2.789 36 . 3 14 6 41 . . 6 . . . . 6 . . . . . 8 3 3 . . . . . . . . . 3 . . . . . . . . . 8 . .
2 0.000 372 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8 0.000 668 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B 0.000 306 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 0.000 756 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
E 0.000 452 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
G 0.000 790 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 0.000 401 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
J 0.000 204 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
P 0.000 216 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 0.000 105 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 0.000 195 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
U 0.000 355 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
V 0.000 301 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
W 0.000 54 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
d 0.000 1081 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 0.000 554 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
f 0.000 461 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
g 0.000 359 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
h 0.000 271 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i 0.000 206 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
j 0.000 150 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
k 0.000 44 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
l 0.000 323 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 0.000 416 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 0.000 483 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 0.000 1155 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
p 0.000 466 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 0.000 431 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
u 0.000 192 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
w 0.000 469 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 0.000 289 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.595 27218 46 1 2 1 2 1 2 1 1 1 4 1 1 1 0 2 0 1 4 2 2 2 2 1 0 0 1 0 1 1 0 2 2 1 1 3 3 1 1 1 0 1 0
Symbol entropy: 3.699
Next-symbol entropy:
TT TT C T S f g p i j l d h t s c E A u o e m n r x y k O Q U V W 8 w B J G D H R 2 Z P F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
5.038 12589 0.011 0.110 0.177 0.130 0.169 0.146 0.146 0.095 0.073 0.096 0.302 0.119 0.126 0.111 0.018 0.164 0.036 0.091 0.282 0.184 0.162 0.179 0.154 0.109 0.015 0.024 0.079 0.056 0.140 0.128 0.033 0.184 0.168 0.078 0.096 0.202 0.178 0.114 0.088 0.129 0.048 0.072 0.015
T 3.657 488 . . 0.018 0.033 . . 0.263 . . 0.355 . . . 0.018 . 0.139 . . 0.253 0.147 . 0.018 0.097 0.106 . 0.057 0.068 . 0.045 0.033 . 0.162 . 0.430 . 0.378 0.435 0.291 0.057 0.078 . 0.131 0.045
O 3.610 180 0.459 0.098 0.042 0.072 0.098 0.042 0.098 . 0.122 0.072 0.182 . 0.072 0.042 . . . 0.042 0.072 . . 0.042 . 0.042 . . 0.098 0.098 . . . 0.287 0.042 0.246 . 0.310 . . . 0.232 . 0.500 0.200
S 3.514 320 . . 0.026 . . . 0.443 0.026 . 0.422 0.026 . 0.026 . . 0.094 0.026 0.026 0.294 0.145 0.026 0.026 0.156 0.079 . 0.026 0.046 . 0.108 . . 0.094 . 0.355 . 0.308 0.398 0.287 0.026 0.026 . . .
C 3.513 334 . . 0.117 0.104 0.061 . 0.201 0.044 0.061 0.140 0.044 . . . . 0.061 0.044 0.025 0.293 0.076 0.025 0.025 0.104 0.104 0.025 . 0.044 . . . . 0.376 . . . 0.528 0.318 0.192 0.091 0.258 . 0.104 0.044
y 3.464 23 . . . 0.306 0.197 . . . . . 0.479 . . . . 0.306 . . 0.306 0.306 . . 0.383 0.197 . 0.197 . 0.197 0.197 0.197 . . . . . . . . . 0.197 . . .
A 3.402 62 0.459 . . 0.096 . . . . . . . . . . . 0.326 . . 0.160 0.096 . . . . . . 0.255 . . . . 0.404 . 0.326 . 0.255 0.255 0.255 . 0.355 . 0.160 .
t 3.241 298 0.048 0.368 0.048 . . . . . . 0.028 . . . . 0.028 . 0.028 . 0.456 0.176 . 0.028 0.140 0.164 . 0.028 0.028 . 0.067 . . 0.436 . . . . 0.453 0.363 0.048 0.207 . 0.099 .
c 3.208 27 . 0.278 0.176 . . . . . . . . . . . . 0.176 . . 0.482 0.278 . . 0.352 0.176 . . 0.176 . . . . . . . . . 0.176 0.176 0.278 0.482 . . .
s 3.046 249 0.032 0.433 . . . . . . . . . . . . . . . . 0.438 0.159 . . 0.113 0.222 . 0.032 0.056 . 0.077 . . 0.374 . . . . 0.499 0.348 . 0.077 . 0.130 0.056
Z 3.029 87 . 0.266 0.074 . . . . 0.074 . 0.074 . . . 0.074 . . . . 0.204 0.293 . 0.074 0.125 0.204 0.125 . 0.125 . 0.074 . . 0.168 0.531 0.470 . . . . . 0.074 . . .
F 2.789 36 . 0.144 0.396 0.232 0.526 . . 0.232 . . . . 0.232 . . . . . 0.299 0.144 0.144 . . . . . . . . . 0.144 . . . . . . . . . 0.299 . .
2 0.000 372 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8 0.000 668 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B 0.000 306 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 0.000 756 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
E 0.000 452 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
G 0.000 790 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 0.000 401 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
J 0.000 204 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
P 0.000 216 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 0.000 105 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 0.000 195 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
U 0.000 355 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
V 0.000 301 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
W 0.000 54 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
d 0.000 1081 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 0.000 554 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
f 0.000 461 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
g 0.000 359 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
h 0.000 271 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i 0.000 206 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
j 0.000 150 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
k 0.000 44 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
l 0.000 323 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 0.000 416 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 0.000 483 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 0.000 1155 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
p 0.000 466 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 0.000 431 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
u 0.000 192 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
w 0.000 469 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 0.000 289 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.595 27218 0.515 0.078 0.104 0.075 0.100 0.082 0.100 0.053 0.041 0.076 0.185 0.066 0.071 0.062 0.010 0.098 0.020 0.050 0.193 0.114 0.092 0.103 0.095 0.070 0.009 0.015 0.048 0.031 0.082 0.072 0.018 0.131 0.101 0.073 0.053 0.148 0.144 0.090 0.051 0.085 0.026 0.055 0.013
Removing the blanks we get
Next-symbol probability (× 99):
TT TT e o r R G E x u n B w m H D O l Q f U 2 8 A V p P i J h W T g d S C j y k t c s Z F
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
e 4.488 554 1 8 . 1 8 3 4 2 . 5 . . 2 2 1 . 1 7 2 6 11 . 2 . 1 1 . 1 . 6 6 6 4 . 1 . . 4 . 4 . . .
o 4.460 1155 . 7 . 1 5 2 4 1 1 3 . 1 4 19 1 . . 7 2 2 4 . 2 . 1 3 . 1 . 6 5 3 4 . 2 . . 2 . 2 . . .
r 4.439 431 4 17 3 . 7 1 4 . 1 1 . 1 . . 3 . . 3 6 2 2 1 5 . 1 2 . 2 . 5 7 5 4 . 3 . . 4 . 5 . . .
R 4.418 195 8 13 5 1 5 2 6 1 7 1 1 11 1 . 3 1 . 5 1 1 1 1 1 1 2 5 . . . 4 4 1 3 . 1 . 2 4 . 3 . . .
G 4.359 790 . 5 . 3 3 8 1 3 . 2 . . 7 7 1 . 1 2 4 8 10 . 2 . 2 1 . 4 . 2 2 12 3 . 2 . . 2 . 2 . . .
E 4.355 452 1 9 1 2 3 1 4 . . 3 . 1 2 11 4 . . 13 1 2 3 . 1 . 1 5 . . . 7 7 2 5 . 2 . . 5 . 3 . . .
x 4.323 289 4 17 4 . 8 . 3 . 3 . . 5 1 1 3 . . 1 5 . 3 . 2 . 2 3 . 1 . 5 7 3 4 . 1 . . 4 . 5 . . .
u 4.288 192 1 6 2 2 5 2 1 3 1 1 . 2 2 16 2 . . 11 2 2 1 . 3 . 2 8 . . . 6 6 2 8 1 2 . . 2 . 3 . . .
n 4.256 483 1 16 1 . 2 1 1 1 . 1 . . 1 . 2 . . 6 7 2 6 1 7 . 1 3 . 1 . 9 6 3 5 . 4 . . 6 . 7 . . .
B 4.247 306 . 4 1 3 4 7 1 2 . 2 . . 6 4 3 . 2 2 3 6 10 . 3 . 3 1 . 4 . 1 . 20 2 . 1 . . 2 . 1 . . .
w 4.225 469 . 6 . 4 2 8 1 3 . 1 . . 2 2 1 . 2 3 7 3 7 . 5 . 1 1 . 6 . 3 3 20 2 . 1 . . 2 . 2 . . .
m 4.207 416 . 13 . . 3 1 1 . . 1 . . . 1 1 . . 4 8 4 5 . 5 . 1 4 . 1 . 8 5 4 6 . 2 . . 9 . 7 . . .
H 4.112 401 6 6 4 . 9 . 2 . 4 . 12 2 . . . 3 . 3 . . . . . 3 . 1 18 . 4 4 1 . . 5 1 1 . 1 1 . 6 . .
D 4.031 756 3 2 4 . 11 1 1 . 10 . 9 5 . . . 7 . 1 . . . 1 . 9 . 1 16 . 3 2 . . 1 6 1 1 1 . 1 . 6 . .
O 4.015 180 . 4 . . 10 1 1 1 1 6 1 . 1 1 2 1 2 2 2 8 8 . . 2 25 1 . . . 2 1 5 2 2 2 . . 2 . 1 . 4 .
l 3.990 323 . 7 . 8 2 13 2 4 . . . . 2 2 1 . 3 1 5 1 7 . 5 . 1 . . 5 . 3 1 20 2 . . . . 2 . 1 . . .
Q 3.986 105 1 4 1 15 2 . 1 . 1 5 2 1 3 7 1 2 . 1 1 . 6 . . 7 22 1 . . . 2 1 4 1 5 . . . . 1 . . 5 .
f 3.981 461 . 5 . 3 1 8 1 7 . 1 . . 3 2 1 . 2 1 3 4 5 . 3 . 2 . . 8 . 1 1 28 1 1 . . . 3 . 2 . . .
U 3.911 355 8 4 7 . 6 . 1 . 13 . 13 10 . . . 4 . 1 . . . 2 . 11 . 2 1 . 1 2 1 . . 8 1 1 1 . 1 . . . .
2 3.892 372 9 24 8 . 3 1 5 . 9 1 . 13 2 1 3 . . 2 3 1 1 1 1 . 1 . . . . 2 2 1 2 1 1 . . 1 . 2 . . .
8 3.856 668 18 9 18 . . 2 3 1 8 . . 15 1 1 . 1 . 2 1 1 1 1 1 1 . 1 . . . 2 4 2 1 1 . . 1 1 . 1 . . .
A 3.839 62 2 6 . . 8 10 . . . 10 . . 6 6 6 . 2 . 2 13 14 . . . 3 2 . . . 2 2 2 3 . . . . 2 . . . . .
V 3.834 301 10 5 10 . 7 . 1 . 9 . 17 4 . . . 6 . 1 . . . 1 . 8 . 1 . . 1 2 2 . 1 10 1 . . . . . 1 . .
p 3.831 466 1 5 . 3 2 10 1 3 . 1 . . 1 1 1 . 3 3 5 3 4 . 5 . 1 . . 8 . 2 1 31 2 . . . . 2 . 1 . . .
P 3.819 216 3 17 2 . 3 . 2 . . . . 1 . . 2 . . 22 1 . 1 . . . . 4 2 . 2 11 5 . 5 1 1 . . 6 . 1 5 . .
i 3.792 206 . 5 . 5 1 12 . 6 . 1 . . 6 5 . . 2 . 4 5 8 . 3 . 3 . . 8 . 1 . 23 1 . . . . . . . . . .
J 3.755 204 . 6 . 1 1 11 3 2 . . . . 1 . . . . . 4 5 9 . 8 . 1 1 . 5 . 2 . 27 1 . 1 . . 5 . . . . .
h 3.754 271 11 3 7 1 11 . . . 9 . 17 5 . . . 3 . 1 . . . 1 . 15 . 1 . . . 2 1 . 1 6 . . . . 1 . . . .
W 3.678 54 . 6 . 4 4 17 . 4 . . . . 4 . 4 . . . 4 4 7 . 4 . 2 . . 4 . 2 2 24 . . . . . 6 . 2 . . .
T 3.657 488 3 6 2 1 13 3 2 . . 16 . . 8 17 1 11 . . 1 1 3 . . 7 2 . . . . . . . . . . . 1 . . . . 1 .
g 3.646 359 . 5 . . 1 2 1 7 . 1 . . 3 1 1 . 4 2 3 3 5 . 5 . 2 1 . 9 . 1 2 36 2 . 1 . . 1 . 1 . . .
d 3.627 1081 11 2 5 . 6 1 . . 14 . 15 8 . . 1 8 . 1 . . . 1 . 14 . . . . . 2 1 . . 7 . 1 . . . . . . .
S 3.514 320 3 8 3 . 9 2 1 . . 11 . . 8 14 1 16 . . 2 . 2 . . 18 . . . . . . . . . . . . . . . . . . .
C 3.513 334 1 8 2 1 33 1 2 . . . . . 4 9 1 3 . 1 . 7 12 1 . 4 2 1 . . . 2 . 1 2 . 1 . . . . . . 1 .
j 3.471 150 . 6 . 2 1 6 . 6 . 2 . . 6 8 1 . 7 1 3 1 8 . 1 . 1 . . 4 . . 1 34 . . . . . 1 . 1 . . .
y 3.464 23 9 9 13 . . 9 4 . . . . . . . . . 4 4 4 4 . . 4 . . . . . . . . 22 9 . . . 4 . . . . . .
k 3.365 44 . 2 . . 7 . . . . . . . . 2 7 . 5 2 2 27 18 . 5 . 2 . . 2 . . 2 11 . . . . . 2 . 2 . . .
t 3.247 298 4 19 3 1 . . 3 . . . . . 12 19 . . . . 1 5 17 . . . 2 . . . . 1 . . . 12 . . . . . . . . .
c 3.208 27 7 22 11 7 . 4 4 . . . . . 4 4 4 . . . . 22 . . . . . . . . . 4 . . . 7 . . . . . . . . .
s 3.046 249 3 17 2 . . . 5 . . . . . 11 25 1 . . . 1 1 12 . . . 2 . . . . . . . . 17 . . . . . . . 1 .
Z 3.029 87 8 5 2 . . . 5 . 1 20 36 . . . 2 1 . . 1 1 3 . . . . 1 . . . 1 . . . 7 . 2 . . . 1 . . .
F 2.789 36 3 8 . . . . . . . . . 3 . . . . . 41 . . . . . . . 6 . . 3 14 . . 6 3 . . . 6 . . 8 . .
0.000 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.989 14630 4 8 3 1 5 3 2 1 3 2 3 3 3 5 1 2 1 3 2 3 5 0 2 3 1 1 1 2 0 3 2 7 2 2 1 0 0 2 0 2 1 0 0
Also "c" "y" "k" are negligible.
"D" seems to be the mark of a
So, let's try this:
cat .voyn.fss \
| tr -d ' \012' \
| sed \
-e 's/4OE/u/g' \
-e 's/4OD/d/g' \
-e 's/4OH/h/g' \
-e 's/4O/Q/g' \
-e 's/4C/Q/g' \
-e 's/OD/U/g' \
-e 's/OH/V/g' \
-e 's/TC8G/f/g' \
-e 's/SC8G/g/g' \
-e 's/CC8G/p/g' \
-e 's/TCG/i/g' \
-e 's/SCG/j/g' \
-e 's/CCG/l/g' \
-e 's/ZCG/W/g' \
-e 's/TC/t/g' \
-e 's/SC/s/g' \
-e 's/CC8/y/g' \
-e 's/CC/c/g' \
-e 's/C8G/w/g' \
-e 's/8G/B/g' \
-e 's/ZG/J/g' \
-e 's/OE/o/g' \
-e 's/AE/e/g' \
-e 's/AM/m/g' \
-e 's/AN/n/g' \
-e 's/AR/r/g' \
-e 's/OR/x/g' \
-e 's/AK/k/g' \
-e 's/\([eoRrGExunBwmHDO]\)/\1 /g' \
-e 's/[IKML4Ncyk]//g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' CTSfgpijldhtsEAuoemnrxOQUVW8wBJGDHR2ZPF'
Digraph counts:
TT C T S f g p i j l d h t s E A u o e m n r x O Q U V W 8 w B J G D H R 2 Z P F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
7070 . 82 343 242 327 273 89 158 123 70 411 114 219 205 196 19 71 583 111 111 133 108 167 116 41 227 189 39 355 121 138 193 394 404 174 86 226 68 123 21
C 334 . . 7 6 3 . 15 2 3 9 2 . . . 4 2 1 27 4 1 1 6 6 2 . . . . 42 . . . 111 31 14 5 22 . 6 2
T 488 . . 1 2 . . 33 . . 55 . . . 1 13 . . 31 14 . 1 8 9 5 . 4 2 . 18 . 81 . 62 83 39 4 7 . 12 3
S 320 . . 1 . . . 57 1 . 51 1 . 1 . 5 1 1 26 9 1 1 10 4 2 1 6 . . 5 . 36 . 28 45 25 1 1 . . .
f 461 1 3 6 6 6 6 . 2 . . 130 35 16 7 36 . 33 22 2 2 . 1 4 5 8 15 15 . 24 . 3 . 3 11 16 16 17 . 9 1
g 359 . . 4 7 7 6 . 3 3 . 130 31 3 5 8 . 24 19 1 . . 1 2 2 15 11 17 . 18 . 2 . 5 3 12 1 10 . 9 .
p 466 . 1 11 8 13 7 . 1 2 . 145 37 9 6 46 . 16 23 3 . . . 3 5 12 22 22 . 18 . 3 . 8 5 7 13 15 . 5 .
i 206 . . 3 3 . . . 1 . . 47 16 1 . 24 . 12 10 . . . . . 1 5 8 6 . 16 . 2 . 2 10 12 10 10 . 7 .
j 150 . . . . 1 1 . . . . 51 6 1 1 9 . 9 9 . . . . . 2 10 4 2 . 12 . 3 . 1 12 9 3 2 . 2 .
l 323 . . 11 5 3 4 . . 1 . 65 17 6 3 44 . 14 23 . 1 . . 6 3 9 16 16 . 22 . 1 . 5 7 8 26 4 . 2 1
d 1081 . 75 18 1 9 7 154 4 1 87 3 . 1 1 7 15 . 23 123 85 157 53 5 7 . 2 1 4 . 166 1 1 67 . . . 1 2 . .
h 271 . 17 6 2 4 2 42 2 1 7 . . 1 1 1 3 . 9 31 15 24 18 1 . . . 1 1 1 46 . . 29 . . 2 3 1 . .
t 298 . 36 2 . . . . . . 1 . . . 1 . 1 . 57 11 . 1 8 10 1 . 3 . . 51 . . . 2 56 36 2 14 . 5 .
s 249 . 42 . . . . . . . . . . . . 1 . . 44 8 . . 5 13 2 . 3 . . 31 . . . . 62 27 . 3 . 6 2
E 452 452 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A 62 . . 1 2 . 1 . 1 . . 1 . 1 . 6 . . 4 1 . . . . 4 1 1 . . 9 . 6 . 5 4 4 . 8 . 2 .
u 192 192 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 1155 1155 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 554 554 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 416 416 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 483 483 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 431 431 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 289 289 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
O 180 180 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 105 . 5 2 1 1 1 7 1 . 2 4 . . . . . . 4 1 1 1 1 1 1 . 1 . . 6 2 5 . 2 8 3 16 . . 23 5
U 355 . 29 7 1 2 3 39 6 4 16 3 . . . 1 7 . 15 32 36 46 24 3 1 . . 1 2 2 47 . 4 22 . . 1 1 . . .
V 301 . 29 7 3 4 5 25 4 2 19 . . . . 1 2 . 15 31 13 28 29 2 2 . . . 2 1 52 . 1 21 . . 1 . 2 . .
W 54 . . 1 . . 1 . . . . 13 2 3 1 9 . 2 3 . . . . . 2 . 2 2 . 4 . . . 2 . 2 2 2 . 1 .
8 668 . 4 16 10 12 25 4 5 3 4 14 2 7 6 15 9 4 59 123 98 55 122 19 1 2 6 5 . 8 3 2 . . 9 4 2 9 . . 1
w 469 469 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B 306 306 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
J 204 . . 4 2 1 1 . 2 2 . 57 10 10 1 23 . 5 13 . . . 1 6 . 1 9 16 . 18 . 1 . 3 1 2 3 10 . 2 .
G 790 790 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 756 756 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 401 401 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 195 195 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 372 . 2 7 6 6 6 . 1 3 . 4 1 5 6 2 3 . 91 35 49 33 30 19 10 . 11 5 . 2 . 3 . 11 5 7 1 6 . 2 .
Z 87 . 6 1 1 . . . 1 . 1 . . . 1 1 . . 4 7 . 1 2 4 2 . 1 . . 3 32 18 . . . . . 1 . . .
P 216 . 2 24 10 47 10 1 9 2 1 . . 12 3 . . . 38 6 2 1 4 5 4 . 3 1 5 2 . 1 5 7 . . . . 11 . .
F 36 . 1 5 2 15 . . 2 . . . . 2 . . . . 3 1 1 . . . . . . . 1 . . . . . . . . . 3 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 21605 7070 334 488 320 461 359 466 206 150 323 1081 271 298 249 452 62 192 1155 554 416 483 431 289 180 105 355 301 54 668 469 306 204 790 756 401 195 372 87 216 36
Next-symbol probability (× 99):
TT TT C T S f g p i j l d h t s E A u o e m n r x O Q U V W 8 w B J G D H R 2 Z P F
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
4.970 7070 . 1 5 3 5 4 1 2 2 1 6 2 3 3 3 . 1 8 2 2 2 2 2 2 1 3 3 1 5 2 2 3 6 6 2 1 3 1 2 .
l 3.990 323 . . 3 2 1 1 . . . . 20 5 2 1 13 . 4 7 . . . . 2 1 3 5 5 . 7 . . . 2 2 2 8 1 . 1 .
f 3.981 461 . 1 1 1 1 1 . . . . 28 8 3 2 8 . 7 5 . . . . 1 1 2 3 3 . 5 . 1 . 1 2 3 3 4 . 2 .
Q 3.945 105 . 5 2 1 1 1 7 1 . 2 4 . . . . . . 4 1 1 1 1 1 1 . 1 . . 6 2 5 . 2 8 3 15 . . 22 5
2 3.882 372 . 1 2 2 2 2 . . 1 . 1 . 1 2 1 1 . 24 9 13 9 8 5 3 . 3 1 . 1 . 1 . 3 1 2 . 2 . 1 .
U 3.880 355 . 8 2 . 1 1 11 2 1 4 1 . . . . 2 . 4 9 10 13 7 1 . . . . 1 1 13 . 1 6 . . . . . . .
8 3.841 668 . 1 2 1 2 4 1 1 . 1 2 . 1 1 2 1 1 9 18 15 8 18 3 . . 1 1 . 1 . . . . 1 1 . 1 . . .
A 3.839 62 . . 2 3 . 2 . 2 . . 2 . 2 . 10 . . 6 2 . . . . 6 2 2 . . 14 . 10 . 8 6 6 . 13 . 3 .
p 3.831 466 . . 2 2 3 1 . . . . 31 8 2 1 10 . 3 5 1 . . . 1 1 3 5 5 . 4 . 1 . 2 1 1 3 3 . 1 .
V 3.828 301 . 10 2 1 1 2 8 1 1 6 . . . . . 1 . 5 10 4 9 10 1 1 . . . 1 . 17 . . 7 . . . . 1 . .
P 3.819 216 . 1 11 5 22 5 . 4 1 . . . 6 1 . . . 17 3 1 . 2 2 2 . 1 . 2 1 . . 2 3 . . . . 5 . .
i 3.792 206 . . 1 1 . . . . . . 23 8 . . 12 . 6 5 . . . . . . 2 4 3 . 8 . 1 . 1 5 6 5 5 . 3 .
h 3.737 271 . 6 2 1 1 1 15 1 . 3 . . . . . 1 . 3 11 5 9 7 . . . . . . . 17 . . 11 . . 1 1 . . .
J 3.719 204 . . 2 1 . . . 1 1 . 28 5 5 . 11 . 2 6 . . . . 3 . . 4 8 . 9 . . . 1 . 1 1 5 . 1 .
W 3.678 54 . . 2 . . 2 . . . . 24 4 6 2 17 . 4 6 . . . . . 4 . 4 4 . 7 . . . 4 . 4 4 4 . 2 .
g 3.646 359 . . 1 2 2 2 . 1 1 . 36 9 1 1 2 . 7 5 . . . . 1 1 4 3 5 . 5 . 1 . 1 1 3 . 3 . 2 .
T 3.636 488 . . . . . . 7 . . 11 . . . . 3 . . 6 3 . . 2 2 1 . 1 . . 4 . 16 . 13 17 8 1 1 . 2 1
d 3.615 1081 . 7 2 . 1 1 14 . . 8 . . . . 1 1 . 2 11 8 14 5 . 1 . . . . . 15 . . 6 . . . . . . .
S 3.514 320 . . . . . . 18 . . 16 . . . . 2 . . 8 3 . . 3 1 1 . 2 . . 2 . 11 . 9 14 8 . . . . .
C 3.504 334 . . 2 2 1 . 4 1 1 3 1 . . . 1 1 . 8 1 . . 2 2 1 . . . . 12 . . . 33 9 4 1 7 . 2 1
j 3.471 150 . . . . 1 1 . . . . 34 4 1 1 6 . 6 6 . . . . . 1 7 3 1 . 8 . 2 . 1 8 6 2 1 . 1 .
t 3.219 298 . 12 1 . . . . . . . . . . . . . . 19 4 . . 3 3 . . 1 . . 17 . . . 1 19 12 1 5 . 2 .
Z 3.052 87 . 7 1 1 . . . 1 . 1 . . . 1 1 . . 5 8 . 1 2 5 2 . 1 . . 3 36 20 . . . . . 1 . . .
s 3.018 249 . 17 . . . . . . . . . . . . . . . 17 3 . . 2 5 1 . 1 . . 12 . . . . 25 11 . 1 . 2 1
F 2.789 36 . 3 14 6 41 . . 6 . . . . 6 . . . . 8 3 3 . . . . . . . 3 . . . . . . . . . 8 . .
B 0.000 306 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 0.000 756 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
E 0.000 452 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
G 0.000 790 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 0.000 401 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
O 0.000 180 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 0.000 195 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 0.000 554 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 0.000 416 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 0.000 483 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 0.000 1155 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 0.000 431 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
u 0.000 192 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
w 0.000 469 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 0.000 289 99 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.902 21605 32 2 2 1 2 2 2 1 1 1 5 1 1 1 2 0 1 5 3 2 2 2 1 1 0 2 1 0 3 2 1 1 4 3 2 1 2 0 1 0
Previous-symbol probability (× 99):
TT C T S f g p i j l d h t s E A u o e m n r x O Q U V W 8 w B J G D H R 2 Z P F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
32 . 24 70 75 70 75 19 76 81 21 38 42 73 82 43 30 37 50 20 26 27 25 57 64 39 63 62 72 53 26 45 94 49 53 43 44 60 77 56 58
C 2 . . 1 2 1 . 3 1 2 3 . . . . 1 3 1 2 1 . . 1 2 1 . . . . 6 . . . 14 4 3 3 6 . 3 6
T 2 . . . 1 . . 7 . . 17 . . . . 3 . . 3 3 . . 2 3 3 . 1 1 . 3 . 26 . 8 11 10 2 2 . 6 8
S 1 . . . . . . 12 . . 16 . . . . 1 2 1 2 2 . . 2 1 1 1 2 . . 1 . 12 . 4 6 6 1 . . . .
f 2 . 1 1 2 1 2 . 1 . . 12 13 5 3 8 . 17 2 . . . . 1 3 8 4 5 . 4 . 1 . . 1 4 8 5 . 4 3
g 2 . . 1 2 2 2 . 1 2 . 12 11 1 2 2 . 12 2 . . . . 1 1 14 3 6 . 3 . 1 . 1 . 3 1 3 . 4 .
p 2 . . 2 2 3 2 . . 1 . 13 14 3 2 10 . 8 2 1 . . . 1 3 11 6 7 . 3 . 1 . 1 1 2 7 4 . 2 .
i 1 . . 1 1 . . . . . . 4 6 . . 5 . 6 1 . . . . . 1 5 2 2 . 2 . 1 . . 1 3 5 3 . 3 .
j 1 . . . . . . . . . . 5 2 . . 2 . 5 1 . . . . . 1 9 1 1 . 2 . 1 . . 2 2 2 1 . 1 .
l 1 . . 2 2 1 1 . . 1 . 6 6 2 1 10 . 7 2 . . . . 2 2 8 4 5 . 3 . . . 1 1 2 13 1 . 1 3
d 5 . 22 4 . 2 2 33 2 1 27 . . . . 2 24 . 2 22 20 32 12 2 4 . 1 . 7 . 35 . . 8 . . . . 2 . .
h 1 . 5 1 1 1 1 9 1 1 2 . . . . . 5 . 1 6 4 5 4 . . . . . 2 . 10 . . 4 . . 1 1 1 . .
t 1 . 11 . . . . . . . . . . . . . 2 . 5 2 . . 2 3 1 . 1 . . 8 . . . . 7 9 1 4 . 2 .
s 1 . 12 . . . . . . . . . . . . . . . 4 1 . . 1 4 1 . 1 . . 5 . . . . 8 7 . 1 . 3 6
E 2 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
A 0 . . . 1 . . . . . . . . . . 1 . . . . . . . . 2 1 . . . 1 . 2 . 1 1 1 . 2 . 1 .
u 1 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
o 5 16 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
e 3 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
m 2 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
n 2 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
r 2 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
x 1 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
O 1 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Q 0 . 1 . . . . 1 . . 1 . . . . . . . . . . . . . 1 . . . . 1 . 2 . . 1 1 8 . . 11 14
U 2 . 9 1 . . 1 8 3 3 5 . . . . . 11 . 1 6 9 9 6 1 1 . . . 4 . 10 . 2 3 . . 1 . . . .
V 1 . 9 1 1 1 1 5 2 1 6 . . . . . 3 . 1 6 3 6 7 1 1 . . . 4 . 11 . . 3 . . 1 . 2 . .
W 0 . . . . . . . . . . 1 1 1 . 2 . 1 . . . . . . 1 . 1 1 . 1 . . . . . . 1 1 . . .
8 3 . 1 3 3 3 7 1 2 2 1 1 1 2 2 3 14 2 5 22 23 11 28 7 1 2 2 2 . 1 1 1 . . 1 1 1 2 . . 3
w 2 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
B 1 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
J 1 . . 1 1 . . . 1 1 . 5 4 3 . 5 . 3 1 . . . . 2 . 1 3 5 . 3 . . . . . . 2 3 . 1 .
G 4 11 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
D 3 11 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
H 2 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
R 1 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 2 . 1 1 2 1 2 . . 2 . . . 2 2 . 5 . 8 6 12 7 7 7 6 . 3 2 . . . 1 . 1 1 2 1 2 . 1 .
Z 0 . 2 . . . . . . . . . . . . . . . . 1 . . . 1 1 . . . . . 7 6 . . . . . . . . .
P 1 . 1 5 3 10 3 . 4 1 . . . 4 1 . . . 3 1 . . 1 2 2 . 1 . 9 . . . 2 1 . . . . 13 . .
F 0 . . 1 1 3 . . 1 . . . . 1 . . . . . . . . . . . . . . 2 . . . . . . . . . 3 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 4.272
This is getting too big. Let's try to simplify things by this preprocessing:
Remove all spaces
Correct:
"CI" to "A"
"IL" to "N"
"IN" to "M"
delete "I"s before "MNRK"
"OM" to "AM"
"ON" to "AN"
"HM" to "HAN"
"DM" to "DAN"
"CM" to "AN"
final "A" to "G"
Identify these pairs with similar next-letter statistics:
"D" to "H"
"F" to "P"
"S" to "T"
"N" to "M"
"DZ", "HZ", "PZ", "FZ" as "X"
"4O" as "Q"
Discard words still left with with "*" "6" "L" "K" "I" "4" (rare letters).
cat .tmp-c-fsg.txt \
| /n/gnu/bin/sed \
-e 's/$/ /g' \
-e 's/CI/A/g' \
-e 's/IL/N/g' \
-e 's/IN/M/g' \
-e 's/I*\([MNRK]\)/\1/g' \
-e 's/CM/AN/g' \
-e 's/OM/AM/g' \
-e 's/ON/AN/g' \
-e 's/DM/DAN/g' \
-e 's/HM/HAN/g' \
-e 's/D/H/g' \
-e 's/F/P/g' \
-e 's/S/T/g' \
-e 's/N/M/g' \
-e 's/PZ/X/g' \
-e 's/HZ/X/g' \
-e 's/4O/Q/g' \
-e 's/A /G /g' \
| /n/gnu/bin/tr ' ' '\012' \
| egrep -v '[*6LKI4/=]' \
| /n/gnu/bin/tr '\012' ' ' \
| fold -w 90 -s \
| /n/gnu/bin/sed \
-e 's/^ *//g' -e 's/ *$//g' -e 's/ */ /g' \
> .voyn.fsg
cat .voyn.fsg \
| tr -d ' \012' \
| fold -w 90 \
> .voyn.fss
cat .voyn.fss \
| tr -d ' \012' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' HPXRMG8AOQE2TC'
Digraph counts:
TT H P X R M G 8 A O Q E 2 T C
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . 1 . . . . . . . . . . . .
H 2776 . 1 . . 5 . 256 6 974 135 . 14 1 187 1197
P 218 . . . . . . 7 3 16 49 . . . 138 5
X 338 . . . . . . 202 20 10 11 . . . 3 92
R 896 . 10 15 4 2 . 58 28 154 274 47 7 12 280 5
M 917 . 6 6 9 2 . 25 63 16 294 49 6 26 412 3
G 3732 1 260 59 15 119 . 73 317 20 587 1324 314 176 459 8
8 2690 . 11 1 . 2 . 2036 5 402 93 24 16 4 82 14
A 1920 . 5 1 4 422 917 4 8 1 5 . 545 7 1 .
O 2209 . 635 50 12 286 . 14 23 1 5 10 1140 10 14 9
Q 1604 . 1319 28 9 16 . 1 10 3 6 4 192 . 6 10
E 2303 . 369 34 6 27 . 128 190 74 363 137 45 72 840 18
2 363 . 10 2 2 1 . 9 5 153 128 5 2 4 40 2
T 2493 . 36 5 165 5 . 88 134 44 87 2 18 6 7 1896
C 4193 . 114 16 112 9 . 831 1878 52 172 2 4 45 24 934
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 26653 1 2776 218 338 896 917 3732 2690 1920 2209 1604 2303 363 2493 4193
Next-symbol probability (× 99):
TT TT H P X R M G 8 A O Q E 2 T C
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0.000 99 . . 99 . . . . . . . . . . . .
H 1.927 99 . . . . . . 9 . 35 5 . . . 7 43
P 1.547 99 . . . . . . 3 1 7 22 . . . 63 2
X 1.568 99 . . . . . . 59 6 3 3 . . . 1 27
R 2.524 99 . 1 2 . . . 6 3 17 30 5 1 1 31 1
M 2.180 99 . 1 1 1 . . 3 7 2 32 5 1 3 44 .
G 2.859 99 . 7 2 . 3 . 2 8 1 16 35 8 5 12 .
8 1.255 99 . . . . . . 75 . 15 3 1 1 . 3 1
A 1.667 99 . . . . 22 47 . . . . . 28 . . .
O 1.845 99 . 28 2 1 13 . 1 1 . . . 51 . 1 .
Q 1.006 99 . 81 2 1 1 . . 1 . . . 12 . . 1
E 2.814 99 . 16 1 . 1 . 6 8 3 16 6 2 3 36 1
2 2.112 99 . 3 1 1 . . 2 1 42 35 1 1 1 11 1
T 1.457 99 . 1 . 7 . . 3 5 2 3 . 1 . . 75
C 2.190 99 . 3 . 3 . . 20 44 1 4 . . 1 1 22
----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.006 99 0 10 1 1 3 3 14 10 7 8 6 9 1 9 16
Previous-symbol probability (× 99):
TT H P X R M G 8 A O Q E 2 T C
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . .
H 10 . . . . 1 . 7 . 50 6 . 1 . 7 28
P 1 . . . . . . . . 1 2 . . . 5 .
X 1 . . . . . . 5 1 1 . . . . . 2
R 3 . . 7 1 . . 2 1 8 12 3 . 3 11 .
M 3 . . 3 3 . . 1 2 1 13 3 . 7 16 .
G 14 99 9 27 4 13 . 2 12 1 26 82 13 48 18 .
8 10 . . . . . . 54 . 21 4 1 1 1 3 .
A 7 . . . 1 47 99 . . . . . 23 2 . .
O 8 . 23 23 4 32 . . 1 . . 1 49 3 1 .
Q 6 . 47 13 3 2 . . . . . . 8 . . .
E 9 . 13 15 2 3 . 3 7 4 16 8 2 20 33 .
2 1 . . 1 1 . . . . 8 6 . . 1 2 .
T 9 . 1 2 48 1 . 2 5 2 4 . 1 2 . 45
C 16 . 4 7 33 1 . 22 69 3 8 . . 12 1 22
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.484
Next-symbol entropy:
TT H P X R M G 8 A O Q E 2 T C
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
0.000 . . . . . . . . . . . . . . .
H 1.927 . 0.004 . . 0.016 . 0.317 0.019 0.530 0.212 . 0.038 0.004 0.262 0.523
P 1.547 . . . . . . 0.159 0.085 0.277 0.484 . . . 0.418 0.125
X 1.568 . . . . . . 0.444 0.241 0.150 0.161 . . . 0.060 0.511
R 2.524 . 0.072 0.099 0.035 0.020 . 0.256 0.156 0.437 0.523 0.223 0.055 0.083 0.524 0.042
M 2.180 . 0.047 0.047 0.065 0.019 . 0.142 0.265 0.102 0.526 0.226 0.047 0.146 0.519 0.027
G 2.859 0.003 0.268 0.095 0.032 0.159 . 0.111 0.302 0.040 0.420 0.530 0.300 0.208 0.372 0.019
8 1.255 . 0.032 0.004 . 0.008 . 0.304 0.017 0.410 0.168 0.061 0.044 0.014 0.154 0.039
A 1.667 . 0.022 0.006 0.019 0.480 0.509 0.019 0.033 0.006 0.022 . 0.516 0.030 0.006 .
O 1.845 . 0.517 0.124 0.041 0.382 . 0.046 0.069 0.005 0.020 0.035 0.493 0.035 0.046 0.032
Q 1.006 . 0.232 0.102 0.042 0.066 . 0.007 0.046 0.017 0.030 0.022 0.367 . 0.030 0.046
E 2.814 . 0.423 0.090 0.022 0.075 . 0.232 0.297 0.159 0.420 0.242 0.111 0.156 0.531 0.055
2 2.112 . 0.143 0.041 0.041 0.023 . 0.132 0.085 0.525 0.530 0.085 0.041 0.072 0.351 0.041
T 1.457 . 0.088 0.018 0.259 0.018 . 0.170 0.227 0.103 0.169 0.008 0.051 0.021 0.024 0.300
C 2.190 . 0.141 0.031 0.140 0.019 . 0.463 0.519 0.079 0.189 0.005 0.010 0.070 0.043 0.483
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.006 0.001 0.340 0.057 0.080 0.165 0.167 0.397 0.334 0.273 0.298 0.244 0.305 0.084 0.320 0.420
OK, let's start merging:
"AM" -> "m"
"AR" -> "r"
"OR" -> "x"
"AE" -> "e"
"GE" -> "i"
"QE" -> "w"
"OE" -> "u"
It is tempting to merge "OH" -> "b", "QH" -> "h", "GH" -> "k" but that conflicts with the "8G" merging
and is not supported by analysis of line breaks.
Hopefully the leftover "R"s will be mergeable with the "2"s.
cat .voyn.fss \
| tr -d ' \012' \
| /n/gnu/bin/sed \
-e 's/AM/m/g' \
-e 's/AR/r/g' \
-e 's/OR/x/g' \
-e 's/AE/e/g' \
-e 's/GE/i/g' \
-e 's/OE/u/g' \
-e 's/QE/w/g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' HPXRMG8AOQE2TCmrxeiuw'
Digraph counts:
TT H P X R G 8 A O Q E 2 T C m r x e i u w
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . 1 . . . . . . . . . . . . . . . . . .
H 2776 . 1 . . 5 228 6 15 15 . 14 1 187 1197 537 165 23 257 28 97 .
P 218 . . . . . 7 3 . 6 . . . 138 5 5 4 5 7 . 38 .
X 338 . . . . . 182 20 . 3 . . . 3 92 1 2 4 7 20 4 .
R 188 . 2 3 . 1 8 3 1 3 2 4 2 52 3 41 9 11 15 1 26 1
G 3418 1 260 59 15 119 73 317 2 346 1167 . 176 459 8 7 7 39 4 . 202 157
8 2690 . 11 1 . 2 1892 5 5 14 20 16 4 82 14 152 121 18 124 144 61 4
A 36 . 5 1 4 . 4 8 . 3 . . 7 1 . . . . 1 . 2 .
O 783 . 635 50 12 . 13 23 . 2 9 . 10 14 9 1 . 1 . 1 2 1
Q 1412 . 1319 28 9 16 1 10 . 2 4 . . 6 10 1 1 1 1 . 3 .
E 112 . 11 1 1 2 6 4 . 4 5 1 6 46 1 2 1 8 1 . 12 .
2 363 . 10 2 2 1 9 5 2 19 5 2 4 40 2 86 30 19 35 . 90 .
T 2493 . 36 5 165 5 79 134 . 17 1 18 6 7 1896 3 18 13 23 9 57 1
C 4193 . 114 16 112 9 731 1878 2 11 1 4 45 24 934 3 22 30 25 100 131 1
m 917 . 6 6 9 2 24 63 4 147 44 6 26 412 3 2 5 13 5 1 134 5
r 422 . 2 5 3 1 25 16 2 55 31 2 8 141 1 8 11 18 17 2 72 2
x 286 . 6 7 1 . 20 9 . 30 11 1 2 87 1 28 12 10 10 2 49 .
e 545 . 19 7 1 7 44 85 1 23 45 14 33 180 3 4 2 20 3 3 42 9
i 314 . 45 4 . 4 8 21 . 11 1 3 4 163 2 4 4 10 3 . 27 .
u 1140 . 259 19 4 10 55 77 2 62 63 24 26 363 11 25 5 42 5 3 79 6
w 192 . 35 3 . 4 9 3 . 10 3 3 3 88 1 7 3 1 2 . 12 5
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 22837 1 2776 218 338 188 3418 2690 36 783 1412 112 363 2493 4193 917 422 286 545 314 1140 192
Symbol entropy: 3.574
Next-symbol probability (× 99):
TT TT H P X R G 8 A O Q E 2 T C m r x e i u w
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
m 2.635 917 . 1 1 1 . 3 7 . 16 5 1 3 44 . . 1 1 1 . 14 1
r 3.130 422 . . 1 1 . 6 4 . 13 7 . 2 33 . 2 3 4 4 . 17 .
e 3.237 545 . 3 1 . 1 8 15 . 4 8 3 6 33 1 1 . 4 1 1 8 2
x 3.198 286 . 2 2 . . 7 3 . 10 4 . 1 30 . 10 4 3 3 1 17 .
w 2.780 192 . 18 2 . 2 5 2 . 5 2 2 2 45 1 4 2 1 1 . 6 3
u 3.148 1140 . 22 2 . 1 5 7 . 5 5 2 2 32 1 2 . 4 . . 7 1
R 3.190 188 . 1 2 . 1 4 2 1 2 1 2 1 27 2 22 5 6 8 1 14 1
2 3.157 363 . 3 1 1 . 2 1 1 5 1 1 1 11 1 23 8 5 10 . 25 .
G 3.094 3418 . 8 2 . 3 2 9 . 10 34 . 5 13 . . . 1 . . 6 5
E 3.041 112 . 10 1 1 2 5 4 . 4 4 1 5 41 1 2 1 7 1 . 11 .
H 2.557 2776 . . . . . 8 . 1 1 . . . 7 43 19 6 1 9 1 3 .
i 2.523 314 . 14 1 . 1 3 7 . 3 . 1 1 51 1 1 1 3 1 . 9 .
C 2.355 4193 . 3 . 3 . 17 44 . . . . 1 1 22 . 1 1 1 2 3 .
X 1.932 338 . . . . . 53 6 . 1 . . . 1 27 . 1 1 2 6 1 .
P 1.884 218 . . . . . 3 1 . 3 . . . 63 2 2 2 2 3 . 17 .
8 1.831 2690 . . . . . 70 . . 1 1 1 . 3 1 6 4 1 5 5 2 .
T 1.541 2493 . 1 . 7 . 3 5 . 1 . 1 . . 75 . 1 1 1 . 2 .
O 1.264 783 . 80 6 2 . 2 3 . . 1 . 1 2 1 . . . . . . .
Q 0.552 1412 . 92 2 1 1 . 1 . . . . . . 1 . . . . . . .
A 3.003 36 . 14 3 11 . 11 22 . 8 . . 19 3 . . . . 3 . 6 .
0.000 1 . . 99 . . . . . . . . . . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.306 22837 0 12 1 1 1 15 12 0 3 6 0 2 11 18 4 2 1 2 1 5 1
Previous-symbol probability (× 99):
TT H P X R G 8 A O Q E 2 T C m r x e i u w
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . . . . . .
H 12 . . . . 3 7 . 41 2 . 12 . 7 28 58 39 8 47 9 8 .
P 1 . . . . . . . . 1 . . . 5 . 1 1 2 1 . 3 .
X 1 . . . . . 5 1 . . . . . . 2 . . 1 1 6 . .
R 1 . . 1 . 1 . . 3 . . 4 1 2 . 4 2 4 3 . 2 1
G 15 99 9 27 4 63 2 12 6 44 82 . 48 18 . 1 2 13 1 . 18 81
8 12 . . . . 1 55 . 14 2 1 14 1 3 . 16 28 6 23 45 5 2
A 0 . . . 1 . . . . . . . 2 . . . . . . . . .
O 3 . 23 23 4 . . 1 . . 1 . 3 1 . . . . . . . 1
Q 6 . 47 13 3 8 . . . . . . . . . . . . . . . .
E 0 . . . . 1 . . . 1 . 1 2 2 . . . 3 . . 1 .
2 2 . . 1 1 1 . . 6 2 . 2 1 2 . 9 7 7 6 . 8 .
T 11 . 1 2 48 3 2 5 . 2 . 16 2 . 45 . 4 5 4 3 5 1
C 18 . 4 7 33 5 21 69 6 1 . 4 12 1 22 . 5 10 5 32 11 1
m 4 . . 3 3 1 1 2 11 19 3 5 7 16 . . 1 5 1 . 12 3
r 2 . . 2 1 1 1 1 6 7 2 2 2 6 . 1 3 6 3 1 6 1
x 1 . . 3 . . 1 . . 4 1 1 1 3 . 3 3 3 2 1 4 .
e 2 . 1 3 . 4 1 3 3 3 3 12 9 7 . . . 7 1 1 4 5
i 1 . 2 2 . 2 . 1 . 1 . 3 1 6 . . 1 3 1 . 2 .
u 5 . 9 9 1 5 2 3 6 8 4 21 7 14 . 3 1 15 1 1 7 3
w 1 . 1 1 . 2 . . . 1 . 3 1 3 . 1 1 . . . 1 3
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
We can merge
"TCC" -> "a"
"XCC" -> "y"
"TC" -> "t"
"XC" -> "d"
"CC" -> "c"
"OH" -> "b"
"QH" -> "h"
"OP" -> "p"
"QP" -> "q"
"OEH" -> "f"
"4OEH" -> "v"
"EH" -> "j"
From other evidence we know that "TCC" behaves like a letter.
Beware of parsing order...
We can also identify the leftover "R"s with "2"s, abd "A"s to "O"s.
(Remeber to unsplit back them in the inverse mapping.)
There is an ambiguity "8GE" = "8G" + "E" or "8" + "GE"?
Probably the former...
It looks like "GE" is not a good idea.
There is an ambiguity: shoudl "8GH" be parsed as "8G" + "H" or "*" + "GH"?
Probably the former...
cat .voyn.fss \
| tr -d ' \012' \
| /n/gnu/bin/sed \
-e 's/AM/m/g' \
-e 's/AR/r/g' \
-e 's/AE/e/g' \
-e 's/A/O/g' \
-e 's/8G/g/g' \
-e 's/OR/x/g' \
-e 's/OEH/f/g' \
-e 's/QEH/v/g' \
-e 's/OE/u/g' \
-e 's/QE/w/g' \
-e 's/OH/b/g' \
-e 's/QH/h/g' \
-e 's/OP/p/g' \
-e 's/QP/q/g' \
-e 's/EH/j/g' \
-e 's/TCC/a/g' \
-e 's/XCC/y/g' \
-e 's/TC/t/g' \
-e 's/XC/d/g' \
-e 's/CC/c/g' \
-e 's/R/2/g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' mrexuwPpqHhbfvjQE28gGOXdyTtaCc'
Digraph counts:
TT m r e x u w P p q H h b f v j Q E 2 8 g G O X d y T t a C c
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . .
m 917 . 2 5 5 13 90 2 6 7 1 6 42 127 44 3 . 1 6 28 51 12 25 17 6 2 1 100 259 53 1 2
r 422 . 8 11 17 18 56 1 5 5 1 2 30 43 16 1 . . 2 9 10 6 27 9 2 1 . 28 97 16 . 1
e 545 . 4 2 3 20 28 9 7 2 2 19 42 20 14 . 2 1 12 40 61 24 47 2 1 . . 46 118 16 2 1
x 286 . 28 12 10 10 39 . 7 3 . 6 11 22 10 . . . 1 2 9 . 22 5 . 1 . 11 59 17 1 .
u 881 . 25 5 5 42 61 6 19 3 1 . 54 52 18 . 7 8 17 36 42 35 58 9 3 1 . 74 236 53 3 8
w 157 . 7 3 2 1 10 4 3 . . . 3 9 2 1 1 . 2 7 1 2 9 1 . . . 9 60 19 . 1
P 139 . 5 2 2 3 28 . . . . . . 2 4 . . . . . 2 . 3 3 . . . 22 57 2 2 2
p 51 . . 2 5 1 4 . . . . . . . . . . . . . . . 3 . . . . 7 25 3 1 .
q 28 . . . . 1 2 . . . . . . 1 . . . . . . . 1 1 . . . . 5 17 . . .
H 467 . 53 24 31 13 28 . . . . . . 4 3 . . . 1 4 1 . 94 2 . . . 24 31 1 84 69
h 1319 . 282 70 152 4 29 . . 2 . . . . 2 . . . 7 1 1 1 95 12 . . . 26 31 . 296 308
b 640 . 126 51 61 5 23 . . . . . . 1 3 . . . 2 1 2 . 44 7 . . . 17 30 1 154 112
f 259 . 58 13 12 1 5 . . . . 1 . . 2 . . . 2 . . 1 15 . . . . 7 14 . 61 67
v 35 . 5 1 . . . . . . . . . . 1 . . . . . . . 4 . . . . . 2 . 6 16
j 56 . 13 6 1 . 1 . . . . . . . . . . . 2 . . . 4 2 . . . . 3 . 12 12
Q 65 . 1 1 1 1 2 . . . . . 4 1 1 . . . . 16 6 4 1 1 2 7 . 2 3 1 . 10
E 370 . 6 5 4 18 34 . 5 . . . 6 3 5 . 1 . 3 16 13 12 14 12 . 1 . 34 152 23 1 2
2 551 . 127 39 50 30 82 1 5 . . 12 7 19 34 . . . 6 8 3 5 18 6 1 1 . 14 61 17 3 2
8 654 . 152 121 124 18 54 3 1 1 1 11 17 14 7 1 . 2 16 6 3 2 . 4 . . . 21 52 9 6 8
g 2036 1 5 5 4 15 75 73 32 19 16 96 688 177 33 20 19 29 125 139 126 20 41 7 6 3 . 69 170 18 5 .
G 1696 . 2 2 . 24 67 55 27 8 5 164 407 129 27 9 26 22 144 156 149 22 32 8 2 4 . 56 122 24 2 1
O 128 . 1 . 1 1 4 1 . 1 1 . 7 . . . . 1 . 17 15 16 18 4 9 7 . 3 10 2 3 6
X 246 . 1 2 7 4 4 . . . . . . 1 . . . . . . 3 17 202 2 . . . 2 1 . . .
d 90 . . . . . 1 . . . . . . . . . . . 1 3 1 31 53 . . . . . . . . .
y 2 . . . . . . . . . . . . . . . . . . . 1 . 1 . . . . . . . . .
T 597 . 3 18 23 13 46 1 5 . . 36 1 9 11 . . . 18 11 20 114 88 8 123 41 1 4 3 . . .
t 1621 . 1 13 19 23 77 . 9 . . 72 . 6 21 . . . . 19 79 817 353 3 89 18 . 2 . . . .
a 275 . 1 1 3 2 6 1 3 . . 36 . . . . . . . 15 7 90 105 . 1 2 . . . . 2 .
C 672 . 1 5 1 4 19 . 4 . . 5 . . 1 . . 1 2 9 30 447 117 3 1 1 . 13 8 . . .
c 628 . . 3 2 1 6 . . . . 1 . . . . . . 1 8 18 357 202 1 . . . 1 . . 27 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 15834 1 917 422 545 286 881 157 139 51 28 467 1319 640 259 35 56 65 370 551 654 2036 1696 128 246 90 2 597 1621 275 672 628
Symbol entropy: 4.263
Next-symbol probability (× 99):
TT TT m r e x u G g 8 2 w P p q H h b f v j Q E O X d y T t a C c
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0.000 1 . . . . . . . . . . . 99 . . . . . . . . . . . . . . . . . . .
m 3.515 917 . . 1 1 1 10 3 1 6 3 . 1 1 . 1 5 14 5 . . . 1 2 1 . . 11 28 6 . .
r 3.796 422 . 2 3 4 4 13 6 1 2 2 . 1 1 . . 7 10 4 . . . . 2 . . . 7 23 4 . .
e 3.843 545 . 1 . 1 4 5 9 4 11 7 2 1 . . 3 8 4 3 . . . 2 . . . . 8 21 3 . .
x 3.774 286 . 10 4 3 3 13 8 . 3 1 . 2 1 . 2 4 8 3 . . . . 2 . . . 4 20 6 . .
u 3.834 881 . 3 1 1 5 7 7 4 5 4 1 2 . . . 6 6 2 . 1 1 2 1 . . . 8 27 6 . 1
w 3.323 157 . 4 2 1 1 6 6 1 1 4 3 2 . . . 2 6 1 1 1 . 1 1 . . . 6 38 12 . 1
P 2.708 139 . 4 1 1 2 20 2 . 1 . . . . . . . 1 3 . . . . 2 . . . 16 41 1 1 1
p 2.401 51 . . 4 10 2 8 6 . . . . . . . . . . . . . . . . . . . 14 49 6 2 .
q 1.840 28 . . . . 4 7 4 4 . . . . . . . . 4 . . . . . . . . . 18 60 . . .
H 3.277 467 . 11 5 7 3 6 20 . . 1 . . . . . . 1 1 . . . . . . . . 5 7 . 18 15
h 2.846 1319 . 21 5 11 . 2 7 . . . . . . . . . . . . . . 1 1 . . . 2 2 . 22 23
b 3.052 640 . 19 8 9 1 4 7 . . . . . . . . . . . . . . . 1 . . . 3 5 . 24 17
f 2.819 259 . 22 5 5 . 2 6 . . . . . . . . . . 1 . . . 1 . . . . 3 5 . 23 26
v 2.240 35 . 14 3 . . . 11 . . . . . . . . . . 3 . . . . . . . . . 6 . 17 45
j 2.836 56 . 23 11 2 . 2 7 . . . . . . . . . . . . . . 4 4 . . . . 5 . 21 21
Q 3.574 65 . 2 2 2 2 3 2 6 9 24 . . . . . 6 2 2 . . . . 2 3 11 . 3 5 2 . 15
E 3.225 370 . 2 1 1 5 9 4 3 3 4 . 1 . . . 2 1 1 . . . 1 3 . . . 9 41 6 . 1
2 3.643 551 . 23 7 9 5 15 3 1 1 1 . 1 . . 2 1 3 6 . . . 1 1 . . . 3 11 3 1 .
8 3.351 654 . 23 18 19 3 8 . . . 1 . . . . 2 3 2 1 . . . 2 1 . . . 3 8 1 1 1
g 3.585 2036 . . . . 1 4 2 1 6 7 4 2 1 1 5 33 9 2 1 1 1 6 . . . . 3 8 1 . .
G 3.748 1696 . . . . 1 4 2 1 9 9 3 2 . . 10 24 8 2 1 2 1 8 . . . . 3 7 1 . .
O 3.787 128 . 1 . 1 1 3 14 12 12 13 1 . 1 1 . 5 . . . . 1 . 3 7 5 . 2 8 2 2 5
X 1.183 246 . . 1 3 2 2 81 7 1 . . . . . . . . . . . . . 1 . . . 1 . . . .
d 1.359 90 . . . . . 1 58 34 1 3 . . . . . . . . . . . 1 . . . . . . . . .
y 1.000 2 . . . . . . 50 . 50 . . . . . . . . . . . . . . . . . . . . . .
T 3.514 597 . . 3 4 2 8 15 19 3 2 . 1 . . 6 . 1 2 . . . 3 1 20 7 . 1 . . . .
t 2.381 1621 . . 1 1 1 5 22 50 5 1 . 1 . . 4 . . 1 . . . . . 5 1 . . . . . .
a 2.341 275 . . . 1 1 2 38 32 3 5 . 1 . . 13 . . . . . . . . . 1 . . . . 1 .
C 1.782 672 . . 1 . 1 3 17 66 4 1 . 1 . . 1 . . . . . . . . . . . 2 1 . . .
c 1.613 628 . . . . . 1 32 56 3 1 . . . . . . . . . . . . . . . . . . . 4 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.135 15834 0 6 3 3 2 6 11 13 4 3 1 1 0 0 3 8 4 2 0 0 0 2 1 2 1 0 4 10 2 4 4
Previous-symbol probability (× 99):
TT m r e x u P p q H h b f v j w Q E 2 8 g G O X d y T t a C c
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . .
m 6 . . 1 1 5 10 4 14 4 1 3 20 17 8 . 1 2 2 5 8 1 1 13 2 2 50 17 16 19 . .
r 3 . 1 3 3 6 6 4 10 4 . 2 7 6 3 . 1 . 1 2 2 . 2 7 1 1 . 5 6 6 . .
e 3 . . . 1 7 3 5 4 7 4 3 3 5 . 4 6 2 3 7 9 1 3 2 . . . 8 7 6 . .
x 2 . 3 3 2 3 4 5 6 . 1 1 3 4 . . . . . . 1 . 1 4 . 1 . 2 4 6 . .
u 6 . 3 1 1 15 7 14 6 4 . 4 8 7 . 12 4 12 5 6 6 2 3 7 1 1 . 12 14 19 . 1
w 1 . 1 1 . . 1 2 . . . . 1 1 3 2 3 . 1 1 . . 1 1 . . . 1 4 7 . .
P 1 . 1 . . 1 3 . . . . . . 2 . . . . . . . . . 2 . . . 4 3 1 . .
p 0 . . . 1 . . . . . . . . . . . . . . . . . . . . . . 1 2 1 . .
q 0 . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 . . .
H 3 . 6 6 6 5 3 . . . . . 1 1 . . . . . 1 . . 5 2 . . . 4 2 . 12 11
h 8 . 30 16 28 1 3 . 4 . . . . 1 . . . . 2 . . . 6 9 . . . 4 2 . 44 49
b 4 . 14 12 11 2 3 . . . . . . 1 . . . . 1 . . . 3 5 . . . 3 2 . 23 18
f 2 . 6 3 2 . 1 . . . . . . 1 . . . . 1 . . . 1 . . . . 1 1 . 9 11
v 0 . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3
j 0 . 1 1 . . . . . . . . . . . . . . 1 . . . . 2 . . . . . . 2 2
Q 0 . . . . . . . . . . . . . . . . . . 3 1 . . 1 1 8 . . . . . 2
E 2 . 1 1 1 6 4 4 . . . . . 2 . 2 . . 1 3 2 1 1 9 . 1 . 6 9 8 . .
2 3 . 14 9 9 10 9 4 . . 3 1 3 13 . . 1 . 2 1 . . 1 5 . 1 . 2 4 6 . .
8 4 . 16 28 23 6 6 1 2 4 2 1 2 3 3 . 2 3 4 1 . . . 3 . . . 3 3 3 1 1
g 13 99 1 1 1 5 8 23 37 57 20 52 27 13 57 34 46 44 33 25 19 1 2 5 2 3 . 11 10 6 1 .
G 11 . . . . 8 8 19 16 18 35 31 20 10 25 46 35 34 39 28 23 1 2 6 1 4 . 9 7 9 . .
O 1 . . . . . . . 2 4 . 1 . . . . 1 2 . 3 2 1 1 3 4 8 . . 1 1 . 1
X 2 . . . 1 1 . . . . . . . . . . . . . . . 1 12 2 . . . . . . . .
d 1 . . . . . . . . . . . . . . . . . . 1 . 2 3 . . . . . . . . .
y 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
T 4 . . 4 4 5 5 4 . . 8 . 1 4 . . 1 . 5 2 3 6 5 6 50 45 50 1 . . . .
t 10 . . 3 3 8 9 6 . . 15 . 1 8 . . . . . 3 12 40 21 2 36 20 . . . . . .
a 2 . . . 1 1 1 2 . . 8 . . . . . 1 . . 3 1 4 6 . . 2 . . . . . .
C 4 . . 1 . 1 2 3 . . 1 . . . . . . 2 1 2 5 22 7 2 . 1 . 2 . . . .
c 4 . . 1 . . 1 . . . . . . . . . . . . 1 3 17 12 1 . . . . . . 4 .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
We can combine the classes
"m", "r", "e" = "AM", "AN", "AR", "AE"
"g", "G" = "8G", "G"
"P". "p", "q" = "P", "F", "OP", "OF", "4OP", "4OF",
"C", "c" = "C", "CC"
"u", "x" = "OE", "OR"
"X", "d", "y" = "PZ", "FZ", "HZ", "DZ", "PZC", "FZC", "HZC", "DZC",D, "PZCC", "FZCC", "HZCC", "DZCC"
"H", "h", "b", "f", "v", "j" = "D", "H", "4OH", "4OD", "OH", "OD", "OEH", "OED", "4OEH", "4OED", "EH", "ED"
"T", "t", "a" = "T", "TC", "TCC", "S", "SC", "SCC"
"2", "8" = "2" (sometimes "R"), "8"
Also, "x" = "OR" is similar on the right ro "m", "r", "e", but different on the left, where it likes "u" = "OE" and "2".
However, "x" is similar to "u" there.
Also "w" = "4OE" is similar to "P", "O", "E", on the left but to "x" = "OR" and "u" = "OE" on the right.
Let's try to collapse what we can collapse:
cat .voyn.fss \
| tr -d ' \012' \
| /n/gnu/bin/sed \
-e 's/AM/m/g' \
-e 's/AR/r/g' \
-e 's/AE/e/g' \
-e 's/A/O/g' \
-e 's/8G/g/g' \
-e 's/OR/x/g' \
-e 's/OEH/f/g' \
-e 's/QEH/v/g' \
-e 's/OE/u/g' \
-e 's/QE/w/g' \
-e 's/OH/b/g' \
-e 's/QH/h/g' \
-e 's/OP/p/g' \
-e 's/QP/q/g' \
-e 's/EH/j/g' \
-e 's/TCC/a/g' \
-e 's/XCC/y/g' \
-e 's/TC/t/g' \
-e 's/XC/d/g' \
-e 's/CC/c/g' \
-e 's/R/2/g' \
\
-e 's/[mre]/m/g' \
-e 's/[Gg]/g/g' \
-e 's/[Ppq]/p/g' \
-e 's/[Xdy]/y/g' \
-e 's/[Cc]/c/g' \
-e 's/[xu]/u/g' \
-e 's/[28]/i/g' \
-e 's/[Tta]/t/g' \
-e 's/[Hhbfvj]/h/g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' muwphQEigOytc'
Digraph counts:
TT m u w p h Q E i g O y t c
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . . . 1 . . . . . . . . .
m 1884 . 57 225 12 36 411 2 20 199 141 28 13 733 7
u 1167 . 85 152 6 33 180 8 18 89 115 14 5 450 12
w 157 . 12 11 4 3 16 . 2 8 11 1 . 88 1
p 218 . 16 39 . . 7 . . 2 8 3 . 138 5
h 2776 . 959 109 . 2 17 . 14 10 258 23 . 187 1197
Q 65 . 3 3 . . 6 . . 22 5 1 9 6 10
E 370 . 15 52 . 5 15 . 3 29 26 12 1 209 3
i 1205 . 613 184 4 8 122 2 22 20 25 10 2 174 19
g 3732 1 18 181 128 107 1795 51 269 570 115 15 15 459 8
O 128 . 2 5 1 2 7 1 . 32 34 4 16 15 9
y 338 . 10 9 . . 1 . 1 8 304 2 . 3 .
t 2493 . 82 167 2 17 192 . 18 151 1567 11 275 9 2
c 1300 . 12 30 . 4 7 1 3 65 1123 4 2 22 27
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 15834 1 1884 1167 157 218 2776 65 370 1205 3732 128 338 2493 1300
Symbol entropy: 3.059
Next-symbol probability (× 99):
TT TT m u w p h Q E i g O y t c
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- --
O 2.880 128 . 2 4 1 2 5 1 . 25 26 3 12 12 7
Q 2.761 65 . 5 5 . . 9 . . 34 8 2 14 9 15
u 2.722 1167 . 7 13 1 3 15 1 2 8 10 1 . 38 1
m 2.556 1884 . 3 12 1 2 22 . 1 10 7 1 1 39 .
g 2.455 3732 . . 5 3 3 48 1 7 15 3 . . 12 .
w 2.261 157 . 8 7 3 2 10 . 1 5 7 1 . 55 1
i 2.225 1205 . 50 15 . 1 10 . 2 2 2 1 . 14 2
E 2.175 370 . 4 14 . 1 4 . 1 8 7 3 . 56 1
h 1.995 2776 . 34 4 . . 1 . . . 9 1 . 7 43
t 1.906 2493 . 3 7 . 1 8 . 1 6 62 . 11 . .
p 1.745 218 . 7 18 . . 3 . . 1 4 1 . 63 2
c 0.937 1300 . 1 2 . . 1 . . 5 86 . . 2 2
y 0.709 338 . 3 3 . . . . . 2 89 1 . 1 .
0.000 1 . . . . 99 . . . . . . . . .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 2.126 15834 0 12 7 1 1 17 0 2 8 23 1 2 16 8
Previous-symbol probability (× 99):
TT m u w p h Q E i g O y t c
-- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . .
m 12 . 3 19 8 16 15 3 5 16 4 22 4 29 1
u 7 . 4 13 4 15 6 12 5 7 3 11 1 18 1
w 1 . 1 1 3 1 1 . 1 1 . 1 . 3 .
p 1 . 1 3 . . . . . . . 2 . 5 .
h 17 . 50 9 . 1 1 . 4 1 7 18 . 7 91
Q 0 . . . . . . . . 2 . 1 3 . 1
E 2 . 1 4 . 2 1 . 1 2 1 9 . 8 .
i 8 . 32 16 3 4 4 3 6 2 1 8 1 7 1
g 23 99 1 15 81 49 64 78 72 47 3 12 4 18 1
O 1 . . . 1 1 . 2 . 3 1 3 5 1 1
y 2 . 1 1 . . . . . 1 8 2 . . .
t 16 . 4 14 1 8 7 . 5 12 42 9 81 . .
c 8 . 1 3 . 2 . 2 1 5 30 3 1 1 2
-- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
These seem to be distinct classes. Now we could start condensing some more...
"tg" --> "3"
"cg" --> "5"
"tyg" --> "%"
"hcg" --> "@"
"ptg" --> "#"
"im" --> "7"
"hm" --> "9"
"hg" --> "1"
"hu" --> "."
cat .voyn.fss \
| tr -d ' \012' \
| /n/gnu/bin/sed \
-e 's/AM/m/g' \
-e 's/AR/r/g' \
-e 's/AE/e/g' \
-e 's/A/O/g' \
-e 's/8G/g/g' \
-e 's/OR/x/g' \
-e 's/OEH/f/g' \
-e 's/QEH/v/g' \
-e 's/OE/u/g' \
-e 's/QE/w/g' \
-e 's/OH/b/g' \
-e 's/QH/h/g' \
-e 's/OP/p/g' \
-e 's/QP/q/g' \
-e 's/EH/j/g' \
-e 's/TCC/a/g' \
-e 's/XCC/y/g' \
-e 's/TC/t/g' \
-e 's/XC/d/g' \
-e 's/CC/c/g' \
-e 's/R/2/g' \
\
-e 's/[mre]/m/g' \
-e 's/[Gg]/g/g' \
-e 's/[Ppq]/p/g' \
-e 's/[Xdy]/y/g' \
-e 's/[Cc]/c/g' \
-e 's/[xu]/u/g' \
-e 's/[28]/i/g' \
-e 's/[Tta]/t/g' \
-e 's/[Hhbfvj]/h/g' \
\
-e 's/hcg/@/g' \
-e 's/htg/\$/g' \
-e 's/tyg/%/g' \
-e 's/ptg/\#/g' \
-e 's/tg/3/g' \
-e 's/cg/5/g' \
-e 's/im/7/g' \
-e 's/hm/9/g' \
-e 's/hg/1/g' \
-e 's/hu/./g' \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' muwphQEigOytc@%#$13579.'
Digraph counts:
TT m u w p h Q E i g O y t c @ % # $ 1 3 5 7 9 .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1 . . . . . . . . . . . . . . . . 1 . . . . . . .
m 312 . 17 39 5 7 6 2 5 15 35 7 4 26 1 22 10 2 4 5 53 . 14 30 3
u 1058 . 83 141 6 16 17 8 18 43 103 11 5 85 8 52 26 12 13 14 286 4 41 57 9
w 157 . 12 11 4 1 1 . 2 3 11 1 . 11 1 5 3 2 1 . 74 . 5 9 .
p 113 . 16 39 . . 2 . . 1 8 3 . 30 2 3 3 . . . . 3 1 2 .
h 238 . . . . 2 3 . 14 6 . 23 . 29 141 5 2 . 1 1 . . 4 5 2
Q 65 . 3 3 . . . . . 13 5 1 9 1 3 2 . . . . 5 7 9 4 .
E 370 . 15 52 . 3 2 . 3 17 26 12 1 38 2 3 12 2 3 1 159 1 12 5 1
i 592 . . 184 4 4 12 2 22 14 25 10 2 49 2 52 8 4 13 8 117 17 6 32 5
g 523 . 3 22 8 6 27 6 24 62 28 4 1 30 1 85 6 4 20 7 47 1 54 65 12
O 128 . 2 5 1 . . 1 . 21 34 4 16 4 3 3 . 2 . 1 11 6 11 3 .
y 77 . 10 9 . . . . 1 7 43 2 . 1 . . . . . . 2 . 1 1 .
t 665 . 82 167 2 7 12 . 18 83 . 11 14 4 1 36 1 10 9 84 4 1 68 47 4
c 177 . 12 30 . 2 . 1 3 42 . 4 2 3 3 4 1 2 . 2 18 24 23 1 .
@ 1056 . 4 53 26 16 33 12 93 71 32 5 5 47 . 269 23 8 16 32 72 . 72 143 24
% 261 . 2 15 7 3 11 2 23 16 5 . . 14 1 41 8 4 3 11 7 . 24 59 5
# 105 . 1 4 5 4 4 . 3 10 3 1 1 5 1 18 1 10 8 3 1 . 4 18 .
$ 156 . 3 6 4 1 8 1 10 9 4 . . 5 1 34 2 2 5 7 5 . 15 31 3
1 258 . . 15 10 . 7 . 23 26 15 1 . 13 . 29 5 4 4 11 19 . 35 36 5
3 1306 1 5 61 67 25 61 30 88 69 27 4 8 58 3 252 20 19 33 46 60 . 91 255 23
5 67 . . 5 1 1 3 . 5 5 1 . . 3 . 18 5 . 1 2 3 . 7 7 .
7 613 . 27 82 3 8 14 . 7 24 43 13 4 79 2 47 37 5 6 6 121 1 41 39 4
9 959 . 13 104 4 6 14 . 8 33 63 8 5 120 1 72 84 8 15 13 203 2 72 104 7
. 109 . 2 11 . 1 1 . . 2 12 3 . 10 . 4 4 4 1 4 39 . 3 6 2
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 9366 1 312 1058 157 113 238 65 370 592 523 128 77 665 177 1056 261 105 156 258 1306 67 613 959 109
Symbol entropy: 3.999
Next-symbol probability (× 99):
TT TT m u w p h Q E i g O y t c @ % # $ 1 3 5 7 9 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0.000 1 . . . . . . . . . . . . . . . . 99 . . . . . . .
m 3.844 312 . 5 12 2 2 2 1 2 5 11 2 1 8 . 7 3 1 1 2 17 . 4 10 1
g 3.799 523 . 1 4 2 1 5 1 5 12 5 1 . 6 . 16 1 1 4 1 9 . 10 12 2
3 3.776 1306 . . 5 5 2 5 2 7 5 2 . 1 4 . 19 2 1 3 3 5 . 7 19 2
# 3.761 105 . 1 4 5 4 4 . 3 9 3 1 1 5 1 17 1 9 8 3 1 . 4 17 .
1 3.713 258 . . 6 4 . 3 . 9 10 6 . . 5 . 11 2 2 2 4 7 . 13 14 2
7 3.683 613 . 4 13 . 1 2 . 1 4 7 2 1 13 . 8 6 1 1 1 20 . 7 6 1
@ 3.660 1056 . . 5 2 2 3 1 9 7 3 . . 4 . 25 2 1 2 3 7 . 7 13 2
% 3.657 261 . 1 6 3 1 4 1 9 6 2 . . 5 . 16 3 2 1 4 3 . 9 22 2
$ 3.629 156 . 2 4 3 1 5 1 6 6 3 . . 3 1 22 1 1 3 4 3 . 10 20 2
u 3.611 1058 . 8 13 1 1 2 1 2 4 10 1 . 8 1 5 2 1 1 1 27 . 4 5 1
9 3.561 959 . 1 11 . 1 1 . 1 3 7 1 1 12 . 7 9 1 2 1 21 . 7 11 1
5 3.423 67 . . 7 1 1 4 . 7 7 1 . . 4 . 27 7 . 1 3 4 . 10 10 .
Q 3.372 65 . 5 5 . . . . . 20 8 2 14 2 5 3 . . . . 8 11 14 6 .
t 3.365 665 . 12 25 . 1 2 . 3 12 . 2 2 1 . 5 . 1 1 13 1 . 10 7 1
O 3.354 128 . 2 4 1 . . 1 . 16 26 3 12 3 2 2 . 2 . 1 9 5 9 2 .
i 3.321 592 . . 31 1 1 2 . 4 2 4 2 . 8 . 9 1 1 2 1 20 3 1 5 1
c 3.264 177 . 7 17 . 1 . 1 2 23 . 2 1 2 2 2 1 1 . 1 10 13 13 1 .
. 3.250 109 . 2 10 . 1 1 . . 2 11 3 . 9 . 4 4 4 1 4 35 . 3 5 2
E 2.924 370 . 4 14 . 1 1 . 1 5 7 3 . 10 1 1 3 1 1 . 43 . 3 1 .
w 2.900 157 . 8 7 3 1 1 . 1 2 7 1 . 7 1 3 2 1 1 . 47 . 3 6 .
p 2.693 113 . 14 34 . . 2 . . 1 7 3 . 26 2 3 3 . . . . 3 1 2 .
h 2.171 238 . . . . 1 1 . 6 2 . 10 . 12 59 2 1 . . . . . 2 2 1
y 2.127 77 . 13 12 . . . . 1 9 55 3 . 1 . . . . . . 3 . 1 1 .
----- ----- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 3.511 9366 0 3 11 2 1 3 1 4 6 6 1 1 7 2 11 3 1 2 3 14 1 6 10 1
Previous-symbol probability (× 99):
TT m u w p h Q E i g O y t c @ % # $ 1 3 5 7 9 .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
0 . . . . . . . . . . . . . . . . 1 . . . . . . .
m 3 . 5 4 3 6 2 3 1 3 7 5 5 4 1 2 4 2 3 2 4 . 2 3 3
u 11 . 26 13 4 14 7 12 5 7 19 9 6 13 4 5 10 11 8 5 22 6 7 6 8
w 2 . 4 1 3 1 . . 1 1 2 1 . 2 1 . 1 2 1 . 6 . 1 1 .
p 1 . 5 4 . . 1 . . . 2 2 . 4 1 . 1 . . . . 4 . . .
h 3 . . . . 2 1 . 4 1 . 18 . 4 79 . 1 . 1 . . . 1 1 2
Q 1 . 1 . . . . . . 2 1 1 12 . 2 . . . . . . 10 1 . .
E 4 . 5 5 . 3 1 . 1 3 5 9 1 6 1 . 5 2 2 . 12 1 2 1 1
i 6 . . 17 3 4 5 3 6 2 5 8 3 7 1 5 3 4 8 3 9 25 1 3 5
g 6 . 1 2 5 5 11 9 6 10 5 3 1 4 1 8 2 4 13 3 4 1 9 7 11
O 1 . 1 . 1 . . 2 . 4 6 3 21 1 2 . . 2 . . 1 9 2 . .
y 1 . 3 1 . . . . . 1 8 2 . . . . . . . . . . . . .
t 7 . 26 16 1 6 5 . 5 14 . 9 18 1 1 3 . 9 6 32 . 1 11 5 4
c 2 . 4 3 . 2 . 2 1 7 . 3 3 . 2 . . 2 . 1 1 35 4 . .
@ 11 . 1 5 16 14 14 18 25 12 6 4 6 7 . 25 9 8 10 12 5 . 12 15 22
% 3 . 1 1 4 3 5 3 6 3 1 . . 2 1 4 3 4 2 4 1 . 4 6 5
# 1 . . . 3 4 2 . 1 2 1 1 1 1 1 2 . 9 5 1 . . 1 2 .
$ 2 . 1 1 3 1 3 2 3 2 1 . . 1 1 3 1 2 3 3 . . 2 3 3
1 3 . . 1 6 . 3 . 6 4 3 1 . 2 . 3 2 4 3 4 1 . 6 4 5
3 14 99 2 6 42 22 25 46 24 12 5 3 10 9 2 24 8 18 21 18 5 . 15 26 21
5 1 . . . 1 1 1 . 1 1 . . . . . 2 2 . 1 1 . . 1 1 .
7 6 . 9 8 2 7 6 . 2 4 8 10 5 12 1 4 14 5 4 2 9 1 7 4 4
9 10 . 4 10 3 5 6 . 2 6 12 6 6 18 1 7 32 8 10 5 15 3 12 11 6
. 1 . 1 1 . 1 . . . . 2 2 . 1 . . 2 4 1 2 3 . . 1 2
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Here is a sample of the resulting text:
#9g@93$9373Egituw339t@79$9t199uiOygg@E39g3$@393yg7uu3Qi51#hcm17@9%@1#$g9393Eu31739gi%9%E3@
$t@EO@t@hpu37itu9339@@E39ug@g993iui%9ug3iu33gE31#@@@@@9u37u9gu39t@99mg79hcug73iuu3$1i393Et
t9$93pt7t#Et7g7tm3.3iu3w3w9cm7ug$w313yg9mig3QiE3EOg739O93ugtmuEuO793hi37#$@9i3Qi39@9g7%Euu
7tyE@3g@E37utu7uwg7Ogp7tut.139g79@gi$#@iuu7%wE3@Eu37t9gE9u@wu3@3Q7t1@9t19739u3i3@%933@7gpu
37397tig93Eg@E339%@i@971999@9t19773hciugi@@9977g@gt1@@hc5Eu@@@@@Egg3@@@@.g73937@i3i@@@1g@i
gi3@@@@iug3t9ug9t99ugi37@@@.g9umc7gi3%@@iuu1@@@9@@tu@73.3uupt7#@#pg7t9%iiut1997u37%9%EiEt@
9u397giiiE3@ygEugE$97ut1E3t3ti@@hihci31@E37gi37u3@hOi@i3w3u3hcii@g@97EgOtm397t11i3@@@9mw%@
@9giu31ut11g7uum@uti9g9391E3QOi3w3t$9Oi3w@73g99%EitmygE3.tu97hciu$9u39t1i5@Q@9w3hcu39u39um
iE397wwu33iEu39uu7393u3u31w3tEutuOu3w399tmup9@utigiu3@@@39gwutiu%9u3w3@w3tmgg39u3Q7hci@@i@
1gg39%@@E%97.u3997u3@@9u3ughcm3%iug37Ou39977pu393wtuu39pm@Euuh@@1E#$Eug@$@E57u@ghc3@7uu3wg
@@w3@ugugEg@wg93Eg@977O17@ug93@@Eg73i@g@99t1@..Oyg3.%Eghc3@@w3@u3@uupht9%#wp%%###7Oigi3hig
mymtpcm9hcu3wmtmi@g3@@hci@t1@@tu1u3mgi@@umut9u@@@3$9iuc5@#@.3@3hc7mt7giQmtihc7hci@33@@7mt9
ugt7tp57%m@9m@9377ghci3Q7@3u37t97%71iu3Qu3@7773hcu@@%%.9%@@7g937itu3hcihc79mmtyiE33wm3hci3
%@@9%@@93tytu93@93hci9uOOi3w3@@3933E3w3@Ei3Q3E3@w39%%Etm9m3htig@E3Qum$9g773ucciE3@339%u3Em
3um3@73w39gtpg7muuum3%hOuu3@E3%313wmhE3E33EEmgt73@w3wmm3993E3Euggh73tmumtO7939373799339397
3E%99g7g73tu3%tOgQ@7mt1917Oghtum973739tm33933@@93#w#$%3E.tm3Q93333uE3tEti%7ug73E39%hcuutu9
3w%%93tutum3tu39uumutuhcmmugi@E33utu9tmpum3##9ghtu@1Etit#g9w3%@E3#73hc7u3ih1gE37m@E3@%@931
73$E73Et73iu3@9tugtuugtmgEu3%1g9mu9u399pm.pgg3Qu939@Q3O73%7tm@@@E33939m7%um3Qygut73@um17%@
19g9@@i397um1tu71939mEum#7iu3@99Oug33@7773#iuuuti@@@@E39397w3utiutmti@i393E7u3wmhc7u3tiuu3
tugmg73uumiu3@E7%hc7u9u3@u3pumm.#g@ptmgE3pt7hO7pg.uii3@thc5hc7.33@ug3Qg1i3@@t73@@7@97@iu%7
9t#c#1uu$7tEi99%@@@3@hci@@Qc5%tum93E3i@Q9@@tu3@@@hc7g@O373@@uu@$7tu37373yiut7#i33$Et9%7gtu
37Oc@@@@3@iutu3@@93%hci53i573w3hc5@3@uc5@EO@w3@yg@@%Qc@i5$E3t73%put7hc7pt7@3ptt7ht@Otpui7@
t9tuu@Qc5@@3E3QygQi5@@tuti37@um393@%u3%%1iut@@u%E3@3@tEyghcut7%tii$3E3E3@iu3@3g@@E3@3Em3E3
i3@$.333t@7@E37E3u3ptugpm3$@iu3#7itu9ti7%hcug@%Eumg7%@7t97OtEm7%tu3@7%@E373@@E3itit7ti9mmg
$Et7ti$itit9t1t937t9th7t1@9@939393939%.179%i9@39yg#179ggt73@E3.3E317uu7t@Et1@Q5E3tiumt1t@@
Very strange!!! Note the long strings of similar characters!!!