An intermezzo: for Denis's benefit, let's compute a table of digraph
frequencies in Currier notation.
cat .voyn.fsg \
| sed \
-e 's/HZ/q/g' \
-e 's/PZ/w/g' \
-e 's/DZ/x/g' \
-e 's/FZ/y/g' \
-e 's/IIIE/1/g' \
-e 's/IIE/h/g' \
-e 's/IE/g/g' \
-e 's/IIIR/0/g' \
-e 's/IIR/t/g' \
-e 's/IR/u/g' \
-e 's/IIIL/3/g' \
-e 's/IIIK/5/g' \
-e 's/IIK/l/g' \
-e 's/IK/k/g' \
| tr 'GTSHPDFLK' '9SZPBFVDJ' \
| tr 'qwxyhgtulk' 'QWXYHGTULK' \
> .voyn.cur
cat .voyn.cur \
| tr -d '/= ' \
| tr 'IGHTUDL56' '*********' \
| count-digraph-freqs \
-vshowentropy=1 \
-vchars='PFBVQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567'
Digraph counts:
TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
P 852 . 1 . . . . . . 62 26 341 1 . . 1 . . 259 3 62 3 88 5 .
F 1993 . . . . . . . . 72 30 869 . 1 . 2 . . 736 11 95 3 170 4 .
B 195 . . . . . . . . 92 25 4 . . . . . . 13 . 51 3 7 . .
V 32 . . . . . . . . 24 2 1 . . . . . . 2 . 3 . . . .
Q 121 . . . . . . . . . . 31 1 . . . . . 3 . 5 6 74 . 1
X 199 . . . . . . . . 2 1 53 . . . . . . 5 . 3 10 125 . .
W 21 . . . . . . . . . . 9 . . . . . . 2 . 2 3 5 . .
Y 4 . . . . . . . . . . 2 . . . . . . . . . 2 . . .
S 1453 8 17 4 1 31 66 8 2 1 3 1053 6 4 . . . . 27 13 49 96 62 2 .
Z 1078 6 6 . . 19 39 . . 3 . 866 1 1 . . . 2 23 5 38 41 28 . .
C 4268 38 79 13 3 39 69 4 . 15 9 953 45 8 . . . 2 53 4 175 1898 844 14 3
2 365 3 4 1 . 1 1 . . 18 19 2 2 . . . . 3 150 2 133 4 10 1 11
R 883 2 5 3 . 1 1 1 1 123 145 4 4 1 . . . 25 147 3 272 22 54 6 63
N 503 1 . . . 3 . 2 . 117 104 3 5 1 . . . 19 9 2 169 30 9 . 29
M 438 . 2 . . . 2 . 1 114 89 1 7 1 . . . 16 4 2 127 25 13 1 33
J 53 . . . . . . . . . . . 1 . . . . . . 2 2 . . . 48
4 1676 1 5 2 2 5 1 . . . 1 10 2 . . . . 1 . . 1646 . . . .
A 1952 . . 1 . . . 1 . . . . . 405 495 414 43 . . 552 . . . 41 .
E 2344 64 310 15 8 2 1 1 . 501 344 19 41 28 . . 2 96 69 41 377 174 114 1 136
O 3964 571 1434 67 13 9 14 1 . 10 10 19 7 305 7 20 7 13 4 1349 15 41 20 19 9
8 2740 1 8 . 1 . . . . 41 43 15 2 2 . . . 21 417 14 98 4 2059 2 12
9 3781 107 115 17 2 9 3 2 . 233 190 6 101 121 . . 1 1277 18 312 556 266 34 9 402
* 113 . 1 1 . . 1 . . 8 14 4 1 1 1 1 . 3 11 3 28 5 6 8 16
763 50 6 71 2 2 1 1 . 17 23 3 138 4 . . . 198 . 26 58 104 59 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 29791 852 1993 195 32 121 199 21 4 1453 1078 4268 365 883 503 438 53 1676 1952 2344 3964 2740 3781 113 763
Next-symbol probability (× 99):
TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P 99 . . . . . . . . 7 3 40 . . . . . . 30 . 7 . 10 1 .
F 99 . . . . . . . . 4 1 43 . . . . . . 37 1 5 . 8 . .
B 99 . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . .
V 99 . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . .
Q 99 . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1
X 99 . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . .
W 99 . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . .
Y 99 . . . . . . . . . . 50 . . . . . . . . . 50 . . .
S 99 1 1 . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . .
Z 99 1 1 . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . .
C 99 1 2 . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . .
2 99 1 1 . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3
R 99 . 1 . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7
N 99 . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6
M 99 . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7
J 99 . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90
4 99 . . . . . . . . . . 1 . . . . . . . . 97 . . . .
A 99 . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 .
E 99 3 13 1 . . . . . 21 15 1 2 1 . . . 4 3 2 16 7 5 . 6
O 99 14 36 2 . . . . . . . . . 8 . . . . . 34 . 1 . . .
8 99 . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . .
9 99 3 3 . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11
* 99 . 1 1 . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14
99 6 1 9 . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 3 7 1 0 0 1 0 0 5 4 14 1 3 2 1 0 6 6 8 13 9 13 0 3
Previous-symbol probability (× 99):
TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P 3 . . . . . . . . 4 2 8 . . . . . . 13 . 2 . 2 4 .
F 7 . . . . . . . . 5 3 20 . . . . . . 37 . 2 . 4 4 .
B 1 . . . . . . . . 6 2 . . . . . . . 1 . 1 . . . .
V 0 . . . . . . . . 2 . . . . . . . . . . . . . . .
Q 0 . . . . . . . . . . 1 . . . . . . . . . . 2 . .
X 1 . . . . . . . . . . 1 . . . . . . . . . . 3 . .
W 0 . . . . . . . . . . . . . . . . . . . . . . . .
Y 0 . . . . . . . . . . . . . . . . . . . . . . . .
S 5 1 1 2 3 25 33 38 50 . . 24 2 . . . . . 1 1 1 3 2 2 .
Z 4 1 . . . 16 19 . . . . 20 . . . . . . 1 . 1 1 1 . .
C 14 4 4 7 9 32 34 19 . 1 1 22 12 1 . . . . 3 . 4 69 22 12 .
2 1 . . 1 . 1 . . . 1 2 . 1 . . . . . 8 . 3 . . 1 1
R 3 . . 2 . 1 . 5 25 8 13 . 1 . . . . 1 7 . 7 1 1 5 8
N 2 . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . 4 1 . . 4
M 1 . . . . . 1 . 25 8 8 . 2 . . . . 1 . . 3 1 . 1 4
J 0 . . . . . . . . . . . . . . . . . . . . . . . 6
4 6 . . 1 6 4 . . . . . . 1 . . . . . . . 41 . . . .
A 6 . . 1 . . . 5 . . . . . 45 97 94 80 . . 23 . . . 36 .
E 8 7 15 8 25 2 . 5 . 34 32 . 11 3 . . 4 6 3 2 9 6 3 1 18
O 13 66 71 34 40 7 7 5 . 1 1 . 2 34 1 5 13 1 . 57 . 1 1 17 1
8 9 . . . 3 . . . . 3 4 . 1 . . . . 1 21 1 2 . 54 2 2
9 13 12 6 9 6 7 1 9 . 16 17 . 27 14 . . 2 75 1 13 14 10 1 8 52
* 0 . . 1 . . . . . 1 1 . . . . . . . 1 . 1 . . 7 2
3 6 . 36 6 2 . 5 . 1 2 . 37 . . . . 12 . 1 1 4 2 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.804
Next-symbol entropy:
TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
P 2.228 . 0.011 . . . . . . 0.275 0.154 0.529 0.011 . . 0.011 . . 0.522 0.029 0.275 0.029 0.338 0.044 .
F 1.918 . . . . . . . . 0.173 0.091 0.522 . 0.005 . 0.010 . . 0.531 0.041 0.209 0.014 0.303 0.018 .
B 2.038 . . . . . . . . 0.511 0.380 0.115 . . . . . . 0.260 . 0.506 0.093 0.172 . .
V 1.288 . . . . . . . . 0.311 0.250 0.156 . . . . . . 0.250 . 0.320 . . . .
Q 1.589 . . . . . . . . . . 0.503 0.057 . . . . . 0.132 . 0.190 0.215 0.434 . 0.057
X 1.476 . . . . . . . . 0.067 0.038 0.508 . . . . . . 0.134 . 0.091 0.217 0.421 . .
W 2.064 . . . . . . . . . . 0.524 . . . . . . 0.323 . 0.323 0.401 0.493 . .
Y 1.000 . . . . . . . . . . 0.500 . . . . . . . . . 0.500 . . .
S 1.740 0.041 0.075 0.023 0.007 0.118 0.203 0.041 0.013 0.007 0.018 0.337 0.033 0.023 . . . . 0.107 0.061 0.165 0.259 0.194 0.013 .
Z 1.313 0.042 0.042 . . 0.103 0.173 . . 0.024 . 0.254 0.009 0.009 . . . 0.017 0.118 0.036 0.170 0.179 0.137 . .
C 2.283 0.061 0.107 0.025 0.007 0.062 0.096 0.009 . 0.029 0.019 0.483 0.069 0.017 . . . 0.005 0.079 0.009 0.189 0.520 0.462 0.027 0.007
2 2.262 0.057 0.071 0.023 . 0.023 0.023 . . 0.214 0.222 0.041 0.041 . . . . 0.057 0.527 0.041 0.531 0.071 0.142 0.023 0.152
R 2.867 0.020 0.042 0.028 . 0.011 0.011 0.011 0.011 0.396 0.428 0.035 0.035 0.011 . . . 0.146 0.431 0.028 0.523 0.133 0.247 0.049 0.272
N 2.608 0.018 . . . 0.044 . 0.032 . 0.489 0.470 0.044 0.066 0.018 . . . 0.179 0.104 0.032 0.529 0.243 0.104 . 0.237
M 2.676 . 0.036 . . . 0.036 . 0.020 0.505 0.467 0.020 0.095 0.020 . . . 0.174 0.062 0.036 0.518 0.236 0.151 0.020 0.281
J 0.594 . . . . . . . . . . . 0.108 . . . . . . 0.178 0.178 . . . 0.129
4 0.180 0.006 0.025 0.012 0.012 0.025 0.006 . . . 0.006 0.044 0.012 . . . . 0.006 . . 0.026 . . . .
A 2.212 . . 0.006 . . . 0.006 . . . . . 0.471 0.502 0.474 0.121 . . 0.515 . . . 0.117 .
E 3.345 0.142 0.386 0.047 0.028 0.009 0.005 0.005 . 0.476 0.406 0.056 0.102 0.076 . . 0.009 0.189 0.150 0.102 0.424 0.279 0.212 0.005 0.238
O 2.324 0.403 0.531 0.099 0.027 0.020 0.029 0.003 . 0.022 0.022 0.037 0.016 0.285 0.016 0.039 0.016 0.027 0.010 0.529 0.030 0.068 0.039 0.037 0.020
8 1.317 0.004 0.025 . 0.004 . . . . 0.091 0.094 0.041 0.008 0.008 . . . 0.054 0.413 0.039 0.172 0.014 0.310 0.008 0.034
9 3.120 0.146 0.153 0.035 0.006 0.021 0.008 0.006 . 0.248 0.217 0.015 0.140 0.159 . . 0.003 0.529 0.037 0.297 0.407 0.269 0.061 0.021 0.344
* 3.434 . 0.060 0.060 . . 0.060 . . 0.270 0.373 0.171 0.060 0.060 0.060 0.060 . 0.139 0.327 0.139 0.499 0.199 0.225 0.270 0.399
3.125 0.258 0.055 0.319 0.022 0.022 0.013 0.013 . 0.122 0.152 0.031 0.446 0.040 . . . 0.505 . 0.166 0.283 0.392 0.286 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.219 0.147 0.261 0.047 0.011 0.032 0.048 0.007 0.002 0.213 0.173 0.402 0.078 0.150 0.099 0.090 0.016 0.234 0.258 0.289 0.387 0.317 0.378 0.031 0.135
Previous-symbol entropy:
TT P F B V Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
P 0.147 . 0.005 . . . . . . 0.194 0.130 0.291 0.023 . . 0.020 . . 0.387 0.012 0.094 0.011 0.126 0.199 .
F 0.261 . . . . . . . . 0.215 0.144 0.468 . 0.011 . 0.036 . . 0.531 0.036 0.129 0.011 0.201 0.171 .
B 0.047 . . . . . . . . 0.252 0.126 0.009 . . . . . . 0.048 . 0.081 0.011 0.017 . .
V 0.011 . . . . . . . . 0.098 0.017 0.003 . . . . . . 0.010 . 0.008 . . . .
Q 0.032 . . . . . . . . . . 0.052 0.023 . . . . . 0.014 . 0.012 0.019 0.111 . 0.013
X 0.048 . . . . . . . . 0.013 0.009 0.079 . . . . . . 0.022 . 0.008 0.030 0.163 . .
W 0.007 . . . . . . . . . . 0.019 . . . . . . 0.010 . 0.006 0.011 0.013 . .
Y 0.002 . . . . . . . . . . 0.005 . . . . . . . . . 0.008 . . .
S 0.213 0.063 0.059 0.115 0.156 0.503 0.528 0.530 0.500 0.007 0.024 0.498 0.097 0.035 . . . . 0.085 0.042 0.078 0.169 0.097 0.103 .
Z 0.173 0.050 0.025 . . 0.419 0.461 . . 0.018 . 0.467 0.023 0.011 . . . 0.012 0.075 0.019 0.064 0.091 0.052 . .
C 0.402 0.200 0.185 0.260 0.320 0.526 0.530 0.456 . 0.068 0.058 0.483 0.372 0.061 . . . 0.012 0.141 0.016 0.199 0.367 0.483 0.373 0.031
2 0.078 0.029 0.018 0.039 . 0.057 0.038 . . 0.078 0.103 0.005 0.041 . . . . 0.016 0.284 0.009 0.164 0.014 0.023 0.060 0.088
R 0.150 0.021 0.022 0.093 . 0.057 0.038 0.209 0.500 0.302 0.389 0.009 0.071 0.011 . . . 0.090 0.281 0.012 0.265 0.056 0.088 0.225 0.297
N 0.099 0.011 . . . 0.132 . 0.323 . 0.293 0.325 0.007 0.085 0.011 . . . 0.073 0.036 0.009 0.194 0.071 0.021 . 0.179
M 0.090 . 0.010 . . . 0.067 . 0.500 0.288 0.297 0.003 0.109 0.011 . . . 0.064 0.018 0.009 0.159 0.062 0.028 0.060 0.196
J 0.016 . . . . . . . . . . . 0.023 . . . . . . 0.009 0.006 . . . 0.251
4 0.234 0.011 0.022 0.068 0.250 0.190 0.038 . . . 0.009 0.020 0.041 . . . . 0.006 . . 0.527 . . . .
A 0.258 . . 0.039 . . . 0.209 . . . . . 0.516 0.023 0.077 0.245 . . 0.491 . . . 0.531 .
E 0.289 0.281 0.418 0.285 0.500 0.098 0.038 0.209 . 0.530 0.526 0.035 0.354 0.158 . . 0.178 0.236 0.170 0.102 0.323 0.253 0.152 0.060 0.443
O 0.387 0.387 0.342 0.530 0.528 0.279 0.269 0.209 . 0.049 0.063 0.035 0.109 0.530 0.086 0.203 0.386 0.054 0.018 0.459 0.030 0.091 0.040 0.433 0.076
8 0.317 0.011 0.032 . 0.156 . . . . 0.145 0.185 0.029 0.041 0.020 . . . 0.079 0.476 0.044 0.132 0.014 0.477 0.103 0.094
9 0.378 0.376 0.237 0.307 0.250 0.279 0.091 0.323 . 0.423 0.441 0.013 0.513 0.393 . . 0.108 0.299 0.062 0.387 0.397 0.327 0.061 0.291 0.487
* 0.031 . 0.005 0.039 . . 0.038 . . 0.041 0.081 0.009 0.023 0.011 0.018 0.020 . 0.016 0.042 0.012 0.050 0.017 0.015 0.270 0.117
0.135 0.240 0.025 0.531 0.250 0.098 0.038 0.209 . 0.075 0.118 0.007 0.531 0.035 . . . 0.364 . 0.072 0.089 0.179 0.094 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.219 1.681 1.405 2.305 2.411 2.639 2.176 2.678 1.500 3.091 3.046 2.547 2.483 1.815 0.126 0.356 0.917 1.323 2.713 1.740 3.015 1.809 2.262 2.879 2.273
Denis would like me to remove the paragraph-initial lines.
Testing the hypothesis that P,F are (often) HOE,DOE
cat .voyn.cur \
| tr -d '/= ' \
| tr 'IGHTUDL56' '*********' \
| sed \
-e 's/POE/b/g' \
-e 's/FOE/v/g' \
| count-digraph-freqs \
-vshowentropy=1 \
-vchars='PFBVbvQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567'
Next-symbol probability (× 99):
P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P . . . . . . . . . . 8 3 42 . . . . . . 32 . 2 . 11 1 .
F . . . . . . . . . . 4 2 44 . . . . . . 38 1 2 . 9 . .
B . . . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . .
V . . . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . .
R . . . . . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7
N . . . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6
M . . . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7
E 3 13 1 . . . . . . . 21 14 1 2 1 . . . 4 3 2 16 7 5 . 6
O 14 36 2 . 1 1 . . . . . . . . 8 . 1 . . . 32 . 1 1 . .
A . . . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 .
9 3 3 . . . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11
b 7 9 2 2 . . . . . . 20 18 . . . . . . 4 . . 24 13 . . .
v . 6 2 . . . . . . . 32 21 . . . . . . . . . 24 13 . . 2
Q . . . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1
X . . . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . .
W . . . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . .
Y . . . . . . . . . . . . 50 . . . . . . . . . 50 . . .
S . 1 . . . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . .
Z . 1 . . . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . .
C 1 2 . . . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . .
2 1 1 . . . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3
J . . . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90
4 . . . . . . . . . . . . 1 . . . . . . . . 97 . . . .
8 . . . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . .
* . 1 1 . . . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14
5 1 9 . 1 . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
Previous-symbol probability (× 99):
P F B V b v Q X W Y S Z C 2 R N M J 4 A 9 E O 8 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P . . . . . . . . . . 4 2 8 . . . . . . 13 2 . . . 4 .
F . . . . . . . . . . 5 3 20 . . . . . . 37 4 . 1 . 4 .
B . . . . . . . . . . 6 2 . . . . . . . 1 . . 1 . . .
V . . . . . . . . . . 2 . . . . . . . . . . . . . . .
b . . 1 3 . . . . . . 1 1 . . . . . . . . . . . . . .
v . . 1 . . . . . . . 1 1 . . . . . . . . . . . . . .
Q . . . . . . . . . . . . 1 . . . . . . . 2 . . . . .
X . . . . . . . . . . . . 1 . . . . . . . 3 . . . . .
W . . . . . . . . . . . . . . . . . . . . . . . . . .
Y . . . . . . . . . . . . . . . . . . . . . . . . . .
S 1 1 2 3 2 . 25 33 38 50 . . 24 2 . . . . . 1 2 1 1 3 2 .
Z . . . . 7 . 16 19 . . . . 20 . . . . . . 1 1 . 1 1 . .
C 5 4 7 9 . . 32 34 19 . 1 1 22 12 1 . . . . 3 22 . 4 69 12 .
2 . . 1 . 2 . 1 . . . 1 2 . 1 . . . . . 8 . . 3 . 1 1
R . . 2 . . 2 1 . 5 25 8 13 . 1 . . . . 1 7 1 . 7 1 5 8
N . . . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . . 4 1 . 4
M . . . . . . . 1 . 25 8 8 . 2 . . . . 1 . . . 3 1 1 4
J . . . . . . . . . . . . . . . . . . . . . . . . . 6
4 . . 1 6 . 2 4 . . . . . . 1 . . . . . . . . 42 . . .
A . . 1 . . . . . 5 . . . . . 45 97 94 80 . . . 24 . . 36 .
E 7 15 7 22 7 11 2 . 5 . 32 30 . 11 3 . . 4 6 3 3 2 9 6 1 18
O 67 71 34 40 48 65 7 7 5 . 1 1 . 2 34 1 5 13 1 . 1 55 . 1 17 1
8 . . . 3 . . . . . . 3 4 . 1 . . . . 1 21 54 1 3 . 2 2
9 13 5 9 6 11 15 7 1 9 . 16 17 . 27 14 . . 2 75 1 1 14 14 10 8 52
* . . 1 . . . . . . . 1 1 . . . . . . . 1 . . 1 . 7 2
5 . 36 6 22 4 2 . 5 . 1 2 . 37 . . . . 12 . 2 1 1 4 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
Perhaps they are POE8/HOE8:
cat .voyn.cur \
| tr -d '/= ' \
| tr 'IGHTUDL56' '*********' \
| sed \
-e 's/POE8/b/g' \
-e 's/FOE8/v/g' \
| count-digraph-freqs \
-vshowentropy=1 \
-vchars='PFBVbvQXWYSZC2RNMJ4AEO89IGH1TU0D3KL567'
Digraph counts:
TT P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
P 846 . 1 . . . . . . . . 62 26 341 1 . . 1 . . 259 3 56 3 88 5 .
F 1986 . . . . . . . . . . 72 30 869 . 1 . 2 . . 736 11 88 3 170 4 .
B 195 . . . . . . . . . . 92 25 4 . . . . . . 13 . 51 3 7 . .
V 32 . . . . . . . . . . 24 2 1 . . . . . . 2 . 3 . . . .
b 6 . . . . . . . . . . . . . . . . . . . 2 . 1 . 3 . .
v 7 . . . . . . . . . . . . . . . . . . . 1 . . . 6 . .
Q 121 . . . . . . . . . . . . 31 1 . . . . . 3 . 5 6 74 . 1
X 199 . . . . . . . . . . 2 1 53 . . . . . . 5 . 3 10 125 . .
W 21 . . . . . . . . . . . . 9 . . . . . . 2 . 2 3 5 . .
Y 4 . . . . . . . . . . . . 2 . . . . . . . . . 2 . . .
S 1453 8 17 4 1 . . 31 66 8 2 1 3 1053 6 4 . . . . 27 13 49 96 62 2 .
Z 1078 6 6 . . . . 19 39 . . 3 . 866 1 1 . . . 2 23 5 38 41 28 . .
C 4268 38 79 13 3 . . 39 69 4 . 15 9 953 45 8 . . . 2 53 4 175 1898 844 14 3
2 365 3 4 1 . . . 1 1 . . 18 19 2 2 . . . . 3 150 2 133 4 10 1 11
R 883 2 5 3 . . . 1 1 1 1 123 145 4 4 1 . . . 25 147 3 272 22 54 6 63
N 503 1 . . . . . 3 . 2 . 117 104 3 5 1 . . . 19 9 2 169 30 9 . 29
M 438 . 2 . . . . . 2 . 1 114 89 1 7 1 . . . 16 4 2 127 25 13 1 33
J 53 . . . . . . . . . . . . . 1 . . . . . . 2 2 . . . 48
4 1676 1 5 2 2 . . 5 1 . . . 1 10 2 . . . . 1 . . 1646 . . . .
A 1952 . . 1 . . . . . 1 . . . . . 405 495 414 43 . . 552 . . . 41 .
E 2331 64 309 15 8 . 1 2 1 1 . 501 344 19 41 28 . . 2 96 69 41 377 161 114 1 136
O 3951 567 1430 67 13 4 4 9 14 1 . 10 10 19 7 305 7 20 7 13 4 1336 15 41 20 19 9
8 2727 1 8 . 1 . . . . . . 41 43 15 2 2 . . . 21 414 14 97 4 2050 2 12
9 3781 106 113 17 2 1 2 9 3 2 . 233 190 6 101 121 . . 1 1277 18 312 556 266 34 9 402
* 113 . 1 1 . . . . 1 . . 8 14 4 1 1 1 1 . 3 11 3 28 5 6 8 16
763 49 6 71 2 1 . 2 1 1 . 17 23 3 138 4 . . . 198 . 26 58 104 59 . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 29752 846 1986 195 32 6 7 121 199 21 4 1453 1078 4268 365 883 503 438 53 1676 1952 2331 3951 2727 3781 113 763
Next-symbol probability (× 99):
P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P . . . . . . . . . . 7 3 40 . . . . . . 30 . 7 . 10 1 .
F . . . . . . . . . . 4 1 43 . . . . . . 37 1 4 . 8 . .
B . . . . . . . . . . 47 13 2 . . . . . . 7 . 26 2 4 . .
V . . . . . . . . . . 74 6 3 . . . . . . 6 . 9 . . . .
b . . . . . . . . . . . . . . . . . . . 33 . 17 . 50 . .
v . . . . . . . . . . . . . . . . . . . 14 . . . 85 . .
Q . . . . . . . . . . . . 25 1 . . . . . 2 . 4 5 61 . 1
X . . . . . . . . . . 1 . 26 . . . . . . 2 . 1 5 62 . .
W . . . . . . . . . . . . 42 . . . . . . 9 . 9 14 24 . .
Y . . . . . . . . . . . . 50 . . . . . . . . . 50 . . .
S 1 1 . . . . 2 4 1 . . . 72 . . . . . . 2 1 3 7 4 . .
Z 1 1 . . . . 2 4 . . . . 80 . . . . . . 2 . 3 4 3 . .
C 1 2 . . . . 1 2 . . . . 22 1 . . . . . 1 . 4 44 20 . .
2 1 1 . . . . . . . . 5 5 1 1 . . . . 1 41 1 36 1 3 . 3
R . 1 . . . . . . . . 14 16 . . . . . . 3 16 . 30 2 6 1 7
N . . . . . . 1 . . . 23 20 1 1 . . . . 4 2 . 33 6 2 . 6
M . . . . . . . . . . 26 20 . 2 . . . . 4 1 . 29 6 3 . 7
J . . . . . . . . . . . . . 2 . . . . . . 4 4 . . . 90
4 . . . . . . . . . . . . 1 . . . . . . . . 97 . . . .
A . . . . . . . . . . . . . . 21 25 21 2 . . 28 . . . 2 .
E 3 13 1 . . . . . . . 21 15 1 2 1 . . . 4 3 2 16 7 5 . 6
O 14 36 2 . . . . . . . . . . . 8 . 1 . . . 33 . 1 1 . .
8 . . . . . . . . . . 1 2 1 . . . . . 1 15 1 4 . 74 . .
9 3 3 . . . . . . . . 6 5 . 3 3 . . . 33 . 8 15 7 1 . 11
* . 1 1 . . . . 1 . . 7 12 4 1 1 1 1 . 3 10 3 25 4 5 7 14
6 1 9 . . . . . . . 2 3 . 18 1 . . . 26 . 3 8 13 8 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
Previous-symbol probability (× 99):
P F B V b v Q X W Y S Z C 2 R N M J 4 A E O 8 9 *
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
P . . . . . . . . . . 4 2 8 . . . . . . 13 . 1 . 2 4 .
F . . . . . . . . . . 5 3 20 . . . . . . 37 . 2 . 4 4 .
B . . . . . . . . . . 6 2 . . . . . . . 1 . 1 . . . .
V . . . . . . . . . . 2 . . . . . . . . . . . . . . .
b . . . . . . . . . . . . . . . . . . . . . . . . . .
v . . . . . . . . . . . . . . . . . . . . . . . . . .
Q . . . . . . . . . . . . 1 . . . . . . . . . . 2 . .
X . . . . . . . . . . . . 1 . . . . . . . . . . 3 . .
W . . . . . . . . . . . . . . . . . . . . . . . . . .
Y . . . . . . . . . . . . . . . . . . . . . . . . . .
S 1 1 2 3 . . 25 33 38 50 . . 24 2 . . . . . 1 1 1 3 2 2 .
Z 1 . . . . . 16 19 . . . . 20 . . . . . . 1 . 1 1 1 . .
C 4 4 7 9 . . 32 34 19 . 1 1 22 12 1 . . . . 3 . 4 69 22 12 .
2 . . 1 . . . 1 . . . 1 2 . 1 . . . . . 8 . 3 . . 1 1
R . . 2 . . . 1 . 5 25 8 13 . 1 . . . . 1 7 . 7 1 1 5 8
N . . . . . . 2 . 9 . 8 10 . 1 . . . . 1 . . 4 1 . . 4
M . . . . . . . 1 . 25 8 8 . 2 . . . . 1 . . 3 1 . 1 4
J . . . . . . . . . . . . . . . . . . . . . . . . . 6
4 . . 1 6 . . 4 . . . . . . 1 . . . . . . . 41 . . . .
A . . 1 . . . . . 5 . . . . . 45 97 94 80 . . 23 . . . 36 .
E 7 15 8 25 . 14 2 . 5 . 34 32 . 11 3 . . 4 6 3 2 9 6 3 1 18
O 66 71 34 40 66 57 7 7 5 . 1 1 . 2 34 1 5 13 1 . 57 . 1 1 17 1
8 . . . 3 . . . . . . 3 4 . 1 . . . . 1 21 1 2 . 54 2 2
9 12 6 9 6 17 28 7 1 9 . 16 17 . 27 14 . . 2 75 1 13 14 10 1 8 52
* . . 1 . . . . . . . 1 1 . . . . . . . 1 . 1 . . 7 2
6 . 36 6 17 . 2 . 5 . 1 2 . 37 . . . . 12 . 1 1 4 2 . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
Obviously B/V are not POE8/HOE8: the counts are too low and the
next-symbol frequencies are all wrong. POE/HOE is still the best fit.
But surely there is more to the story...
Digraph frequencies ignoring blanks and line breaks,
and collapsing 'DFT' to 'HPS':
cat .voyn.fsg \
| tr -d ' /=\012' \
| tr 'DFT' 'HPS' \
| enum-ngraphs -v n=2 \
| egrep -v '\*' \
> .voyn-tt-2-r.grm
cat .voyn-tt-2-r.grm \
| sed -e 's/^\(.\)\(.\)$/\1:\2/g' \
> .voyn-tt-1-1-r.grm
cat .voyn-tt-1-1-r.grm \
| sort | uniq -c | expand \
| compute-freqs \
> .voyn-tt-1-1-r.frq
Digraph frequencies around line breaks, ignoring spaces:
cat .voyn.fsg \
| tr -d ' /=' \
| tr 'DFT' 'HPS' \
| sed -e 's/^\(..\).*\(..\)$/\1\2/g' \
| tr -s '\012' ':' \
| enum-ngraphs -v n=3 \
| egrep -v '\*' \
| egrep '^.:.$' \
> .voyn-nl-1-1-r.grm
cat .voyn-nl-1-1-r.grm \
| sort | uniq -c | expand \
| compute-freqs \
> .voyn-nl-1-1-r.frq
Digraph frequencies around interword blanks (omitting line breaks):
cat .voyn.fsg \
| tr -d '/=\012' \
| tr 'DFT' 'HPS' \
| tr -s ' ' ':' \
| enum-ngraphs -v n=3 \
| egrep -v '\*' \
| egrep '^.:.$' \
> .voyn-sp-1-1-r.grm
cat .voyn-sp-1-1-r.grm \
| sort | uniq -c | expand \
| compute-freqs \
> .voyn-sp-1-1-r.frq
Now let's do the comparisons. First, line breaks against total occurrences:
compare-freqs \
.voyn-tt-1-1-r.frq \
.voyn-nl-1-1-r.frq \
| compute-count-ratio \
-v nmin=10 -v mw=8 -v mc=40 \
| sort +0.0 -0.2r +4 -5nr \
> .voyn-tt-nl-1-1-r.cmp
cat .voyn-tt-nl-1-1-r.cmp \
| print-pattern-classes \
-v rowchars='AI4FPDHCTSZ2L68OKMNREG' \
-v colchars='A6KLMNIZFC2PEDHSTR4G8O'
A 6 K L M N I Z C 2 P E H S R 4 G 8 O
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
A | . . oo . oo oo oo . . . -? oo . . oo . . . .
I | . . -? -? . . oo . . . . -? . . oo . . . .
4 | . . . . . . . . oo -? -? . oo -? . -? . . oo
P | oo . . . . . . oo -? . . . . oo . . -? -? oo
H | oo . . . -? . -? oo oo -? . oo -? oo -? . oo -? oo
C | oo -? . -? . . . . oo oo oo -? oo oo -? -? oo -- oo
S | oo . . . . . . . oo -? oo oo oo -? -? -? oo oo oo
Z | oo . . . . . . . oo -? . . . -? . . oo oo --
2 | oo . . . . . -? . -? +? -? -? || -- . +? oo -? --
L | . . . . . . . . . . . -? . -? . . -? . -?
6 | -? . . . . . . . . -? . . -? -? . +? . +? -?
8 | oo . . -? . . -? . oo -? -? || || oo -? || oo -? --
O | -? -? -? -? oo -? -? . oo ## oo oo oo -- oo || oo oo ||
K | . . . . . . . . . ## -? -? -? +? . ## +? +? +?
M | -? . . . . . -? . -? ## +? -? +? -- -? || -- -- --
N | -? . . . . . . . -? ## +? +? -? -- -? || || ++ --
R | oo -? . . . . -? . -? ## ## +? || -- -? || -- || --
E | oo . -? . . . . . -- || || || -- -- oo || ++ ++ --
G | oo -? -? -? . . -? . +? || || -- || -- -- ++ || || --
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
A 6 K L M N I Z C 2 P E H S R 4 G 8 O
Now, intra-line spaces against all occurrences:
compare-freqs \
.voyn-tt-1-1-r.frq \
.voyn-sp-1-1-r.frq \
| compute-count-ratio \
-v nmin=10 -v mw=5 -v mc=5 \
| sort +0.0 -0.2r +4 -5nr \
> .voyn-tt-sp-1-1-r.cmp
cat .voyn-tt-sp-1-1-r.cmp \
| print-pattern-classes \
-v rowchars='AI4FPDHCTSZ2L68OKMNREG' \
-v colchars='A6KLMNIZFC2PEDHSTR4G8O'
A 6 K L M N I Z C 2 P E H S R 4 G 8 O
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
A | . . oo . oo oo oo . . . +? oo . . oo . . . .
I | . . +? +? . . oo . . . . -? . . oo . . . .
4 | . . . . . . . . oo +? +? . || +? . +? . . oo
P | oo . . . . . . oo +? . . . . -- . . -? +? --
H | -- . . . +? . +? oo -- +? . oo +? -- +? . -- +? --
C | oo +? . +? . . . . oo oo oo +? oo oo +? +? -- -- --
S | oo . . . . . . . oo -? oo oo oo +? +? +? oo -- --
Z | oo . . . . . . . oo +? . . . +? . . oo oo ++
2 | ++ . . . . . +? . +? +? +? +? ## || . +? ++ +? ++
L | . . . . . . . . . . . +? . +? . . +? . +?
6 | +? . . . . . . . . +? . . +? +? . +? . +? +?
8 | -- . . +? . . +? . oo +? +? || || ++ +? ## -- +? ||
O | +? -? -? +? oo -? +? . oo ## oo -- -- || -- ## ++ -- ||
K | . . . . . . . . . ## +? +? +? +? . ## +? +? +?
M | +? . . . . . +? . +? ## +? +? +? ## +? ## ## ## ##
N | +? . . . . . . . +? ## +? +? +? ## +? ## ## ## ##
R | || +? . . . . +? . +? ## ## +? ## || +? ## || ## ||
E | || . +? . . . . . || || || ## ++ || || ## ++ || ||
G | ## +? +? +? . . +? . +? ## ## || || || || || ## || ##
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
A 6 K L M N I Z C 2 P E H S R 4 G 8 O
There are some notable differences.
Patterns that are strong space-contexts but weak
or negligible line break contexts:
[28OMNREG]:[ST]
[2O]:G [N8]:O M:[G8O] R:[GO] E:[CRO] G:[AERO]
Just for the sake of completeness, here is the comparison of spaces
with line breaks:
compare-freqs \
.voyn-sp-1-1-r.frq \
.voyn-nl-1-1-r.frq \
| compute-count-ratio \
-v nmin=10 -v mw=2 -v mc=8 \
| sort +0.0 -0.2r +4 -5nr \
> .voyn-sp-nl-1-1-r.cmp
cat .voyn-sp-nl-1-1-r.cmp \
| print-pattern-classes \
-v rowchars='AI4FPDHCTSZ2L68OKMNREG' \
-v colchars='A6KLMNIZFC2PEDHSTR4G8O'
A 6 L I C 2 P E H S R 4 G 8 O
-- -- -- -- -- -- -- -- -- -- -- -- -- -- --
4 | . . . . . . -? . -? . . -? . . .
P | . . . . -? . . . . -? . . . . -?
H | -? . . . -? . . . . -? -? . -? -? -?
C | . . . . . . . . . . -? -? -? -? -?
S | . . . . . . . . . -? . -? . -? -?
Z | . . . . . . . . . -? . . . . -?
2 | oo . . . . +? -? -? +? oo . -? -? -? oo
L | . . . . . . . . . -? . . . . -?
6 | . . . . . -? . . -? -? . +? . +? -?
8 | -? . . . . -? -? -? +? -? . -- -? -? oo
O | . . . . . +? . -? -? -? -? -? -? -? -?
K | . . . . . ## -? -? -? +? . ## +? +? +?
M | -? . . -? -? ## +? -? +? oo -? || -? oo oo
N | -? . . . -? ## +? +? -? oo -? -- oo -- oo
R | oo . . . -? ## ## +? ## -- -? ++ -- ++ --
E | oo . . . oo || ## -- -- -- oo ++ ## -- --
G | oo -? -? . -? ++ || -- ++ -- oo -- || -- --
Let's write a sed script to split words and syllabes according to
the patterns that occur at line breaks.
I recomputed the ratio by the more generous formula
gawk '\
{ printf " %5d %5.3f %5d %5.3f %5.3f %s %s\n",\
$1, $2, $3, $4, ($3)/($1+2), $6, $7 \
}'
Then classified them as
++ very likey a word break ratio >= 0.200 and NT >= 5
+? possibly a word break ratio >= 0.200 and NT < 5
:: very likey a syllabe break 0.200 > ratio >= 0.005 and NL >= 5
:? possible syllabe break 0.200 > ratio >= 0.005 and NL < 5
-- very likely unbreakable 0.005 > ratio and NT >= 80
-? possibly unbreakable 0.005 > ratio and NT < 80
Result is in .voyn-tt-nl-1-1-r-hand.cmp
cat .voyn-tt-nl-1-1-r-hand.cmp \
| print-pattern-classes \
-v rowchars='AI4FPDHCTSZ2L68OKMNREG' \
-v colchars='A6KLMNIZFC2PEDHSTR4G8O'
A 6 K L M N I Z C 2 P E H S R 4 G 8 O
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
A | . . -? . -- -- -? . . . -? -- . . -- . . . .
I | . . -? -? . . -? . . . . -? . . -? . . . .
4 | . . . . . . . . -? -? -? . -? -? . -? . . --
P | -? . . . . . . -? -? . . . . -- . . -? -? -?
H | -- . . . -? . -? -- -- -? . -? -? -- -? . -- -? --
C | -? -? . -? . . . . -- -? -? -? -- -? :? +? -- -- --
S | -? . . . . . . . -- -? -? -? -- -? -? -? -- -- --
Z | -? . . . . . . . -- -? . . . -? . . -- -? :?
2 | -- . . . . . -? . -? ++ +? -? :? :? . ++ -? -? :?
L | . . . . . . . . . . . -? . -? . . -? . -?
6 | -? . . . . . . . . +? . . +? +? . +? . +? -?
8 | -- . . -? . . -? . -? +? -? :? :? -- -? :? -- :? :?
O | -? -? -? -? -? -? -? . -? ++ -- -- -- :? -- :? -? -? :?
K | . . . . . . . . . ++ +? -? +? +? . ++ +? ++ ++
M | -? . . . . . -? . -? ++ +? +? ++ :? -? ++ :? :? :?
N | -? . . . . . . . -? ++ ++ +? :? :? -? :: ++ :? :?
R | -- -? . . . . -? . -? ++ ++ ++ ++ :? +? ++ :? ++ ::
E | -? . -? . . . . . :? ++ ++ :: :: :? -? ++ :: :: ::
G | -? -? -? -? . . -? . ++ ++ ++ :: :: :: :? :: ++ :: ::
Here are the rules ("+" means word split, ":" means syllabe, "-" means
no break).
.-[A6KLMNIZ]
[AI4FPDHCSTZ]-.
[2MNRE]-G
[L8O]-[CFPEDHSTR4G8O]
[26KMNREG]+[FP]
[2L68OKMNREG]+2
[G]+[CFPG]
[MNR]+[EDHG]
[MER2]+[4]
[R]+[8R]
[2]:[FPEDHSTRG8O]
[MNR]:[ST]
[E]:[EDHSTG8]
[G]:[EDHSTR8]
[MN]:[8]
{MNREG]:[O]
cat .voyn.fsg \
| tr -d '/= ' \
| sed -e 's/\(.\)/\1 /g' \
| split-by-nl-patterns \
| split-by-nl-patterns \
| tr -d ' \-' \
| tr '+' ' ' \
> .voyn-nl-split.fsg
Global tetragram frequencies, ignoring line breaks and word spaces:
cat .voyn.fsg \
| tr -d ' /=\012' \
| enum-ngraphs -v n=4 \
| egrep -v '\*' \
> .voyn-tt-4.grm
cat .voyn-tt-4.grm \
| sed -e 's/^\(..\)\(..\)$/\1:\2/g' \
> .voyn-tt-2-2.grm
cat .voyn-tt-2-2.grm \
| sort | uniq -c | expand \
| compute-freqs \
> .voyn-tt-2-2.frq