Dennis "Ixohoxi" sent me a sample of latin text. Let's see if I can lower its entropy to that of Voynichese,
with the substitutions above:
cat latn.txt \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' iaueonrpclgbshdtmfvxzq'
Digraph counts:
TT i a u e o n r p c l g b s h d t m f v x z q
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1318 . 122 111 17 212 17 47 77 54 65 12 9 25 153 13 99 63 63 56 51 . 1 51
i 815 107 8 66 49 27 36 121 12 13 35 36 5 25 73 8 22 115 20 3 19 12 . 3
a 570 50 11 1 19 37 . 51 16 5 24 44 8 34 29 9 62 67 60 . 40 . . 3
u 513 11 49 33 12 46 27 38 26 15 8 25 1 4 84 . 11 22 93 1 1 6 . .
e 888 152 28 7 27 5 12 61 138 4 18 19 52 11 66 . 26 172 56 3 1 27 . 3
o 422 70 7 4 . 1 . 88 32 13 28 15 2 5 49 1 12 8 71 . 4 2 . 10
n 443 81 61 38 41 41 32 4 . 4 8 . 15 . 24 . 17 63 . 4 5 2 . 3
r 380 45 37 58 24 106 30 6 12 . 4 . 9 1 7 1 14 4 8 2 11 . 1 .
p 118 . 12 7 8 27 20 . 20 . . 5 . . 7 9 . 3 . . . . . .
c 212 23 37 22 38 52 19 . 2 . 7 3 . . . 4 . 5 . . . . . .
l 174 10 52 21 9 17 39 . . . 3 12 . . . . 1 9 . . 1 . . .
g 103 2 27 3 7 22 12 17 9 . . 2 2 . . . . . . . . . . .
b 108 7 26 19 23 19 7 1 1 . . 1 . . 3 . . . 1 . . . . .
s 515 219 24 72 46 46 15 . 9 7 12 . . . 15 . . 45 . . . . . 5
h 82 3 13 21 3 25 7 . 5 . . . . . 5 . . . . . . . . .
d 267 38 66 24 11 42 78 . 1 1 . . . . . 3 3 . . . . . . .
t 579 288 53 32 58 73 9 . 17 . . . . . . 34 . . . . . . . 15
m 374 189 58 12 9 41 43 9 . 2 . . . 3 . . . 1 2 . . . . 5
f 70 . 36 8 9 9 4 . 3 . . . . . . . . . . 1 . . . .
v 133 . 73 11 5 30 14 . . . . . . . . . . . . . . . . .
x 49 23 15 . . 9 . . . . . . . . . . . 2 . . . . . .
z 2 . . . . 1 1 . . . . . . . . . . . . . . . . .
q 98 . . . 98 . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 8233 1318 815 570 513 888 422 443 380 118 212 174 103 108 515 82 267 579 374 70 133 49 2 98
Next-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z q
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 9 8 1 16 1 4 6 4 5 1 1 2 11 1 7 5 5 4 4 . . 4
i 99 13 1 8 6 3 4 15 1 2 4 4 1 3 9 1 3 14 2 . 2 1 . .
a 99 9 2 . 3 6 . 9 3 1 4 8 1 6 5 2 11 12 10 . 7 . . 1
u 99 2 9 6 2 9 5 7 5 3 2 5 . 1 16 . 2 4 18 . . 1 . .
e 99 17 3 1 3 1 1 7 15 . 2 2 6 1 7 . 3 19 6 . . 3 . .
o 99 16 2 1 . . . 21 8 3 7 4 . 1 11 . 3 2 17 . 1 . . 2
n 99 18 14 8 9 9 7 1 . 1 2 . 3 . 5 . 4 14 . 1 1 . . 1
r 99 12 10 15 6 28 8 2 3 . 1 . 2 . 2 . 4 1 2 1 3 . . .
p 99 . 10 6 7 23 17 . 17 . . 4 . . 6 8 . 3 . . . . . .
c 99 11 17 10 18 24 9 . 1 . 3 1 . . . 2 . 2 . . . . . .
l 99 6 30 12 5 10 22 . . . 2 7 . . . . 1 5 . . 1 . . .
g 99 2 26 3 7 21 12 16 9 . . 2 2 . . . . . . . . . . .
b 99 6 24 17 21 17 6 1 1 . . 1 . . 3 . . . 1 . . . . .
s 99 42 5 14 9 9 3 . 2 1 2 . . . 3 . . 9 . . . . . 1
h 99 4 16 25 4 30 8 . 6 . . . . . 6 . . . . . . . . .
d 99 14 24 9 4 16 29 . . . . . . . . 1 1 . . . . . . .
t 99 49 9 5 10 12 2 . 3 . . . . . . 6 . . . . . . . 3
m 99 50 15 3 2 11 11 2 . 1 . . . 1 . . . . 1 . . . . 1
f 99 . 51 11 13 13 6 . 4 . . . . . . . . . . 1 . . . .
v 99 . 54 8 4 22 10 . . . . . . . . . . . . . . . . .
x 99 46 30 . . 18 . . . . . . . . . . . 4 . . . . . .
z 99 . . . . 50 50 . . . . . . . . . . . . . . . . .
q 99 . . . 99 . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 16 10 7 6 11 5 5 5 1 3 2 1 1 6 1 3 7 4 1 2 1 0 1
Previous-symbol probability (× 99):
TT i a u e o n r p c l g b s h d t m f v x z q
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
16 . 15 19 3 24 4 11 20 45 30 7 9 23 29 16 37 11 17 79 38 . 50 52
i 10 8 1 11 9 3 8 27 3 11 16 20 5 23 14 10 8 20 5 4 14 24 . 3
a 7 4 1 . 4 4 . 11 4 4 11 25 8 31 6 11 23 11 16 . 30 . . 3
u 6 1 6 6 2 5 6 8 7 13 4 14 1 4 16 . 4 4 25 1 1 12 . .
e 11 11 3 1 5 1 3 14 36 3 8 11 50 10 13 . 10 29 15 4 1 55 . 3
o 5 5 1 1 . . . 20 8 11 13 9 2 5 9 1 4 1 19 . 3 4 . 10
n 5 6 7 7 8 5 8 1 . 3 4 . 14 . 5 . 6 11 . 6 4 4 . 3
r 5 3 4 10 5 12 7 1 3 . 2 . 9 1 1 1 5 1 2 3 8 . 50 .
p 1 . 1 1 2 3 5 . 5 . . 3 . . 1 11 . 1 . . . . . .
c 3 2 4 4 7 6 4 . 1 . 3 2 . . . 5 . 1 . . . . . .
l 2 1 6 4 2 2 9 . . . 1 7 . . . . . 2 . . 1 . . .
g 1 . 3 1 1 2 3 4 2 . . 1 2 . . . . . . . . . . .
b 1 1 3 3 4 2 2 . . . . 1 . . 1 . . . . . . . . .
s 6 16 3 13 9 5 4 . 2 6 6 . . . 3 . . 8 . . . . . 5
h 1 . 2 4 1 3 2 . 1 . . . . . 1 . . . . . . . . .
d 3 3 8 4 2 5 18 . . 1 . . . . . 4 1 . . . . . . .
t 7 22 6 6 11 8 2 . 4 . . . . . . 41 . . . . . . . 15
m 4 14 7 2 2 5 10 2 . 2 . . . 3 . . . . 1 . . . . 5
f 1 . 4 1 2 1 1 . 1 . . . . . . . . . . 1 . . . .
v 2 . 9 2 1 3 3 . . . . . . . . . . . . . . . . .
x 1 2 2 . . 1 . . . . . . . . . . . . . . . . . .
z 0 . . . . . . . . . . . . . . . . . . . . . . .
q 1 . . . 19 . . . . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.996
Next-symbol entropy:
count ntrpy i a u e o n r p c l g b s h d t m f v x z q
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1318 3.928 . 0.318 0.301 0.081 0.424 0.081 0.172 0.239 0.189 0.214 0.062 0.049 0.109 0.361 0.066 0.281 0.210 0.210 0.194 0.182 . 0.008 0.182
i 815 3.859 0.385 0.065 0.294 0.244 0.163 0.199 0.409 0.090 0.095 0.195 0.199 0.045 0.154 0.312 0.065 0.141 0.399 0.131 0.030 0.126 0.090 . 0.030
a 570 3.852 0.308 0.110 0.016 0.164 0.256 . 0.312 0.145 0.060 0.192 0.285 0.086 0.243 0.219 0.094 0.348 0.363 0.342 . 0.269 . . 0.040
u 513 3.681 0.119 0.324 0.255 0.127 0.312 0.224 0.278 0.218 0.149 0.094 0.212 0.018 0.055 0.427 . 0.119 0.195 0.447 0.018 0.018 0.075 . .
e 888 3.554 0.436 0.157 0.055 0.153 0.042 0.084 0.265 0.417 0.035 0.114 0.119 0.240 0.078 0.279 . 0.149 0.459 0.251 0.028 0.011 0.153 . 0.028
o 422 3.361 0.430 0.098 0.064 . 0.021 . 0.472 0.282 0.155 0.260 0.171 0.037 0.076 0.361 0.021 0.146 0.108 0.433 . 0.064 0.037 . 0.128
n 443 3.475 0.448 0.394 0.304 0.318 0.318 0.274 0.061 . 0.061 0.105 . 0.165 . 0.228 . 0.181 0.400 . 0.061 0.073 0.035 . 0.049
r 380 3.333 0.365 0.327 0.414 0.252 0.514 0.289 0.094 0.157 . 0.069 . 0.128 0.023 0.106 0.023 0.175 0.069 0.117 0.040 0.148 . 0.023 .
p 118 3.048 . 0.335 0.242 0.263 0.487 0.434 . 0.434 . . 0.193 . . 0.242 0.283 . 0.135 . . . . . .
c 212 2.929 0.348 0.440 0.339 0.445 0.497 0.312 . 0.063 . 0.162 0.087 . . . 0.108 . 0.127 . . . . . .
l 174 2.832 0.237 0.521 0.368 0.221 0.328 0.484 . . . 0.101 0.266 . . . . 0.043 0.221 . . 0.043 . . .
g 103 2.823 0.110 0.506 0.149 0.264 0.476 0.361 0.429 0.307 . . 0.110 0.110 . . . . . . . . . . .
b 108 2.757 0.256 0.495 0.441 0.475 0.441 0.256 0.063 0.063 . . 0.063 . . 0.144 . . . 0.063 . . . . .
s 515 2.732 0.525 0.206 0.397 0.311 0.311 0.149 . 0.102 0.084 0.126 . . . 0.149 . . 0.307 . . . . . 0.065
h 82 2.591 0.175 0.421 0.503 0.175 0.522 0.303 . 0.246 . . . . . 0.246 . . . . . . . . .
d 267 2.545 0.400 0.498 0.312 0.190 0.420 0.519 . 0.030 0.030 . . . . . 0.073 0.073 . . . . . . .
t 579 2.377 0.501 0.316 0.231 0.333 0.377 0.093 . 0.149 . . . . . . 0.240 . . . . . . . 0.137
m 374 2.284 0.498 0.417 0.159 0.129 0.350 0.359 0.129 . 0.040 . . . 0.056 . . . 0.023 0.040 . . . . 0.083
f 70 2.130 . 0.493 0.358 0.380 0.380 0.236 . 0.195 . . . . . . . . . . 0.088 . . . .
v 133 1.777 . 0.475 0.297 0.178 0.485 0.342 . . . . . . . . . . . . . . . . .
x 49 1.672 0.512 0.523 . . 0.449 . . . . . . . . . . . 0.188 . . . . . .
z 2 1.000 . . . . 0.500 0.500 . . . . . . . . . . . . . . . . .
q 98 0.000 . . . . . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 8233 3.261 0.423 0.330 0.267 0.250 0.347 0.220 0.227 0.205 0.088 0.136 0.118 0.079 0.082 0.250 0.066 0.160 0.269 0.203 0.058 0.096 0.044 0.003 0.076
Previous-symbol entropy:
count ntrpy i a u e o n r p c l g b s h d t m f v x z q
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
1318 0.423 . 0.410 0.460 0.163 0.493 0.187 0.343 0.467 0.516 0.523 0.266 0.307 0.489 0.520 0.421 0.531 0.348 0.433 0.258 0.530 . 0.500 0.490
i 815 0.330 0.294 0.065 0.360 0.324 0.153 0.303 0.511 0.157 0.351 0.429 0.470 0.212 0.489 0.400 0.328 0.297 0.463 0.226 0.195 0.401 0.497 . 0.154
a 570 0.267 0.179 0.084 0.016 0.176 0.191 . 0.359 0.192 0.193 0.356 0.502 0.286 0.525 0.234 0.350 0.489 0.360 0.424 . 0.521 . . 0.154
u 513 0.250 0.058 0.244 0.238 0.127 0.221 0.254 0.304 0.265 0.378 0.178 0.402 0.065 0.176 0.427 . 0.190 0.179 0.499 0.088 0.053 0.371 . .
e 888 0.347 0.359 0.167 0.078 0.224 0.042 0.146 0.394 0.531 0.166 0.302 0.349 0.498 0.336 0.380 . 0.327 0.520 0.410 0.195 0.053 0.474 . 0.154
o 422 0.220 0.225 0.059 0.050 . 0.011 . 0.463 0.301 0.351 0.386 0.305 0.110 0.205 0.323 0.078 0.201 0.085 0.455 . 0.152 0.188 . 0.336
n 443 0.227 0.247 0.280 0.260 0.291 0.205 0.282 0.061 . 0.166 0.178 . 0.405 . 0.206 . 0.253 0.348 . 0.236 0.178 0.188 . 0.154
r 380 0.205 0.166 0.203 0.335 0.207 0.366 0.271 0.084 0.157 . 0.108 . 0.307 0.063 0.084 0.078 0.223 0.050 0.119 0.147 0.297 . 0.500 .
p 118 0.088 . 0.090 0.078 0.094 0.153 0.208 . 0.224 . . 0.147 . . 0.084 0.350 . 0.039 . . . . . .
c 212 0.136 0.102 0.203 0.181 0.278 0.240 0.201 . 0.040 . 0.162 0.101 . . . 0.213 . 0.059 . . . . . .
l 174 0.118 0.053 0.253 0.175 0.102 0.109 0.318 . . . 0.087 0.266 . . . . 0.030 0.093 . . 0.053 . . .
g 103 0.079 0.014 0.163 0.040 0.085 0.132 0.146 0.181 0.128 . . 0.074 0.110 . . . . . . . . . . .
b 108 0.082 0.040 0.159 0.164 0.201 0.119 0.098 0.020 0.023 . . 0.043 . . 0.043 . . . 0.023 . . . . .
s 515 0.250 0.430 0.150 0.377 0.312 0.221 0.171 . 0.128 0.242 0.235 . . . 0.149 . . 0.286 . . . . . 0.219
h 82 0.066 0.020 0.095 0.175 0.043 0.145 0.098 . 0.082 . . . . . 0.065 . . . . . . . . .
d 267 0.160 0.148 0.294 0.192 0.119 0.208 0.450 . 0.023 0.058 . . . . . 0.175 0.073 . . . . . . .
t 579 0.269 0.479 0.256 0.233 0.356 0.296 0.118 . 0.201 . . . . . . 0.527 . . . . . . . 0.414
m 374 0.203 0.402 0.271 0.117 0.102 0.205 0.336 0.114 . 0.100 . . . 0.144 . . . 0.016 0.040 . . . . 0.219
f 70 0.058 . 0.199 0.086 0.102 0.067 0.064 . 0.055 . . . . . . . . . . 0.088 . . . .
v 133 0.096 . 0.312 0.110 0.065 0.165 0.163 . . . . . . . . . . . . . . . . .
x 49 0.044 0.102 0.106 . . 0.067 . . . . . . . . . . . 0.028 . . . . . .
z 2 0.003 . . . . 0.011 0.021 . . . . . . . . . . . . . . . . .
q 98 0.076 . . . 0.456 . . . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 8233 3.261 3.319 4.062 3.728 3.826 3.822 3.835 2.835 2.972 2.520 2.944 2.925 2.301 2.425 2.914 2.517 2.613 2.876 2.629 1.205 2.239 1.719 1.000 2.295
So, let's try these substitutions:
pok count latn count jsaz guy2 FSG
--- ----- ---- ----- --------- ------------------- ------------------
q 1668 e 888 qo *4o *4O
a 1435 i 815 ci a+ A+
e 1195 t 579 ix x+ E+
y 1151 a 570 oix +ox+ +OE+
o 1118 s 515 o +o +O
f 910 u 513 ljci lpa DA
r 874 n 443 is 2* R*
C 849 o 422 cc -et -T
u 737 r 380 cgci +8a+ +8A+
U 505 m 374 ccc +etc +TC
6 498 d 267 ccccgci +etc89* +TC8G*
n 498 c 212 iiu iv* N*
m 439 l 174 iiiu iiv* M*
7 372 v 133 zcccgci +e'tc89* +SC8G*
Z 369 p 118 zc +e't +S
z 354 b 108 z =s =2
V 348 g 103 zcc +e'tc +SC
b 347 q 98 qjci qpa- HA-
S 302 h 82 ljcccgci lpet89* DT8G*
L 299 f 70 ljccgci lpc89* DC8G*
8 261 x 49 cg +8 +8
Q 215 z 2 qg +dj +P
J 207 ljcci lpc9* DCG*
R 197 ljccci lpet9= DTG=
H 190 lj lp D
G 160 qjccgci qpc89* HC8G*
K 134 qj -qp -H
c 131 c -c -C
F 110 qjci qp9* HG*
N 97 qjcccgci qpet89* HT8G*
M 67 qjccci qpet9* HTG*
k 56 ij ig* K*
A 52 ljc lpc DC
i 52 i i I
w 39 iis i2 IR
P 35 lg fj F
B 30 qjc qpc HC
X 27 ljcc lpet DT
Y 23 qjcc qpet HT
j 12 j ? ?
* = always space.
= = space 3/4 of the time.
+ = space half the time.
- = space 1/4 of the time.
Final FSG "A" (Guy2 "a") should be replaced by "G" (Guy2 "9")
[ Oops! found a bug in this code that would erase 4 bytes in every 8 and replace them
by the other 4. Listing and results below are as fixed on 97-09-13. ]
In "sed" notation:
--- lat2voy ------------------------
#! /n/gnu/bin/sed -f
# remove all spaces:
s/ //g
# Pad line with #s
s/$/\#\#\#\#\#\#\#\#/g
# Insert dice throws after each character:
s/\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)\(.\)/\11\22\33\40\52\61\70\83/g
# Now do the substitutions. Use J instead of FSG 2 for now:
s/e[01]/A/g
s/e[23]/A_/g
#
s/i0/_T/g
s/i[123]/T/g
#
s/t[03]/_SC/g
s/t[12]/SC/g
#
s/a0/OE_/g
s/a1/_OE/g
s/a2/_OE_/g
s/a3/OE/g
#
s/s[12]/_O/g
s/s[03]/O/g
#
s/u[0-3]/DA/g
#
s/n[01]/R_/g
s/n[23]/R/g
#
s/o[02]/E_/g
s/o[13]/E/g
#
s/r[03]/8A/g
s/r1/_8A/g
s/r2/8A_/g
#
s/m[1]/_TC/g
s/m[023]/TC/g
#
s/d[012]/TC8A_/g
s/d[3]/_TC8A_/g
#
s/c[0-3]/N_/g
#
s/l[0-3]/M_/g
#
s/v[123]/SC8A_/g
s/v[0]/_SC8A_/g
#
s/p[123]/S/g
s/p[0]/_S/g
#
s/b[23]/_J/g
s/b[01]/J/g
#
s/g[0-3]/_4O/g
#
s/q[123]/HA/g
s/q0/HA_/g
#
s/h[0-3]/DT8A_/g
#
s/f[0-3]/DC8A_/g
#
s/x[12]/_8/g
s/x[03]/8/g
#
s/z[01]/_P/g
s/z[23]/P/g
# Remove padding:
s/\#[0-3]//g
s/\#//g
# Replace J by 2:
s/J/2/g
# Replace underscores by blanks:
s/__*/ /g
# Reduce isolated letters:
s/ M / AM /g
s/ N / AN /g
s/ A / AR /g
s/ 8 / 8G /g
s/ E / AE /g
s/ T / TCG /g
s/ O / OEC /g
s/ S / POE /g
# Change final A into G:
s/A /G /g
# Remove line-leading and line-trailing blanks:
s/^ *//g
s/ *$//g
s/A$/G/g
------------------------------------
OK, let's try it:
cat latn.txt | lat2voy > pseudo-voynich.fsg
ASC8AG 8TC8G OE SC8G TTC8G OARDAA8G OESCDT8G OE 2A2OESCHADAG OE AR SCOESCTO SM DA8AT TCE OTC8G TAO
N DATCHG DAAE SA8G T8AG SCDA8ASC8G AR OEC SCT2DAOR AE RN OE AM ADC8G TG 2OE SC
TC8G T8A8G DAR SCA8G 4OE AR TOG 8ASC8G TODATHG DG OEG 8AOE TCDAO TC8G ETCTR AE R AE OSC8G E8AG 4O T
OETC8G DAM AR ON AR R SCDAM OE TC SC8G TCG 8G 4OTR AR TCG SC OSCG SCN E8AOE TC8G AR 4OG AR SCDC8G ESC8G AR OE SCADATC
TC8G AE 8ATCT OE SCHADAG TR OTR DASCDAEASCN OE AM ADC8G OEN TCG OE SC TC8G ETCTR DG TCR AE OSC8ADATC 8AG 4OATC
cat pseudo-voynich.fsg \
| count-digraph-freqs \
-v showentropy=1 \
-v chars=' OT98AE4DC2RNMSHPG'
Digraph counts:
TT O T 8 A E 4 D C 2 R N M S H P G
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
3296 . 699 780 187 538 70 103 185 . 70 104 15 5 497 29 8 6
O 1194 85 64 61 28 38 671 . 63 . 1 24 18 3 46 15 . 77
T 1538 99 82 57 109 15 36 . 68 752 12 123 40 36 76 7 . 26
8 981 14 . 13 . 229 . . . . . . 1 . 3 2 . 719
A 1446 . 107 224 109 37 179 . 129 . 4 263 87 95 97 5 . 110
E 1064 601 31 96 23 22 . . 16 66 12 75 22 27 46 14 . 13
4 103 . 103 . . . . . . . . . . . . . . .
D 665 . . 82 . 391 . . . 70 . . . . . . . 122
C 1600 270 71 163 505 70 58 . 132 . 9 26 22 1 38 25 . 210
2 108 21 12 21 . 9 7 . 25 . . 1 . 1 . . . 11
R 620 471 12 30 2 13 22 . 30 . . 4 7 1 20 1 . 7
N 212 212 . . . . . . . . . . . . . . . .
M 174 174 . . . . . . . . . . . . . . . .
S 824 6 7 11 18 12 20 . 17 712 . . . 5 1 . . 15
H 98 . . . . 72 . . . . . . . . . . . 26
P 8 . 6 . . . 1 . . . . . . . . . . 1
G 1343 1343 . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 15274 3296 1194 1538 981 1446 1064 103 665 1600 108 620 212 174 824 98 8 1343
Next-symbol probability (× 99):
TT O T 8 A E 4 D C 2 R N M S H P G
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . 21 23 6 16 2 3 6 . 2 3 . . 15 1 . .
O 99 7 5 5 2 3 56 . 5 . . 2 1 . 4 1 . 6
T 99 6 5 4 7 1 2 . 4 48 1 8 3 2 5 . . 2
8 99 1 . 1 . 23 . . . . . . . . . . . 73
A 99 . 7 15 7 3 12 . 9 . . 18 6 7 7 . . 8
E 99 56 3 9 2 2 . . 1 6 1 7 2 3 4 1 . 1
4 99 . 99 . . . . . . . . . . . . . . .
D 99 . . 12 . 58 . . . 10 . . . . . . . 18
C 99 17 4 10 31 4 4 . 8 . 1 2 1 . 2 2 . 13
2 99 19 11 19 . 8 6 . 23 . . 1 . 1 . . . 10
R 99 75 2 5 . 2 4 . 5 . . 1 1 . 3 . . 1
N 99 99 . . . . . . . . . . . . . . . .
M 99 99 . . . . . . . . . . . . . . . .
S 99 1 1 1 2 1 2 . 2 86 . . . 1 . . . 2
H 99 . . . . 73 . . . . . . . . . . . 26
P 99 . 74 . . . 12 . . . . . . . . . . 12
G 99 99 . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 21 8 10 6 9 7 1 4 10 1 4 1 1 5 1 0 9
Previous-symbol probability (× 99):
TT O T 8 A E 4 D C 2 R N M S H P G
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
21 . 58 50 19 37 7 99 28 . 64 17 7 3 60 29 99 .
O 8 3 5 4 3 3 62 . 9 . 1 4 8 2 6 15 . 6
T 10 3 7 4 11 1 3 . 10 47 11 20 19 20 9 7 . 2
8 6 . . 1 . 16 . . . . . . . . . 2 . 53
A 9 . 9 14 11 3 17 . 19 . 4 42 41 54 12 5 . 8
E 7 18 3 6 2 2 . . 2 4 11 12 10 15 6 14 . 1
4 1 . 9 . . . . . . . . . . . . . . .
D 4 . . 5 . 27 . . . 4 . . . . . . . 9
C 10 8 6 10 51 5 5 . 20 . 8 4 10 1 5 25 . 15
2 1 1 1 1 . 1 1 . 4 . . . . 1 . . . 1
R 4 14 1 2 . 1 2 . 4 . . 1 3 1 2 1 . 1
N 1 6 . . . . . . . . . . . . . . . .
M 1 5 . . . . . . . . . . . . . . . .
S 5 . 1 1 2 1 2 . 3 44 . . . 3 . . . 1
H 1 . . . . 5 . . . . . . . . . . . 2
P 0 . . . . . . . . . . . . . . . . .
G 9 40 . . . . . . . . . . . . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Symbol entropy: 3.514
Next-symbol entropy:
TT O T 8 A E 4 D C 2 R N M S H P G
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
2.970 . 0.474 0.492 0.235 0.427 0.118 0.156 0.233 . 0.118 0.157 0.035 0.014 0.412 0.060 0.021 0.017
O 2.443 0.271 0.226 0.219 0.127 0.158 0.467 . 0.224 . 0.009 0.113 0.091 0.022 0.181 0.079 . 0.255
T 2.782 0.255 0.225 0.176 0.271 0.065 0.127 . 0.199 0.505 0.055 0.291 0.137 0.127 0.214 0.035 . 0.100
8 1.043 0.087 . 0.083 . 0.490 . . . . . . 0.010 . 0.026 0.018 . 0.329
A 3.341 . 0.278 0.417 0.281 0.135 0.373 . 0.311 . 0.024 0.447 0.244 0.258 0.261 0.028 . 0.283
E 2.451 0.465 0.149 0.313 0.120 0.116 . . 0.091 0.249 0.073 0.270 0.116 0.135 0.196 0.082 . 0.078
4 0.000 . . . . . . . . . . . . . . . . .
D 1.614 . . 0.372 . 0.450 . . . 0.342 . . . . . . . 0.449
C 2.998 0.433 0.199 0.336 0.525 0.198 0.173 . 0.297 . 0.042 0.097 0.085 0.007 0.128 0.094 . 0.385
2 2.775 0.459 0.352 0.459 . 0.299 0.256 . 0.489 . . 0.063 . 0.063 . . . 0.336
R 1.531 0.301 0.110 0.211 0.027 0.117 0.171 . 0.211 . . 0.047 0.073 0.015 0.160 0.015 . 0.073
N 0.000 . . . . . . . . . . . . . . . . .
M 0.000 . . . . . . . . . . . . . . . . .
S 0.992 0.052 0.058 0.083 0.121 0.089 0.130 . 0.116 0.182 . . . 0.045 0.012 . . 0.105
H 0.835 . . . . 0.327 . . . . . . . . . . . 0.508
P 1.061 . 0.311 . . . 0.375 . . . . . . . . . . 0.375
G 0.000 . . . . . . . . . . . . . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 2.192 0.477 0.287 0.333 0.254 0.322 0.268 0.049 0.197 0.341 0.051 0.188 0.086 0.074 0.227 0.047 0.006 0.308
Now let's see who are the culprits for the low H2 of FSG-encoded Voynichese:
cat bio-m-evt.evt \
| grep ';C>' \
| sed \
-e 's/{[^}]*}//g' \
-e 's/[\!%]//g' \
> .tmp-c-fsg.evt
extract-words-from-interlin \
-chars 'COG8EDA4TSHRNM2ZPIKLFG' \
.tmp-c-fsg.evt \
.tmp-c-fsg
Digraph counts:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
6408 . 24 1362 138 513 364 108 133 1643 759 692 152 132 . . 278 . 99 1 . 2 8
C 4275 7 951 172 837 1895 4 155 55 1 15 9 80 8 . 8 45 . 17 11 . 2 3
O 3889 34 19 4 13 31 1342 1427 3 8 7 9 566 300 7 14 7 . 68 9 7 1 13
G 3763 3510 1 7 . 17 21 71 2 10 20 25 54 14 . . 6 . 1 1 1 . 2
8 2727 73 19 72 2045 2 10 8 417 1 36 38 1 2 . . 1 . . 1 . 1 .
E 2347 1085 9 157 106 84 7 270 55 2 306 181 37 13 . . 16 . 11 . 2 . 6
D 2181 14 871 79 169 2 11 . 736 . 69 28 . . . 1 . 198 . 3 . . .
A 1961 6 . 5 4 8 550 4 1 . . 1 4 394 471 399 7 . 2 51 42 12 .
4 1665 5 19 1619 3 . . 4 4 . . 1 5 . . . 2 . 2 . . . 1
T 1445 1 1049 49 62 96 13 82 26 . 1 2 39 4 . . 6 . 12 . . . 3
S 1073 4 864 37 27 40 5 45 21 . 3 . 25 1 . . 1 . . . . . .
H 966 4 341 58 88 3 3 1 257 . 60 25 . . . . 1 121 . 4 . . .
R 911 619 4 82 44 5 1 1 92 . 37 22 1 . . . . . 2 1 . . .
N 478 462 . 7 2 3 . . 2 . 1 . . . . . 1 . . . . . .
M 422 412 . 2 5 1 . . 1 . 1 . . . . . . . . . . . .
2 372 73 4 114 10 3 1 5 131 . 14 13 2 . . . . . 1 1 . . .
Z 344 2 96 10 203 21 . . 9 . 2 . . . . . 1 . . . . . .
P 215 4 3 48 6 3 . . 14 . 91 25 . . . . . 21 . . . . .
I 152 . . . . . 11 . . . . . . 43 . . . . . 69 4 25 .
K 56 54 . 1 . . 1 . . . . . . . . . . . . . . . .
L 43 38 . 1 1 . 3 . . . . . . . . . . . . . . . .
F 36 1 1 3 . . . . 2 . 23 2 . . . . . 4 . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 35729 6408 4275 3889 3763 2727 2347 2181 1961 1665 1445 1073 966 911 478 422 372 344 215 152 56 43 36
Next-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
99 . . 21 2 8 6 2 2 25 12 11 2 2 . . 4 . 2 . . . .
C 99 . 22 4 19 44 . 4 1 . . . 2 . . . 1 . . . . . .
O 99 1 . . . 1 34 36 . . . . 14 8 . . . . 2 . . . .
G 99 92 . . . . 1 2 . . 1 1 1 . . . . . . . . . .
8 99 3 1 3 74 . . . 15 . 1 1 . . . . . . . . . . .
E 99 46 . 7 4 4 . 11 2 . 13 8 2 1 . . 1 . . . . . .
D 99 1 40 4 8 . . . 33 . 3 1 . . . . . 9 . . . . .
A 99 . . . . . 28 . . . . . . 20 24 20 . . . 3 2 1 .
4 99 . 1 96 . . . . . . . . . . . . . . . . . . .
T 99 . 72 3 4 7 1 6 2 . . . 3 . . . . . 1 . . . .
S 99 . 80 3 2 4 . 4 2 . . . 2 . . . . . . . . . .
H 99 . 35 6 9 . . . 26 . 6 3 . . . . . 12 . . . . .
R 99 67 . 9 5 1 . . 10 . 4 2 . . . . . . . . . . .
N 99 96 . 1 . 1 . . . . . . . . . . . . . . . . .
M 99 97 . . 1 . . . . . . . . . . . . . . . . . .
2 99 19 1 30 3 1 . 1 35 . 4 3 1 . . . . . . . . . .
Z 99 1 28 3 58 6 . . 3 . 1 . . . . . . . . . . . .
P 99 2 1 22 3 1 . . 6 . 42 12 . . . . . 10 . . . . .
I 99 . . . . . 7 . . . . . . 28 . . . . . 45 3 16 .
K 99 95 . 2 . . 2 . . . . . . . . . . . . . . . .
L 99 87 . 2 2 . 7 . . . . . . . . . . . . . . . .
F 99 3 3 8 . . . . 6 . 63 6 . . . . . 11 . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 18 12 11 10 8 7 6 5 5 4 3 3 3 1 1 1 1 1 0 0 0 0
Previous-symbol probability (× 99):
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
18 . 1 35 4 19 15 5 7 98 52 64 16 14 . . 74 . 46 1 . 5 22
C 12 . 22 4 22 69 . 7 3 . 1 1 8 1 . 2 12 . 8 7 . 5 8
O 11 1 . . . 1 57 65 . . . 1 58 33 1 3 2 . 31 6 12 2 36
G 10 54 . . . 1 1 3 . 1 1 2 6 2 . . 2 . . 1 2 . 6
8 8 1 . 2 54 . . . 21 . 2 4 . . . . . . . 1 . 2 .
E 7 17 . 4 3 3 . 12 3 . 21 17 4 1 . . 4 . 5 . 4 . 17
D 6 . 20 2 4 . . . 37 . 5 3 . . . . . 57 . 2 . . .
A 5 . . . . . 23 . . . . . . 43 98 94 2 . 1 33 74 28 .
4 5 . . 41 . . . . . . . . 1 . . . 1 . 1 . . . 3
T 4 . 24 1 2 3 1 4 1 . . . 4 . . . 2 . 6 . . . 8
S 3 . 20 1 1 1 . 2 1 . . . 3 . . . . . . . . . .
H 3 . 8 1 2 . . . 13 . 4 2 . . . . . 35 . 3 . . .
R 3 10 . 2 1 . . . 5 . 3 2 . . . . . . 1 1 . . .
N 1 7 . . . . . . . . . . . . . . . . . . . . .
M 1 6 . . . . . . . . . . . . . . . . . . . . .
2 1 1 . 3 . . . . 7 . 1 1 . . . . . . . 1 . . .
Z 1 . 2 . 5 1 . . . . . . . . . . . . . . . . .
P 1 . . 1 . . . . 1 . 6 2 . . . . . 6 . . . . .
I 0 . . . . . . . . . . . . 5 . . . . . 45 7 58 .
K 0 1 . . . . . . . . . . . . . . . . . . . . .
L 0 1 . . . . . . . . . . . . . . . . . . . . .
F 0 . . . . . . . . . 2 . . . . . . 1 . . . . .
-- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- --
TOT 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99 99
Next-symbol entropy:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
3.131 . 0.030 0.475 0.119 0.292 0.235 0.099 0.116 0.503 0.365 0.347 0.128 0.115 . . 0.196 . 0.093 0.002 . 0.004 0.012
C 2.256 0.015 0.482 0.187 0.461 0.520 0.009 0.174 0.081 0.003 0.029 0.019 0.107 0.017 . 0.017 0.069 . 0.032 0.022 . 0.005 0.007
O 2.235 0.060 0.038 0.010 0.027 0.056 0.530 0.531 0.008 0.018 0.016 0.020 0.405 0.285 0.016 0.029 0.016 . 0.102 0.020 0.016 0.003 0.027
G 0.563 0.094 0.003 0.017 . 0.035 0.042 0.108 0.006 0.023 0.040 0.048 0.088 0.030 . . 0.015 . 0.003 0.003 0.003 . 0.006
8 1.313 0.140 0.050 0.138 0.311 0.008 0.030 0.025 0.414 0.004 0.082 0.086 0.004 0.008 . . 0.004 . . 0.004 . 0.004 .
E 2.620 0.515 0.031 0.261 0.202 0.172 0.025 0.359 0.127 0.009 0.383 0.285 0.094 0.042 . . 0.049 . 0.036 . 0.009 . 0.022
D 2.182 0.047 0.529 0.173 0.286 0.009 0.038 . 0.529 . 0.158 0.081 . . . 0.005 . 0.314 . 0.013 . . .
A 2.427 0.026 . 0.022 0.018 0.032 0.514 0.018 0.006 . . 0.006 0.018 0.465 0.494 0.467 0.029 . 0.010 0.137 0.119 0.045 .
4 0.258 0.025 0.074 0.039 0.016 . . 0.021 0.021 . . 0.006 0.025 . . . 0.012 . 0.012 . . . 0.006
T 1.657 0.007 0.335 0.166 0.195 0.260 0.061 0.235 0.104 . 0.007 0.013 0.141 0.024 . . 0.033 . 0.057 . . . 0.019
S 1.268 0.030 0.252 0.168 0.134 0.177 0.036 0.192 0.111 . 0.024 . 0.126 0.009 . . 0.009 . . . . . .
H 2.496 0.033 0.530 0.244 0.315 0.026 0.026 0.010 0.508 . 0.249 0.136 . . . . 0.010 0.375 . 0.033 . . .
R 1.692 0.379 0.034 0.313 0.211 0.041 0.011 0.011 0.334 . 0.188 0.130 0.011 . . . . . 0.019 0.011 . . .
N 0.286 0.047 . 0.089 0.033 0.046 . . 0.033 . 0.019 . . . . . 0.019 . . . . . .
M 0.208 0.034 . 0.037 0.076 0.021 . . 0.021 . 0.021 . . . . . . . . . . . .
2 2.321 0.461 0.070 0.523 0.140 0.056 0.023 0.084 0.530 . 0.178 0.169 0.041 . . . . . 0.023 0.023 . . .
Z 1.606 0.043 0.514 0.148 0.449 0.246 . . 0.138 . 0.043 . . . . . 0.024 . . . . . .
P 2.376 0.107 0.086 0.483 0.144 0.086 . . 0.257 . 0.525 0.361 . . . . . 0.328 . . . . .
I 1.873 . . . . . 0.274 . . . . . . 0.515 . . . . . 0.517 0.138 0.428 .
K 0.258 0.051 . 0.104 . . 0.104 . . . . . . . . . . . . . . . .
L 0.678 0.158 . 0.126 0.126 . 0.268 . . . . . . . . . . . . . . . .
F 1.814 0.144 0.144 0.299 . . . . 0.232 . 0.413 0.232 . . . . . 0.352 . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 1.972 0.445 0.367 0.348 0.342 0.283 0.258 0.246 0.230 0.206 0.187 0.152 0.141 0.135 0.083 0.076 0.069 0.064 0.044 0.034 0.015 0.012 0.010
Previous-symbol entropy:
TT C O G 8 E D A 4 T S H R N M 2 Z P I K L F
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
0.445 . 0.042 0.530 0.175 0.453 0.417 0.215 0.263 0.019 0.488 0.408 0.420 0.404 . . 0.314 . 0.515 0.048 . 0.206 0.482
C 0.367 0.011 0.482 0.199 0.482 0.365 0.016 0.271 0.145 0.006 0.068 0.058 0.298 0.060 . 0.108 0.369 . 0.289 0.274 . 0.206 0.299
O 0.348 0.040 0.035 0.010 0.028 0.073 0.461 0.400 0.014 0.037 0.037 0.058 0.452 0.528 0.089 0.163 0.108 . 0.525 0.241 0.375 0.126 0.531
G 0.342 0.476 0.003 0.016 . 0.046 0.061 0.161 0.010 0.044 0.085 0.126 0.233 0.093 . . 0.096 . 0.036 0.048 0.104 . 0.232
8 0.283 0.074 0.035 0.107 0.478 0.008 0.034 0.030 0.475 0.006 0.133 0.171 0.010 0.019 . . 0.023 . . 0.048 . 0.126 .
E 0.258 0.434 0.019 0.187 0.145 0.155 0.025 0.373 0.145 0.012 0.474 0.433 0.180 0.087 . . 0.195 . 0.219 . 0.172 . 0.431
D 0.246 0.019 0.468 0.114 0.201 0.008 0.036 . 0.531 . 0.210 0.137 . . . 0.021 . 0.459 . 0.112 . . .
A 0.230 0.009 . 0.012 0.010 0.025 0.491 0.017 0.006 . . 0.009 0.033 0.523 0.021 0.076 0.108 . 0.063 0.529 0.311 0.514 .
4 0.206 0.008 0.035 0.526 0.008 . . 0.017 0.018 . . 0.009 0.039 . . . 0.041 . 0.063 . . . 0.144
T 0.187 0.002 0.497 0.080 0.098 0.170 0.042 0.178 0.083 . 0.007 0.017 0.187 0.034 . . 0.096 . 0.232 . . . 0.299
S 0.152 0.007 0.466 0.064 0.051 0.089 0.019 0.116 0.070 . 0.019 . 0.136 0.011 . . 0.023 . . . . . .
H 0.141 0.007 0.291 0.090 0.127 0.011 0.012 0.005 0.384 . 0.191 0.126 . . . . 0.023 0.530 . 0.138 . . .
R 0.135 0.326 0.009 0.117 0.075 0.017 0.005 0.005 0.207 . 0.135 0.115 0.010 . . . . . 0.063 0.048 . . .
N 0.083 0.274 . 0.016 0.006 0.011 . . 0.010 . 0.007 . . . . . 0.023 . . . . . .
M 0.076 0.255 . 0.006 0.013 0.004 . . 0.006 . 0.007 . . . . . . . . . . . .
2 0.069 0.074 0.009 0.149 0.023 0.011 0.005 0.020 0.261 . 0.065 0.077 0.018 . . . . . 0.036 0.048 . . .
Z 0.064 0.004 0.123 0.022 0.227 0.054 . . 0.036 . 0.013 . . . . . 0.023 . . . . . .
P 0.044 0.007 0.007 0.078 0.015 0.011 . . 0.051 . 0.251 0.126 . . . . . 0.246 . . . . .
I 0.034 . . . . . 0.036 . . . . . . 0.208 . . . . . 0.517 0.272 0.455 .
K 0.015 0.058 . 0.003 . . 0.005 . . . . . . . . . . . . . . . .
L 0.012 0.044 . 0.003 0.003 . 0.012 . . . . . . . . . . . . . . . .
F 0.010 0.002 0.003 0.008 . . . . 0.010 . 0.095 0.017 . . . . . 0.075 . . . . .
----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- ----- -----
TOT 1.972 2.127 2.524 2.339 2.165 1.510 1.676 1.807 2.724 0.125 2.286 1.889 2.017 1.967 0.110 0.369 1.441 1.310 2.042 2.050 1.234 1.633 2.416
Dennis complained that H1 of pseudo-voynich.fsg was too low. Let's try to fix it:
latn count jsaz guy2 FSG
---- ----- --------- ------------------- ------------------
e 888 ci a+ A+
i 815 cc -et -T
t 579 zcc +e'tc +SC
a 570 oix +ox+ +OE+
s 515 o +o +O
u 513 ljci lpa DA
n 443 is 2+ R+
o 422 ix x+ E+
r 380 cgci +8a,8a+ +8A,8A+
m 374 ccc -etc -TC
d 267 ccccgci -etc8a* -TC8A*
c 212 iiu iv* N*
l 174 iiiu iiv* M*
v 133 zcccgci -e'tc8a* -SC8A*
p 118 zc -e't -S
b 108 z +s +2
g 103 qo *4o *4O
q 98 qjci qpa- HA-
h 82 ljcccgci lpet8a* DT8A*
f 70 ljccgci lpc8a* DC8A*
x 49 cg +8 +8
z 2 qg +dj +P
ljcci lpca* DCA*
ljccci lpeta= DTA=
lj lp D
qjccgci qpc8a* HC8A*
qj -qp -H
c -c -C
qjci qpa* HA*
qjcccgci qpet8a* HT8A*
qjccci qpeta* HTA*
ij ig* K*
ljc lpc DC
i i I
iis i2 IR
lg fj F
qjc qpc HC
ljcc lpet DT
qjcc qpet HT
j ? ?
* = always space.
= = space 3/4 of the time.
+ = space half the time.
- = space 1/4 of the time.
[ See fixed lat2voy script and results above. ]