LangModels: update the French language models.

Fully built with the script.
This commit is contained in:
Jehan 2015-11-30 19:20:55 +01:00
parent dc5caa46bc
commit 9cb5764b73
2 changed files with 277 additions and 160 deletions

View File

@ -0,0 +1,188 @@
= Logs of language model for French (fr) =
- Generated by BuildLangModel.py
- Started: 2015-11-30 18:53:23.881008
- Maximum depth: 2
- Max number of pages: 10
== Parsed pages ==
Wikipédia:Accueil_principal (revision 115957655)
Bœuf (animal) (revision 115500130)
1672 (revision 120907902)
1727 (revision 120908296)
24 novembre (revision 120782024)
26 novembre (revision 120833172)
27 novembre (revision 120860032)
28 novembre (revision 120900893)
30 novembre (revision 120934923)
Amsterdam (revision 120834895)
Amérique (revision 120916912)
An mil (revision 120416538)
Ancien Régime (revision 120708739)
Anjou (revision 120590957)
António Costa (revision 120928729)
Armée de l'air turque (revision 120764207)
Artémise II (revision 120920820)
Attentat du 24 novembre 2015 à Tunis (revision 120924574)
Barbro Hiort af Ornäs (revision 120933311)
Bataille dAttu (revision 120942542)
Bretagne (revision 120828180)
Candé (revision 120928722)
Canton de Candé (revision 120383860)
Chef-lieu (revision 119340707)
Chouannerie (revision 119799524)
Commune (France) (revision 120627882)
Conférence de Paris de 2015 sur le climat (revision 120944002)
Crise de la dette publique grecque (revision 120905208)
Crise entre la Colombie et le Venezuela de 2015 (revision 120857143)
Crise migratoire en Europe (revision 120906358)
Crise russo-turque de 2015 (revision 120936864)
Deuxième guerre civile libyenne (revision 120673125)
Déesse mère (revision 120904195)
Départements français (revision 120873309)
Effet Shapiro (revision 120893782)
Eldar Riazanov (revision 120924339)
Fatima Mernissi (revision 120942794)
Français (revision 120883858)
Gerry Byrne (football) (revision 120943526)
Guerre civile sud-soudanaise (revision 120672963)
Guerre civile syrienne (revision 120868598)
Guerre d'Afghanistan (depuis 2015) (revision 120675052)
Guerre du Donbass (revision 120862085)
Guerre du Yémen (depuis 2001) (revision 118472483)
Insurrection djihadiste au Nigeria (revision 120550223)
Irwin Shapiro (revision 116730530)
Ismaïl ben Chérif (revision 120930731)
Ivan Hlevnjak (revision 120917619)
Jean Corti (revision 120935599)
Jean Joubert (revision 120924134)
Karashima Noboru (revision 120892854)
Latin (revision 120360207)
Luc Bondy (revision 120941142)
Maine-et-Loire (revision 120890165)
Marches de Bretagne (revision 115772332)
Mark Behr (revision 120943649)
Maroc (revision 120937137)
Maurice Strong (revision 120927161)
Mausole (revision 120904648)
Moyen Âge (revision 120943615)
Novembre 2015 (revision 120866496)
Olene S. Walker (revision 120927070)
Paternité (revision 119371049)
Pays de la Loire (revision 120719853)
Philippe II Auguste (revision 120910593)
Philippe Washer (revision 120939362)
Premier ministre de Portugal (revision 120888501)
Relativité générale (revision 120814809)
Régions françaises (revision 120692851)
Seconde Guerre mondiale (revision 120884001)
Seconde guerre civile irakienne (revision 120893282)
Shigeru Mizuki (revision 120931351)
Soukhoï Su-24 (revision 120892538)
Spuistraat (revision 119667601)
Syrie (revision 120692724)
Tahir Elçi (revision 120942499)
Tunis (revision 120628797)
Vague de violence israélo-palestinienne de l'automne 2015 (revision 120927782)
Wiki (revision 120671138)
Wikimedia Foundation (revision 120519147)
Wikipédia en français (revision 120692561)
XVIIIe siècle (revision 119843235)
XVIIe siècle (revision 120773755)
Église de Jésus-Christ des saints des derniers jours (revision 120924507)
Agriculture (revision 120943777)
Anesthésie (revision 120319446)
Animal de trait (revision 120819989)
Bien-être animal (revision 120205455)
Bière (revision 119961318)
Bos taurus (revision 119683704)
Bête de somme (revision 117842569)
Bœuf Gras (revision 119942055)
Bœuf de Kobe (revision 120829709)
Castration (revision 119751330)
Chapon (revision 114928344)
Charrette (revision 120909407)
Charrue (revision 120819690)
Colonisation (revision 120146837)
Edme Gaulle (revision 118241504)
Europe de l'Ouest (revision 120854797)
Géant-Bœuf du Carnaval de Paris (revision 118480900)
Hongre (revision 120607208)
Hypoxie (revision 118470557)
Japon (revision 120742182)
Labour (revision 120144019)
Marché des Blancs-Manteaux (revision 106807185)
Monde musulman (revision 120793714)
Mâle (biologie) (revision 111721849)
Mésopotamie (revision 120642895)
Promenade du Bœuf Gras au Carnaval de Paris (revision 120874240)
Rue des Hospitalières-Saint-Gervais (revision 107834996)
Takayama (revision 118810594)
Taureau (revision 120459397)
Testicule (revision 120432335)
Testostérone (revision 119909685)
Traction animale (revision 120819989)
Traction bovine (revision 111651361)
Traîneau (revision 120604907)
Viande (revision 120600247)
Viande bovine (revision 119480442)
Wagyu (revision 120910460)
XXe siècle (revision 120793535)
Élevage bovin (revision 120877235)
== End of Parsed pages ==
- Wikipedia parsing ended at: 2015-11-30 19:05:38.631196
58 characters appeared 2625348 times.
First 38 characters:
[ 0] Char e: 14.297990209297968 %
[ 1] Char s: 8.062245462315854 %
[ 2] Char a: 8.006862328346566 %
[ 3] Char n: 7.458401705221555 %
[ 4] Char i: 7.3982572976992 %
[ 5] Char r: 6.902246864034788 %
[ 6] Char t: 6.851777364372266 %
[ 7] Char l: 5.928699738091865 %
[ 8] Char o: 5.30996271732357 %
[ 9] Char u: 5.181065519694913 %
[10] Char d: 4.153773137884959 %
[11] Char c: 3.1908912647009084 %
[12] Char m: 2.8650297027289335 %
[13] Char p: 2.801228637117822 %
[14] Char é: 2.4742624596815355 %
[15] Char v: 1.2647847066369868 %
[16] Char g: 1.2577761119668707 %
[17] Char f: 1.1079293107047143 %
[18] Char b: 1.030415777260767 %
[19] Char h: 0.9089842565633204 %
[20] Char q: 0.7969610124067362 %
[21] Char x: 0.43415196766295366 %
[22] Char è: 0.398613821862854 %
[23] Char à: 0.38916745513356704 %
[24] Char y: 0.3763310616344957 %
[25] Char j: 0.31298707828447886 %
[26] Char k: 0.20576319786938724 %
[27] Char z: 0.11880329769615304 %
[28] Char ê: 0.11221369509870692 %
[29] Char ç: 0.07610419647223911 %
[30] Char w: 0.06574366522076312 %
[31] Char ô: 0.04845071967602009 %
[32] Char â: 0.0448321517756884 %
[33] Char œ: 0.03778546691714774 %
[34] Char î: 0.03725220427920413 %
[35] Char ï: 0.02704403378142631 %
[36] Char û: 0.02285411305472646 %
[37] Char ù: 0.02034016061870655 %
The first 38 characters have an accumulated ratio of 0.9997798387109063.
1149 sequences found.
First 512 (typical positive ratio): 0.997044499777764
Next 512 (512-1024): 3.8090188424544096e-07
Rest: 5.974086801089403e-05
- Processing end: 2015-11-30 19:05:38.842420

View File

@ -12,6 +12,15 @@
* for the specific language governing rights and limitations under the
* License.
*
* The Original Code is Mozilla Communicator client code.
*
* The Initial Developer of the Original Code is
* Netscape Communications Corporation.
* Portions created by the Initial Developer are Copyright (C) 1998
* the Initial Developer. All Rights Reserved.
*
* Contributor(s):
*
* Alternatively, the contents of this file may be used under the terms of
* either the GNU General Public License Version 2 or later (the "GPL"), or
* the GNU Lesser General Public License Version 2.1 or later (the "LGPL"),
@ -29,16 +38,18 @@
#include "../nsSBCharSetProber.h"
/********* Language model for: French *********/
/* Generated (mostly) by script.
* On: 2015-11-26 02:14:05.384439
*/
/**
* Generated by BuildLangModel.py
* On: 2015-11-30 19:05:38.632969
**/
/* Character Mapping Table:
* ILL: illegal character.
* CTR: control character.
* CTR: control character specific to the charset.
* RET: carriage/return.
* SYM: symbol (punctuation) that does not belong to word.
* INT: 0 - 9.
* NUM: 0 - 9.
*
* Other characters are ordered by probabilities
* (0 is the most common character in the language).
@ -50,187 +61,105 @@
* ligature of 'o' and 'e' exists in ISO-8859-15 but not in ISO-8859-1
* even though they are both used for French. Same for the euro sign.
*/
static const unsigned char Iso_8859_15_CharToOrderMap[] =
{
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,RET,CTR,CTR,RET,CTR,CTR, /* 0X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 1X */
SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* 2X */
NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,SYM,SYM,SYM,SYM,SYM,SYM, /* 3X */
SYM, 26, 34, 27, 33, 36, 38, 41, 46, 30, 47, 53, 21, 32, 39, 50, /* 4X */
31, 63, 37, 29, 40, 48, 45, 55, 51, 64, 65,SYM,SYM,SYM,SYM,SYM, /* 5X */
SYM, 2, 18, 11, 10, 0, 17, 16, 20, 3, 28, 35, 7, 12, 4, 8, /* 6X */
13, 19, 5, 1, 6, 9, 15, 54, 23, 25, 44,SYM,SYM,SYM,SYM,CTR, /* 7X */
SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 4X */
13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,SYM, /* 5X */
SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 6X */
13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,CTR, /* 7X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 8X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 9X */
SYM,SYM,SYM,SYM,SYM,SYM, 85,SYM, 82,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */
SYM,SYM,SYM,SYM,119,SYM,SYM,SYM, 86,SYM,SYM,SYM, 73, 62,120,SYM, /* BX */
61, 78, 70,121,122, 83,123, 84, 87, 49, 88,124,125, 91, 74,126, /* CX */
127, 92,128,129, 81,130, 89,SYM, 93,131,132,133,134,135, 94, 95, /* DX */
24, 67, 57, 76, 79,136, 80, 42, 22, 14, 43, 66,137, 68, 58, 60, /* EX */
138, 77,139, 69, 52, 96, 75,SYM, 97, 59, 72, 56, 71,140, 90, 98, /* FX */
SYM,SYM,SYM,SYM,SYM,SYM, 48,SYM, 48,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */
SYM,SYM,SYM,SYM, 50, 58,SYM,SYM, 50,SYM,SYM,SYM, 33, 33, 57,SYM, /* BX */
23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* CX */
59, 45, 60, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 61, /* DX */
23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* EX */
62, 45, 63, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 57, /* FX */
};
/*X0 X1 X2 X3 X4 X5 X6 X7 X8 X9 XA XB XC XD XE XF */
static const unsigned char Iso_8859_1_CharToOrderMap[] =
{
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,RET,CTR,CTR,RET,CTR,CTR, /* 0X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 1X */
SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* 2X */
NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,SYM,SYM,SYM,SYM,SYM,SYM, /* 3X */
SYM, 26, 34, 27, 33, 36, 38, 41, 46, 30, 47, 53, 21, 32, 39, 50, /* 4X */
31, 63, 37, 29, 40, 48, 45, 55, 51, 64, 65,SYM,SYM,SYM,SYM,SYM, /* 5X */
SYM, 2, 18, 11, 10, 0, 17, 16, 20, 3, 28, 35, 7, 12, 4, 8, /* 6X */
13, 19, 5, 1, 6, 9, 15, 54, 23, 25, 44,SYM,SYM,SYM,SYM,CTR, /* 7X */
SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 4X */
13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,SYM, /* 5X */
SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 6X */
13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,CTR, /* 7X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 8X */
CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 9X */
SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */
SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,200,200,200,SYM, /* BX */
61, 78, 70, 99,100, 83,101, 84, 87, 49, 88,102,103, 91, 74,104, /* CX */
105, 92,106,107, 81,108, 89,SYM, 93,109,110,111,112,113, 94, 95, /* DX */
24, 67, 57, 76, 79,114, 80, 42, 22, 14, 43, 66,115, 68, 58, 60, /* EX */
116, 77,117, 69, 52, 96, 75,SYM, 97, 59, 72, 56, 71,118, 90, 98, /* FX */
SYM,SYM,SYM,SYM,SYM, 64,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* BX */
23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* CX */
65, 45, 66, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 67, /* DX */
23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* EX */
68, 45, 69, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 57, /* FX */
};
/*X0 X1 X2 X3 X4 X5 X6 X7 X8 X9 XA XB XC XD XE XF */
/* Model Table:
* Total sequences: 1149
* First 512 sequences: 0.997044499777764
* Next 512 sequences (512-1024): 0.002895759354225113
* Rest: 5.974086801089403e-05
* Negative sequences: TODO
*/
static const PRUint8 FrenchLangModel[] =
{
3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,2,2,2,0,3,0,3,1,1,2,1,0,1,
3,3,3,2,2,2,0,3,0,3,1,1,2,1,0,1,1,1,1,2,0,1,0,0,1,0,2,0,3,2,1,0,
3,3,3,3,2,3,3,3,3,3,1,3,3,3,3,1,2,3,2,3,3,2,2,0,0,3,0,1,2,0,0,1,
2,3,2,3,3,2,2,0,0,3,0,1,2,0,0,1,0,0,0,3,0,0,0,1,1,0,0,0,2,0,0,1,
2,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,1,0,3,0,3,0,0,3,0,0,1,
3,3,3,3,3,1,0,3,0,3,0,0,3,0,0,1,1,0,0,3,0,0,1,0,1,0,2,0,3,0,0,0,
3,3,3,2,3,3,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,1,3,3,1,2,1,1,2,0,0,0,
3,3,3,3,3,1,3,3,1,2,1,1,2,0,0,0,1,0,0,3,0,0,0,0,0,1,0,2,3,0,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,2,1,3,3,3,3,2,3,2,1,2,1,0,3,0,0,2,0,0,0,
3,3,2,3,2,1,2,1,0,3,0,0,2,0,0,0,1,1,0,3,0,0,0,0,0,0,3,2,2,1,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,2,1,3,0,0,1,0,0,0,
3,3,3,3,2,0,3,2,1,3,0,0,1,0,0,0,0,0,0,3,1,0,0,0,1,0,2,3,2,0,0,0,
3,3,3,3,2,3,3,2,3,3,1,3,2,2,3,1,1,1,2,1,3,0,3,1,1,3,0,0,1,1,0,0,
1,1,2,1,3,0,3,1,1,3,0,0,1,1,0,0,0,0,1,2,0,0,0,0,0,0,0,2,2,0,0,0,
3,3,3,3,2,2,3,3,3,3,3,2,3,3,3,2,3,2,3,3,2,1,3,0,2,3,0,0,1,0,0,0,
3,2,3,3,2,1,3,0,2,3,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0,
2,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,1,2,3,0,3,0,0,3,0,0,0,
3,3,3,3,3,1,2,3,0,3,0,0,3,0,0,0,0,1,0,3,0,1,0,0,1,0,0,0,2,0,0,0,
3,3,3,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,2,2,0,2,3,0,2,0,0,3,0,0,0,
3,3,3,2,2,0,2,3,0,2,0,0,3,0,0,0,0,0,0,3,0,1,0,0,1,0,1,2,2,0,0,0,
3,3,3,3,2,3,2,2,3,3,2,1,3,0,3,2,2,2,1,0,2,0,3,0,0,3,0,1,3,0,0,0,
2,2,1,0,2,0,3,0,0,3,0,1,3,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,1,0,0,0,
3,3,3,3,1,3,3,3,3,3,1,3,2,1,3,0,0,2,0,3,3,0,3,0,0,3,1,1,1,0,0,0,
0,2,0,3,3,0,3,0,0,3,1,1,1,0,0,0,1,1,1,3,0,0,0,0,0,1,0,1,2,1,0,0,
3,3,3,3,3,2,2,2,3,3,2,2,3,3,3,1,1,2,3,0,1,0,3,0,0,3,1,0,1,0,0,0,
1,2,3,0,1,0,3,0,0,3,1,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,3,1,0,0,0,
3,3,3,3,1,3,3,3,3,3,1,1,1,3,3,1,0,2,1,0,3,0,3,0,0,2,0,0,0,0,0,0,
0,2,1,0,3,0,3,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,2,1,0,0,0,
3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,1,0,1,0,0,0,0,2,0,0,0,
3,3,3,3,2,1,0,1,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,2,0,0,0,
3,2,3,3,2,3,1,2,3,3,1,0,0,0,3,0,1,1,1,0,0,0,2,0,0,2,0,0,0,0,0,0,
1,1,1,0,0,0,2,0,0,2,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,3,0,0,0,0,
3,2,3,3,3,3,3,3,3,3,2,1,3,0,3,1,2,1,2,0,3,0,3,0,1,2,0,0,0,0,0,0,
2,1,2,0,3,0,3,0,1,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,1,0,0,0,
3,3,3,3,1,3,2,3,3,3,0,1,1,0,3,0,2,3,0,0,0,0,2,1,0,1,0,0,1,0,0,0,
2,3,0,0,0,0,2,1,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0,
3,3,3,3,2,3,2,3,3,3,2,1,1,1,3,2,1,1,3,1,1,0,2,0,0,3,0,0,2,0,0,0,
1,1,3,1,1,0,2,0,0,3,0,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,1,0,0,0,
1,2,2,2,1,1,1,0,1,3,1,1,1,0,0,0,0,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,2,3,3,3,3,2,2,3,3,2,1,2,1,3,1,1,1,1,1,1,0,3,0,1,3,0,0,1,0,0,0,
1,1,1,1,1,0,3,0,1,3,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,1,0,0,0,
3,0,3,3,0,0,1,1,3,2,0,1,0,0,2,1,0,0,0,0,1,1,0,0,1,2,2,2,0,1,1,1,
0,0,0,0,1,1,0,0,1,2,2,2,0,1,1,1,1,1,0,0,1,0,1,2,0,1,0,0,0,1,1,1,
0,3,0,0,3,3,3,3,0,0,3,3,3,1,0,3,3,1,2,2,0,0,0,0,0,0,0,0,0,0,0,0,
3,1,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,
3,1,3,3,2,1,3,1,2,2,0,3,1,3,2,1,0,2,1,2,2,1,0,1,0,2,0,0,0,0,0,0,
0,2,1,2,2,1,0,1,0,2,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0,
0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,2,3,3,2,3,2,1,2,3,3,3,2,1,2,1,2,0,1,0,1,1,0,2,0,0,1,2,0,0,
2,1,2,0,1,0,1,1,0,2,0,0,1,2,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0,
1,3,1,3,3,3,2,3,2,3,2,2,3,3,1,2,2,3,3,2,2,2,0,1,0,2,2,2,1,2,0,1,
2,3,3,2,2,2,0,1,0,2,2,2,1,2,0,1,2,2,1,1,1,2,2,2,1,1,0,0,2,1,1,1,
3,1,3,2,1,3,0,3,3,2,0,0,0,0,2,0,0,0,0,0,3,2,0,0,0,2,2,1,0,2,2,1,
0,0,0,0,3,2,0,0,0,2,2,1,0,2,2,1,1,2,1,0,2,2,2,2,1,2,0,0,0,1,1,1,
3,1,3,3,1,2,0,1,3,3,1,1,1,0,2,0,0,0,1,0,0,0,0,0,2,0,0,0,1,0,0,0,
0,0,1,0,0,0,0,0,2,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0,
3,0,3,3,1,1,3,2,3,3,0,3,2,2,2,1,0,1,0,1,2,2,1,0,0,3,2,2,1,2,1,2,
0,1,0,1,2,2,1,0,0,3,2,2,1,2,1,2,2,2,3,1,2,1,2,2,2,1,0,0,1,0,1,1,
3,3,2,0,3,3,2,3,2,1,2,2,2,1,0,2,2,2,2,0,1,2,0,0,0,1,2,2,0,3,3,1,
2,2,2,0,1,2,0,0,0,1,2,2,0,3,3,1,1,1,2,1,1,1,1,2,1,1,0,0,2,2,1,1,
3,1,3,3,0,3,1,3,3,2,0,0,0,0,2,0,0,0,0,0,3,2,2,0,0,2,2,1,0,2,2,1,
0,0,0,0,3,2,2,0,0,2,2,1,0,2,2,1,1,2,0,0,1,2,2,1,0,2,0,0,0,0,0,1,
3,0,3,3,1,0,1,0,3,2,1,2,0,1,3,0,2,0,0,0,0,0,2,0,0,2,2,0,0,1,2,2,
2,0,0,0,0,0,2,0,0,2,2,0,0,1,2,2,0,1,1,0,1,1,1,2,1,1,0,2,1,1,2,1,
3,0,3,3,1,2,0,0,3,3,0,0,1,0,3,0,0,1,0,0,1,1,2,0,0,1,2,2,2,2,1,1,
0,1,0,0,1,1,2,0,0,1,2,2,2,2,1,1,1,1,1,0,2,1,2,1,1,1,0,0,1,1,2,0,
3,0,3,3,1,3,1,2,3,3,0,0,0,0,2,0,0,0,0,0,1,0,1,0,0,1,1,2,1,0,0,0,
0,0,0,0,1,0,1,0,0,1,1,2,1,0,0,0,1,1,1,0,2,1,1,3,1,0,0,0,0,1,1,0,
3,2,3,3,1,3,2,2,3,2,1,0,2,1,2,1,2,1,1,0,3,0,1,1,0,2,0,0,1,0,0,0,
2,1,1,0,3,0,1,1,0,2,0,0,1,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,
1,3,2,3,3,2,2,3,1,3,2,2,2,1,0,2,1,1,1,1,1,2,0,2,0,1,2,2,1,2,2,1,
1,1,1,1,1,2,0,2,0,1,2,2,1,2,2,1,2,2,1,1,2,1,1,1,1,1,0,0,1,0,1,0,
3,0,3,3,0,1,0,0,3,3,0,0,0,0,3,0,0,0,1,0,2,1,1,0,0,1,2,1,1,2,2,2,
0,0,1,0,2,1,1,0,0,1,2,1,1,2,2,2,1,1,0,0,2,1,2,1,1,1,0,1,0,0,0,1,
3,0,3,3,1,3,0,3,3,2,0,0,0,0,2,0,0,0,0,0,0,2,1,1,0,0,2,1,0,2,2,2,
0,0,0,0,0,2,1,1,0,0,2,1,0,2,2,2,2,1,0,0,1,1,1,1,1,0,0,2,0,0,0,0,
3,0,3,3,0,0,0,0,3,2,1,0,0,0,2,0,2,0,0,0,1,2,0,0,0,1,2,1,0,2,1,1,
2,0,0,0,1,2,0,0,0,1,2,1,0,2,1,1,1,1,1,1,2,2,1,1,2,2,0,0,0,0,1,1,
3,2,3,2,0,3,0,1,3,3,0,2,0,0,2,1,0,0,0,0,3,1,0,0,0,2,2,1,0,2,1,1,
0,0,0,0,3,1,0,0,0,2,2,1,0,2,1,1,1,0,1,0,1,1,1,1,1,2,0,1,1,2,1,0,
3,0,3,2,0,3,0,2,3,3,0,0,0,0,2,0,0,0,0,0,2,1,0,0,0,1,1,1,0,1,1,2,
0,0,0,0,2,1,0,0,0,1,1,1,0,1,1,2,1,1,1,0,1,1,1,2,1,0,0,1,0,2,0,0,
0,0,3,0,0,0,0,0,3,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,2,0,3,1,0,0,0,2,3,1,0,2,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,2,3,3,2,1,1,1,3,2,1,1,2,0,2,1,1,0,2,1,1,0,1,0,0,2,0,0,0,0,0,0,
1,0,2,1,1,0,1,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0,
3,1,3,3,0,2,0,2,3,2,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,1,1,0,0,0,3,0,
0,0,0,0,0,1,0,0,0,1,1,0,0,0,3,0,0,1,2,0,1,0,1,0,0,0,0,0,0,1,0,0,
3,1,3,3,1,1,0,0,3,2,0,0,0,1,2,0,0,0,0,0,0,1,0,0,0,1,1,1,0,1,1,1,
0,0,0,0,0,1,0,0,0,1,1,1,0,1,1,1,1,0,0,0,1,1,0,1,1,1,0,0,2,0,0,0,
3,0,3,2,1,1,0,0,3,3,1,1,0,0,2,0,0,0,0,0,1,1,0,0,0,1,1,0,0,1,0,0,
0,0,0,0,1,1,0,0,0,1,1,0,0,1,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,
0,1,1,0,3,2,2,2,0,0,1,0,1,1,0,0,0,0,1,0,0,1,0,0,0,0,1,2,0,2,1,1,
0,0,1,0,0,1,0,0,0,0,1,2,0,2,1,1,1,1,0,3,2,2,2,2,1,1,0,0,0,1,0,1,
0,0,0,0,1,2,3,2,1,0,2,3,2,2,0,2,3,0,1,2,0,0,0,0,0,0,0,0,0,0,1,0,
3,0,1,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,1,0,0,0,0,1,0,0,0,
0,2,1,1,3,3,2,2,1,2,2,2,2,2,0,1,1,2,2,1,0,1,0,2,0,0,2,2,1,2,1,1,
1,2,2,1,0,1,0,2,0,0,2,2,1,2,1,1,1,0,0,2,1,1,1,2,2,1,0,0,1,1,0,0,
3,0,2,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,1,3,0,
0,0,2,0,0,0,0,0,0,0,1,0,0,1,3,0,0,0,0,0,0,0,0,0,0,0,0,0,1,3,0,0,
0,1,0,0,2,0,3,3,0,0,0,0,2,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,
2,1,3,3,1,2,0,2,2,2,0,0,1,0,2,0,0,0,0,0,2,0,0,0,0,1,0,0,1,1,0,0,
0,0,0,0,2,0,0,0,0,1,0,0,1,1,0,0,0,0,0,0,1,0,0,0,1,1,0,0,0,0,0,0,
2,2,3,2,2,2,2,2,2,1,0,1,1,0,1,0,0,1,1,0,1,0,0,0,0,1,0,0,0,0,0,0,
0,1,1,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,
2,0,3,3,0,2,0,1,2,1,0,0,0,0,1,0,0,0,0,0,2,0,0,0,0,2,1,1,0,0,0,0,
0,0,0,0,2,0,0,0,0,2,1,1,0,0,0,0,0,1,1,0,1,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,1,2,3,2,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,0,1,2,1,3,1,0,0,1,2,2,1,0,0,2,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,
2,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,2,0,3,2,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,2,1,0,2,1,2,2,1,1,2,2,1,0,0,1,0,1,1,2,0,0,0,0,0,1,0,0,1,0,0,0,
0,1,1,2,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,1,0,1,1,0,0,0,0,3,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,2,1,0,0,0,0,2,3,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,
0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,3,3,0,0,3,3,3,3,0,3,3,2,1,0,0,2,2,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,3,3,3,3,1,3,0,3,2,3,2,0,0,2,2,2,2,1,0,2,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,3,3,3,0,3,3,2,2,0,3,3,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,2,3,0,3,3,3,3,2,3,2,2,2,2,2,0,2,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,2,1,2,2,2,2,0,2,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,0,3,2,3,3,3,3,2,3,3,0,1,1,2,2,
3,3,3,2,3,3,3,3,3,3,2,3,3,2,3,2,2,2,3,3,1,0,3,0,3,2,2,3,3,0,2,3,2,1,0,0,2,0,
3,3,3,2,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,2,3,3,3,2,3,2,2,2,2,2,2,1,1,0,2,1,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,0,3,3,3,3,0,0,3,1,1,1,2,3,3,3,
3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,2,2,0,0,0,2,2,0,0,
3,3,3,2,3,3,2,3,3,3,3,2,3,2,3,2,3,2,2,3,1,0,3,0,3,3,2,2,0,0,2,2,2,0,2,0,2,0,
3,3,3,2,3,3,3,3,3,3,2,3,2,2,3,2,2,2,2,3,3,1,3,1,3,0,3,2,2,0,2,3,2,2,0,0,0,0,
3,3,3,3,3,2,3,2,3,3,2,2,3,3,3,2,2,2,3,2,0,1,3,0,3,1,2,2,3,0,2,2,3,2,2,0,0,0,
3,3,3,2,3,3,3,3,3,3,2,2,2,3,3,2,2,2,2,3,0,2,3,0,2,2,2,2,3,2,2,3,2,0,2,0,0,0,
3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,0,0,3,2,3,0,2,0,0,3,0,0,0,0,0,
3,2,3,2,3,3,0,2,3,3,2,0,2,0,3,2,2,2,2,0,0,0,3,0,2,1,2,0,3,0,0,2,0,2,2,0,2,0,
3,3,3,3,3,3,3,3,3,3,2,2,3,2,3,2,3,2,2,3,2,2,3,0,3,0,2,2,2,0,2,0,2,2,2,0,0,0,
3,3,3,2,3,3,2,3,3,3,2,2,2,2,3,0,2,3,1,0,0,0,3,0,2,0,2,0,3,0,1,0,2,2,0,0,2,0,
3,3,3,3,3,3,3,3,3,3,3,2,2,2,3,2,2,2,3,2,2,0,3,0,3,3,2,2,2,0,2,0,3,3,2,0,2,0,
3,3,3,3,3,3,3,3,3,3,2,2,3,2,3,2,2,2,2,2,2,0,3,0,3,2,2,2,2,0,2,3,3,2,0,0,0,0,
2,2,3,0,2,1,2,2,2,3,1,2,1,2,0,1,1,2,2,0,2,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,2,0,
3,0,3,0,3,0,3,2,2,3,0,3,2,3,3,3,0,2,0,2,2,3,2,0,3,0,0,0,0,0,2,0,0,0,0,0,0,0,
0,3,0,3,0,3,3,3,0,0,3,3,3,0,0,3,3,2,3,0,3,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,3,3,3,2,3,3,3,3,2,3,3,3,3,3,2,3,2,2,2,1,2,2,0,2,2,2,3,0,2,2,2,2,0,0,2,0,0,
3,2,3,2,3,2,2,2,3,3,2,2,2,2,3,1,1,2,2,2,0,0,0,3,2,2,2,1,0,0,0,1,2,0,0,0,0,0,
3,3,3,2,3,3,2,2,3,3,1,2,3,2,2,2,2,2,2,3,0,0,0,0,3,2,3,1,0,0,2,0,1,1,0,0,0,0,
3,2,3,2,3,2,2,2,3,3,1,2,2,0,3,2,2,2,2,3,2,0,2,0,2,0,2,2,0,0,2,0,2,0,0,0,0,0,
0,0,0,2,0,0,3,2,0,0,0,3,3,2,0,2,0,0,0,0,3,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0,
0,0,3,0,2,0,0,0,3,3,0,0,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
3,2,3,2,3,2,2,2,3,2,2,2,2,2,2,0,0,2,1,2,2,0,0,0,2,0,2,1,0,0,2,0,2,0,0,0,0,0,
0,2,0,3,0,0,3,3,0,0,0,0,3,2,0,0,1,0,0,2,0,0,0,0,0,2,1,1,0,0,0,0,0,0,0,0,0,0,
0,2,2,2,0,2,3,3,2,0,2,3,2,2,0,0,3,0,2,2,2,0,0,0,2,2,1,2,0,0,0,0,0,0,0,0,0,0,
0,2,0,2,2,1,2,1,0,3,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,2,0,3,0,0,3,3,0,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
2,3,2,2,0,2,2,3,1,0,3,2,2,0,0,2,2,2,2,0,2,0,0,0,1,2,2,0,0,0,2,0,0,0,0,0,0,0,
0,1,0,2,0,2,3,2,0,0,1,2,2,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,
};
const SequenceModel Iso_8859_15FrenchModel =
const SequenceModel Iso_8859_15FrenchModel =
{
Iso_8859_15_CharToOrderMap,
FrenchLangModel,
64,
(float)0.98,
38,
(float)0.997044499777764,
PR_TRUE,
"ISO-8859-15"
};
@ -239,8 +168,8 @@ const SequenceModel Iso_8859_1FrenchModel =
{
Iso_8859_1_CharToOrderMap,
FrenchLangModel,
64,
(float)0.99,
38,
(float)0.997044499777764,
PR_TRUE,
"ISO-8859-1"
};
};