diff --git a/script/BuildLangModelLogs/LangFrenchModel.log b/script/BuildLangModelLogs/LangFrenchModel.log new file mode 100644 index 0000000..e75ee7f --- /dev/null +++ b/script/BuildLangModelLogs/LangFrenchModel.log @@ -0,0 +1,188 @@ += Logs of language model for French (fr) = + +- Generated by BuildLangModel.py +- Started: 2015-11-30 18:53:23.881008 +- Maximum depth: 2 +- Max number of pages: 10 + +== Parsed pages == + +Wikipédia:Accueil_principal (revision 115957655) +Bœuf (animal) (revision 115500130) +1672 (revision 120907902) +1727 (revision 120908296) +24 novembre (revision 120782024) +26 novembre (revision 120833172) +27 novembre (revision 120860032) +28 novembre (revision 120900893) +30 novembre (revision 120934923) +Amsterdam (revision 120834895) +Amérique (revision 120916912) +An mil (revision 120416538) +Ancien Régime (revision 120708739) +Anjou (revision 120590957) +António Costa (revision 120928729) +Armée de l'air turque (revision 120764207) +Artémise II (revision 120920820) +Attentat du 24 novembre 2015 à Tunis (revision 120924574) +Barbro Hiort af Ornäs (revision 120933311) +Bataille d’Attu (revision 120942542) +Bretagne (revision 120828180) +Candé (revision 120928722) +Canton de Candé (revision 120383860) +Chef-lieu (revision 119340707) +Chouannerie (revision 119799524) +Commune (France) (revision 120627882) +Conférence de Paris de 2015 sur le climat (revision 120944002) +Crise de la dette publique grecque (revision 120905208) +Crise entre la Colombie et le Venezuela de 2015 (revision 120857143) +Crise migratoire en Europe (revision 120906358) +Crise russo-turque de 2015 (revision 120936864) +Deuxième guerre civile libyenne (revision 120673125) +Déesse mère (revision 120904195) +Départements français (revision 120873309) +Effet Shapiro (revision 120893782) +Eldar Riazanov (revision 120924339) +Fatima Mernissi (revision 120942794) +Français (revision 120883858) +Gerry Byrne (football) (revision 120943526) +Guerre civile sud-soudanaise (revision 120672963) +Guerre civile syrienne (revision 120868598) +Guerre d'Afghanistan (depuis 2015) (revision 120675052) +Guerre du Donbass (revision 120862085) +Guerre du Yémen (depuis 2001) (revision 118472483) +Insurrection djihadiste au Nigeria (revision 120550223) +Irwin Shapiro (revision 116730530) +Ismaïl ben Chérif (revision 120930731) +Ivan Hlevnjak (revision 120917619) +Jean Corti (revision 120935599) +Jean Joubert (revision 120924134) +Karashima Noboru (revision 120892854) +Latin (revision 120360207) +Luc Bondy (revision 120941142) +Maine-et-Loire (revision 120890165) +Marches de Bretagne (revision 115772332) +Mark Behr (revision 120943649) +Maroc (revision 120937137) +Maurice Strong (revision 120927161) +Mausole (revision 120904648) +Moyen Âge (revision 120943615) +Novembre 2015 (revision 120866496) +Olene S. Walker (revision 120927070) +Paternité (revision 119371049) +Pays de la Loire (revision 120719853) +Philippe II Auguste (revision 120910593) +Philippe Washer (revision 120939362) +Premier ministre de Portugal (revision 120888501) +Relativité générale (revision 120814809) +Régions françaises (revision 120692851) +Seconde Guerre mondiale (revision 120884001) +Seconde guerre civile irakienne (revision 120893282) +Shigeru Mizuki (revision 120931351) +Soukhoï Su-24 (revision 120892538) +Spuistraat (revision 119667601) +Syrie (revision 120692724) +Tahir Elçi (revision 120942499) +Tunis (revision 120628797) +Vague de violence israélo-palestinienne de l'automne 2015 (revision 120927782) +Wiki (revision 120671138) +Wikimedia Foundation (revision 120519147) +Wikipédia en français (revision 120692561) +XVIIIe siècle (revision 119843235) +XVIIe siècle (revision 120773755) +Église de Jésus-Christ des saints des derniers jours (revision 120924507) +Agriculture (revision 120943777) +Anesthésie (revision 120319446) +Animal de trait (revision 120819989) +Bien-être animal (revision 120205455) +Bière (revision 119961318) +Bos taurus (revision 119683704) +Bête de somme (revision 117842569) +Bœuf Gras (revision 119942055) +Bœuf de Kobe (revision 120829709) +Castration (revision 119751330) +Chapon (revision 114928344) +Charrette (revision 120909407) +Charrue (revision 120819690) +Colonisation (revision 120146837) +Edme Gaulle (revision 118241504) +Europe de l'Ouest (revision 120854797) +Géant-Bœuf du Carnaval de Paris (revision 118480900) +Hongre (revision 120607208) +Hypoxie (revision 118470557) +Japon (revision 120742182) +Labour (revision 120144019) +Marché des Blancs-Manteaux (revision 106807185) +Monde musulman (revision 120793714) +Mâle (biologie) (revision 111721849) +Mésopotamie (revision 120642895) +Promenade du Bœuf Gras au Carnaval de Paris (revision 120874240) +Rue des Hospitalières-Saint-Gervais (revision 107834996) +Takayama (revision 118810594) +Taureau (revision 120459397) +Testicule (revision 120432335) +Testostérone (revision 119909685) +Traction animale (revision 120819989) +Traction bovine (revision 111651361) +Traîneau (revision 120604907) +Viande (revision 120600247) +Viande bovine (revision 119480442) +Wagyu (revision 120910460) +XXe siècle (revision 120793535) +Élevage bovin (revision 120877235) + +== End of Parsed pages == + +- Wikipedia parsing ended at: 2015-11-30 19:05:38.631196 + +58 characters appeared 2625348 times. + +First 38 characters: +[ 0] Char e: 14.297990209297968 % +[ 1] Char s: 8.062245462315854 % +[ 2] Char a: 8.006862328346566 % +[ 3] Char n: 7.458401705221555 % +[ 4] Char i: 7.3982572976992 % +[ 5] Char r: 6.902246864034788 % +[ 6] Char t: 6.851777364372266 % +[ 7] Char l: 5.928699738091865 % +[ 8] Char o: 5.30996271732357 % +[ 9] Char u: 5.181065519694913 % +[10] Char d: 4.153773137884959 % +[11] Char c: 3.1908912647009084 % +[12] Char m: 2.8650297027289335 % +[13] Char p: 2.801228637117822 % +[14] Char é: 2.4742624596815355 % +[15] Char v: 1.2647847066369868 % +[16] Char g: 1.2577761119668707 % +[17] Char f: 1.1079293107047143 % +[18] Char b: 1.030415777260767 % +[19] Char h: 0.9089842565633204 % +[20] Char q: 0.7969610124067362 % +[21] Char x: 0.43415196766295366 % +[22] Char è: 0.398613821862854 % +[23] Char à: 0.38916745513356704 % +[24] Char y: 0.3763310616344957 % +[25] Char j: 0.31298707828447886 % +[26] Char k: 0.20576319786938724 % +[27] Char z: 0.11880329769615304 % +[28] Char ê: 0.11221369509870692 % +[29] Char ç: 0.07610419647223911 % +[30] Char w: 0.06574366522076312 % +[31] Char ô: 0.04845071967602009 % +[32] Char â: 0.0448321517756884 % +[33] Char œ: 0.03778546691714774 % +[34] Char î: 0.03725220427920413 % +[35] Char ï: 0.02704403378142631 % +[36] Char û: 0.02285411305472646 % +[37] Char ù: 0.02034016061870655 % + +The first 38 characters have an accumulated ratio of 0.9997798387109063. + +1149 sequences found. + +First 512 (typical positive ratio): 0.997044499777764 +Next 512 (512-1024): 3.8090188424544096e-07 +Rest: 5.974086801089403e-05 + +- Processing end: 2015-11-30 19:05:38.842420 diff --git a/src/LangModels/LangFrenchModel.cpp b/src/LangModels/LangFrenchModel.cpp index 693c78e..d0e5f41 100644 --- a/src/LangModels/LangFrenchModel.cpp +++ b/src/LangModels/LangFrenchModel.cpp @@ -12,6 +12,15 @@ * for the specific language governing rights and limitations under the * License. * + * The Original Code is Mozilla Communicator client code. + * + * The Initial Developer of the Original Code is + * Netscape Communications Corporation. + * Portions created by the Initial Developer are Copyright (C) 1998 + * the Initial Developer. All Rights Reserved. + * + * Contributor(s): + * * Alternatively, the contents of this file may be used under the terms of * either the GNU General Public License Version 2 or later (the "GPL"), or * the GNU Lesser General Public License Version 2.1 or later (the "LGPL"), @@ -29,16 +38,18 @@ #include "../nsSBCharSetProber.h" /********* Language model for: French *********/ -/* Generated (mostly) by script. - * On: 2015-11-26 02:14:05.384439 - */ + +/** + * Generated by BuildLangModel.py + * On: 2015-11-30 19:05:38.632969 + **/ /* Character Mapping Table: * ILL: illegal character. - * CTR: control character. + * CTR: control character specific to the charset. * RET: carriage/return. * SYM: symbol (punctuation) that does not belong to word. - * INT: 0 - 9. + * NUM: 0 - 9. * * Other characters are ordered by probabilities * (0 is the most common character in the language). @@ -50,187 +61,105 @@ * ligature of 'o' and 'e' exists in ISO-8859-15 but not in ISO-8859-1 * even though they are both used for French. Same for the euro sign. */ - static const unsigned char Iso_8859_15_CharToOrderMap[] = { CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,RET,CTR,CTR,RET,CTR,CTR, /* 0X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 1X */ SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* 2X */ NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,SYM,SYM,SYM,SYM,SYM,SYM, /* 3X */ - SYM, 26, 34, 27, 33, 36, 38, 41, 46, 30, 47, 53, 21, 32, 39, 50, /* 4X */ - 31, 63, 37, 29, 40, 48, 45, 55, 51, 64, 65,SYM,SYM,SYM,SYM,SYM, /* 5X */ - SYM, 2, 18, 11, 10, 0, 17, 16, 20, 3, 28, 35, 7, 12, 4, 8, /* 6X */ - 13, 19, 5, 1, 6, 9, 15, 54, 23, 25, 44,SYM,SYM,SYM,SYM,CTR, /* 7X */ + SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 4X */ + 13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,SYM, /* 5X */ + SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 6X */ + 13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,CTR, /* 7X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 8X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 9X */ - SYM,SYM,SYM,SYM,SYM,SYM, 85,SYM, 82,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */ - SYM,SYM,SYM,SYM,119,SYM,SYM,SYM, 86,SYM,SYM,SYM, 73, 62,120,SYM, /* BX */ - 61, 78, 70,121,122, 83,123, 84, 87, 49, 88,124,125, 91, 74,126, /* CX */ - 127, 92,128,129, 81,130, 89,SYM, 93,131,132,133,134,135, 94, 95, /* DX */ - 24, 67, 57, 76, 79,136, 80, 42, 22, 14, 43, 66,137, 68, 58, 60, /* EX */ - 138, 77,139, 69, 52, 96, 75,SYM, 97, 59, 72, 56, 71,140, 90, 98, /* FX */ + SYM,SYM,SYM,SYM,SYM,SYM, 48,SYM, 48,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */ + SYM,SYM,SYM,SYM, 50, 58,SYM,SYM, 50,SYM,SYM,SYM, 33, 33, 57,SYM, /* BX */ + 23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* CX */ + 59, 45, 60, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 61, /* DX */ + 23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* EX */ + 62, 45, 63, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 57, /* FX */ }; - /*X0 X1 X2 X3 X4 X5 X6 X7 X8 X9 XA XB XC XD XE XF */ + static const unsigned char Iso_8859_1_CharToOrderMap[] = { CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,RET,CTR,CTR,RET,CTR,CTR, /* 0X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 1X */ SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* 2X */ NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,NUM,SYM,SYM,SYM,SYM,SYM,SYM, /* 3X */ - SYM, 26, 34, 27, 33, 36, 38, 41, 46, 30, 47, 53, 21, 32, 39, 50, /* 4X */ - 31, 63, 37, 29, 40, 48, 45, 55, 51, 64, 65,SYM,SYM,SYM,SYM,SYM, /* 5X */ - SYM, 2, 18, 11, 10, 0, 17, 16, 20, 3, 28, 35, 7, 12, 4, 8, /* 6X */ - 13, 19, 5, 1, 6, 9, 15, 54, 23, 25, 44,SYM,SYM,SYM,SYM,CTR, /* 7X */ + SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 4X */ + 13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,SYM, /* 5X */ + SYM, 2, 18, 11, 10, 0, 17, 16, 19, 4, 25, 26, 7, 12, 3, 8, /* 6X */ + 13, 20, 5, 1, 6, 9, 15, 30, 21, 24, 27,SYM,SYM,SYM,SYM,CTR, /* 7X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 8X */ CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR,CTR, /* 9X */ SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* AX */ - SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,200,200,200,SYM, /* BX */ - 61, 78, 70, 99,100, 83,101, 84, 87, 49, 88,102,103, 91, 74,104, /* CX */ - 105, 92,106,107, 81,108, 89,SYM, 93,109,110,111,112,113, 94, 95, /* DX */ - 24, 67, 57, 76, 79,114, 80, 42, 22, 14, 43, 66,115, 68, 58, 60, /* EX */ - 116, 77,117, 69, 52, 96, 75,SYM, 97, 59, 72, 56, 71,118, 90, 98, /* FX */ + SYM,SYM,SYM,SYM,SYM, 64,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM,SYM, /* BX */ + 23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* CX */ + 65, 45, 66, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 67, /* DX */ + 23, 39, 32, 46, 49, 56, 47, 29, 22, 14, 28, 38, 54, 40, 34, 35, /* EX */ + 68, 45, 69, 41, 31, 53, 43,SYM, 52, 37, 44, 36, 42, 55, 51, 57, /* FX */ }; /*X0 X1 X2 X3 X4 X5 X6 X7 X8 X9 XA XB XC XD XE XF */ + +/* Model Table: + * Total sequences: 1149 + * First 512 sequences: 0.997044499777764 + * Next 512 sequences (512-1024): 0.002895759354225113 + * Rest: 5.974086801089403e-05 + * Negative sequences: TODO + */ static const PRUint8 FrenchLangModel[] = { - 3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,2,2,2,0,3,0,3,1,1,2,1,0,1, - 3,3,3,2,2,2,0,3,0,3,1,1,2,1,0,1,1,1,1,2,0,1,0,0,1,0,2,0,3,2,1,0, - 3,3,3,3,2,3,3,3,3,3,1,3,3,3,3,1,2,3,2,3,3,2,2,0,0,3,0,1,2,0,0,1, - 2,3,2,3,3,2,2,0,0,3,0,1,2,0,0,1,0,0,0,3,0,0,0,1,1,0,0,0,2,0,0,1, - 2,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,1,0,3,0,3,0,0,3,0,0,1, - 3,3,3,3,3,1,0,3,0,3,0,0,3,0,0,1,1,0,0,3,0,0,1,0,1,0,2,0,3,0,0,0, - 3,3,3,2,3,3,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,1,3,3,1,2,1,1,2,0,0,0, - 3,3,3,3,3,1,3,3,1,2,1,1,2,0,0,0,1,0,0,3,0,0,0,0,0,1,0,2,3,0,0,0, - 3,3,3,3,3,3,3,3,3,3,3,3,2,1,3,3,3,3,2,3,2,1,2,1,0,3,0,0,2,0,0,0, - 3,3,2,3,2,1,2,1,0,3,0,0,2,0,0,0,1,1,0,3,0,0,0,0,0,0,3,2,2,1,0,0, - 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,2,1,3,0,0,1,0,0,0, - 3,3,3,3,2,0,3,2,1,3,0,0,1,0,0,0,0,0,0,3,1,0,0,0,1,0,2,3,2,0,0,0, - 3,3,3,3,2,3,3,2,3,3,1,3,2,2,3,1,1,1,2,1,3,0,3,1,1,3,0,0,1,1,0,0, - 1,1,2,1,3,0,3,1,1,3,0,0,1,1,0,0,0,0,1,2,0,0,0,0,0,0,0,2,2,0,0,0, - 3,3,3,3,2,2,3,3,3,3,3,2,3,3,3,2,3,2,3,3,2,1,3,0,2,3,0,0,1,0,0,0, - 3,2,3,3,2,1,3,0,2,3,0,0,1,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0, - 2,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,1,2,3,0,3,0,0,3,0,0,0, - 3,3,3,3,3,1,2,3,0,3,0,0,3,0,0,0,0,1,0,3,0,1,0,0,1,0,0,0,2,0,0,0, - 3,3,3,3,3,3,3,3,3,1,3,3,3,3,3,3,3,3,3,2,2,0,2,3,0,2,0,0,3,0,0,0, - 3,3,3,2,2,0,2,3,0,2,0,0,3,0,0,0,0,0,0,3,0,1,0,0,1,0,1,2,2,0,0,0, - 3,3,3,3,2,3,2,2,3,3,2,1,3,0,3,2,2,2,1,0,2,0,3,0,0,3,0,1,3,0,0,0, - 2,2,1,0,2,0,3,0,0,3,0,1,3,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,1,0,0,0, - 3,3,3,3,1,3,3,3,3,3,1,3,2,1,3,0,0,2,0,3,3,0,3,0,0,3,1,1,1,0,0,0, - 0,2,0,3,3,0,3,0,0,3,1,1,1,0,0,0,1,1,1,3,0,0,0,0,0,1,0,1,2,1,0,0, - 3,3,3,3,3,2,2,2,3,3,2,2,3,3,3,1,1,2,3,0,1,0,3,0,0,3,1,0,1,0,0,0, - 1,2,3,0,1,0,3,0,0,3,1,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,3,1,0,0,0, - 3,3,3,3,1,3,3,3,3,3,1,1,1,3,3,1,0,2,1,0,3,0,3,0,0,2,0,0,0,0,0,0, - 0,2,1,0,3,0,3,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,2,2,1,0,0,0, - 3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,1,0,1,0,0,0,0,2,0,0,0, - 3,3,3,3,2,1,0,1,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,2,0,0,0, - 3,2,3,3,2,3,1,2,3,3,1,0,0,0,3,0,1,1,1,0,0,0,2,0,0,2,0,0,0,0,0,0, - 1,1,1,0,0,0,2,0,0,2,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,3,0,0,0,0, - 3,2,3,3,3,3,3,3,3,3,2,1,3,0,3,1,2,1,2,0,3,0,3,0,1,2,0,0,0,0,0,0, - 2,1,2,0,3,0,3,0,1,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,1,0,0,0, - 3,3,3,3,1,3,2,3,3,3,0,1,1,0,3,0,2,3,0,0,0,0,2,1,0,1,0,0,1,0,0,0, - 2,3,0,0,0,0,2,1,0,1,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,2,0,0,0,0, - 3,3,3,3,2,3,2,3,3,3,2,1,1,1,3,2,1,1,3,1,1,0,2,0,0,3,0,0,2,0,0,0, - 1,1,3,1,1,0,2,0,0,3,0,0,2,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,1,0,0,0, - 1,2,2,2,1,1,1,0,1,3,1,1,1,0,0,0,0,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0, - 0,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 3,2,3,3,3,3,2,2,3,3,2,1,2,1,3,1,1,1,1,1,1,0,3,0,1,3,0,0,1,0,0,0, - 1,1,1,1,1,0,3,0,1,3,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,1,1,0,0,0, - 3,0,3,3,0,0,1,1,3,2,0,1,0,0,2,1,0,0,0,0,1,1,0,0,1,2,2,2,0,1,1,1, - 0,0,0,0,1,1,0,0,1,2,2,2,0,1,1,1,1,1,0,0,1,0,1,2,0,1,0,0,0,1,1,1, - 0,3,0,0,3,3,3,3,0,0,3,3,3,1,0,3,3,1,2,2,0,0,0,0,0,0,0,0,0,0,0,0, - 3,1,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0, - 3,1,3,3,2,1,3,1,2,2,0,3,1,3,2,1,0,2,1,2,2,1,0,1,0,2,0,0,0,0,0,0, - 0,2,1,2,2,1,0,1,0,2,0,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0,0,0,0, - 0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 3,3,3,2,3,3,2,3,2,1,2,3,3,3,2,1,2,1,2,0,1,0,1,1,0,2,0,0,1,2,0,0, - 2,1,2,0,1,0,1,1,0,2,0,0,1,2,0,0,0,0,0,2,0,0,0,0,0,0,0,0,2,0,0,0, - 1,3,1,3,3,3,2,3,2,3,2,2,3,3,1,2,2,3,3,2,2,2,0,1,0,2,2,2,1,2,0,1, - 2,3,3,2,2,2,0,1,0,2,2,2,1,2,0,1,2,2,1,1,1,2,2,2,1,1,0,0,2,1,1,1, - 3,1,3,2,1,3,0,3,3,2,0,0,0,0,2,0,0,0,0,0,3,2,0,0,0,2,2,1,0,2,2,1, - 0,0,0,0,3,2,0,0,0,2,2,1,0,2,2,1,1,2,1,0,2,2,2,2,1,2,0,0,0,1,1,1, - 3,1,3,3,1,2,0,1,3,3,1,1,1,0,2,0,0,0,1,0,0,0,0,0,2,0,0,0,1,0,0,0, - 0,0,1,0,0,0,0,0,2,0,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,1,0,0,0, - 3,0,3,3,1,1,3,2,3,3,0,3,2,2,2,1,0,1,0,1,2,2,1,0,0,3,2,2,1,2,1,2, - 0,1,0,1,2,2,1,0,0,3,2,2,1,2,1,2,2,2,3,1,2,1,2,2,2,1,0,0,1,0,1,1, - 3,3,2,0,3,3,2,3,2,1,2,2,2,1,0,2,2,2,2,0,1,2,0,0,0,1,2,2,0,3,3,1, - 2,2,2,0,1,2,0,0,0,1,2,2,0,3,3,1,1,1,2,1,1,1,1,2,1,1,0,0,2,2,1,1, - 3,1,3,3,0,3,1,3,3,2,0,0,0,0,2,0,0,0,0,0,3,2,2,0,0,2,2,1,0,2,2,1, - 0,0,0,0,3,2,2,0,0,2,2,1,0,2,2,1,1,2,0,0,1,2,2,1,0,2,0,0,0,0,0,1, - 3,0,3,3,1,0,1,0,3,2,1,2,0,1,3,0,2,0,0,0,0,0,2,0,0,2,2,0,0,1,2,2, - 2,0,0,0,0,0,2,0,0,2,2,0,0,1,2,2,0,1,1,0,1,1,1,2,1,1,0,2,1,1,2,1, - 3,0,3,3,1,2,0,0,3,3,0,0,1,0,3,0,0,1,0,0,1,1,2,0,0,1,2,2,2,2,1,1, - 0,1,0,0,1,1,2,0,0,1,2,2,2,2,1,1,1,1,1,0,2,1,2,1,1,1,0,0,1,1,2,0, - 3,0,3,3,1,3,1,2,3,3,0,0,0,0,2,0,0,0,0,0,1,0,1,0,0,1,1,2,1,0,0,0, - 0,0,0,0,1,0,1,0,0,1,1,2,1,0,0,0,1,1,1,0,2,1,1,3,1,0,0,0,0,1,1,0, - 3,2,3,3,1,3,2,2,3,2,1,0,2,1,2,1,2,1,1,0,3,0,1,1,0,2,0,0,1,0,0,0, - 2,1,1,0,3,0,1,1,0,2,0,0,1,0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0, - 1,3,2,3,3,2,2,3,1,3,2,2,2,1,0,2,1,1,1,1,1,2,0,2,0,1,2,2,1,2,2,1, - 1,1,1,1,1,2,0,2,0,1,2,2,1,2,2,1,2,2,1,1,2,1,1,1,1,1,0,0,1,0,1,0, - 3,0,3,3,0,1,0,0,3,3,0,0,0,0,3,0,0,0,1,0,2,1,1,0,0,1,2,1,1,2,2,2, - 0,0,1,0,2,1,1,0,0,1,2,1,1,2,2,2,1,1,0,0,2,1,2,1,1,1,0,1,0,0,0,1, - 3,0,3,3,1,3,0,3,3,2,0,0,0,0,2,0,0,0,0,0,0,2,1,1,0,0,2,1,0,2,2,2, - 0,0,0,0,0,2,1,1,0,0,2,1,0,2,2,2,2,1,0,0,1,1,1,1,1,0,0,2,0,0,0,0, - 3,0,3,3,0,0,0,0,3,2,1,0,0,0,2,0,2,0,0,0,1,2,0,0,0,1,2,1,0,2,1,1, - 2,0,0,0,1,2,0,0,0,1,2,1,0,2,1,1,1,1,1,1,2,2,1,1,2,2,0,0,0,0,1,1, - 3,2,3,2,0,3,0,1,3,3,0,2,0,0,2,1,0,0,0,0,3,1,0,0,0,2,2,1,0,2,1,1, - 0,0,0,0,3,1,0,0,0,2,2,1,0,2,1,1,1,0,1,0,1,1,1,1,1,2,0,1,1,2,1,0, - 3,0,3,2,0,3,0,2,3,3,0,0,0,0,2,0,0,0,0,0,2,1,0,0,0,1,1,1,0,1,1,2, - 0,0,0,0,2,1,0,0,0,1,1,1,0,1,1,2,1,1,1,0,1,1,1,2,1,0,0,1,0,2,0,0, - 0,0,3,0,0,0,0,0,3,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,2,0,3,1,0,0,0,2,3,1,0,2,0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,3,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 3,2,3,3,2,1,1,1,3,2,1,1,2,0,2,1,1,0,2,1,1,0,1,0,0,2,0,0,0,0,0,0, - 1,0,2,1,1,0,1,0,0,2,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0, - 3,1,3,3,0,2,0,2,3,2,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,1,1,0,0,0,3,0, - 0,0,0,0,0,1,0,0,0,1,1,0,0,0,3,0,0,1,2,0,1,0,1,0,0,0,0,0,0,1,0,0, - 3,1,3,3,1,1,0,0,3,2,0,0,0,1,2,0,0,0,0,0,0,1,0,0,0,1,1,1,0,1,1,1, - 0,0,0,0,0,1,0,0,0,1,1,1,0,1,1,1,1,0,0,0,1,1,0,1,1,1,0,0,2,0,0,0, - 3,0,3,2,1,1,0,0,3,3,1,1,0,0,2,0,0,0,0,0,1,1,0,0,0,1,1,0,0,1,0,0, - 0,0,0,0,1,1,0,0,0,1,1,0,0,1,0,0,0,0,0,0,0,0,1,0,1,0,0,0,0,0,0,0, - 0,1,1,0,3,2,2,2,0,0,1,0,1,1,0,0,0,0,1,0,0,1,0,0,0,0,1,2,0,2,1,1, - 0,0,1,0,0,1,0,0,0,0,1,2,0,2,1,1,1,1,0,3,2,2,2,2,1,1,0,0,0,1,0,1, - 0,0,0,0,1,2,3,2,1,0,2,3,2,2,0,2,3,0,1,2,0,0,0,0,0,0,0,0,0,0,1,0, - 3,0,1,2,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,1,0,0,0,0,1,0,0,0, - 0,2,1,1,3,3,2,2,1,2,2,2,2,2,0,1,1,2,2,1,0,1,0,2,0,0,2,2,1,2,1,1, - 1,2,2,1,0,1,0,2,0,0,2,2,1,2,1,1,1,0,0,2,1,1,1,2,2,1,0,0,1,1,0,0, - 3,0,2,1,0,0,0,0,0,1,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,0,1,0,0,1,3,0, - 0,0,2,0,0,0,0,0,0,0,1,0,0,1,3,0,0,0,0,0,0,0,0,0,0,0,0,0,1,3,0,0, - 0,1,0,0,2,0,3,3,0,0,0,0,2,2,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0, - 2,1,3,3,1,2,0,2,2,2,0,0,1,0,2,0,0,0,0,0,2,0,0,0,0,1,0,0,1,1,0,0, - 0,0,0,0,2,0,0,0,0,1,0,0,1,1,0,0,0,0,0,0,1,0,0,0,1,1,0,0,0,0,0,0, - 2,2,3,2,2,2,2,2,2,1,0,1,1,0,1,0,0,1,1,0,1,0,0,0,0,1,0,0,0,0,0,0, - 0,1,1,0,1,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0, - 2,0,3,3,0,2,0,1,2,1,0,0,0,0,1,0,0,0,0,0,2,0,0,0,0,2,1,1,0,0,0,0, - 0,0,0,0,2,0,0,0,0,2,1,1,0,0,0,0,0,1,1,0,1,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,1,2,3,2,0,0,0,0,1,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,1,0,1,2,1,3,1,0,0,1,2,2,1,0,0,2,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0, - 2,0,1,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,2,0,3,2,0,0,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 2,2,1,0,2,1,2,2,1,1,2,2,1,0,0,1,0,1,1,2,0,0,0,0,0,1,0,0,1,0,0,0, - 0,1,1,2,0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,1,0,1,1,0,0,0,0,3,0,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, - 0,0,2,1,0,0,0,0,2,3,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1, - 0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,1,1,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,3,3,0,0,3,3,3,3,0,3,3,2,1,0,0,2,2,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,3,3,3,3,1,3,0,3,2,3,2,0,0,2,2,2,2,1,0,2,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,0,3,3,3,3,0,3,3,2,2,0,3,3,0,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,2,3,0,3,3,3,3,2,3,2,2,2,2,2,0,2,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,2,1,2,2,2,2,0,2,0,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,0,3,2,3,3,3,3,2,3,3,0,1,1,2,2, + 3,3,3,2,3,3,3,3,3,3,2,3,3,2,3,2,2,2,3,3,1,0,3,0,3,2,2,3,3,0,2,3,2,1,0,0,2,0, + 3,3,3,2,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,2,3,3,3,2,3,2,2,2,2,2,2,1,1,0,2,1, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,0,3,3,3,3,0,0,3,1,1,1,2,3,3,3, + 3,3,3,3,3,3,3,3,3,2,3,3,3,3,3,3,3,3,3,3,3,3,3,0,3,3,3,3,3,2,2,0,0,0,2,2,0,0, + 3,3,3,2,3,3,2,3,3,3,3,2,3,2,3,2,3,2,2,3,1,0,3,0,3,3,2,2,0,0,2,2,2,0,2,0,2,0, + 3,3,3,2,3,3,3,3,3,3,2,3,2,2,3,2,2,2,2,3,3,1,3,1,3,0,3,2,2,0,2,3,2,2,0,0,0,0, + 3,3,3,3,3,2,3,2,3,3,2,2,3,3,3,2,2,2,3,2,0,1,3,0,3,1,2,2,3,0,2,2,3,2,2,0,0,0, + 3,3,3,2,3,3,3,3,3,3,2,2,2,3,3,2,2,2,2,3,0,2,3,0,2,2,2,2,3,2,2,3,2,0,2,0,0,0, + 3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,0,0,3,2,3,0,2,0,0,3,0,0,0,0,0, + 3,2,3,2,3,3,0,2,3,3,2,0,2,0,3,2,2,2,2,0,0,0,3,0,2,1,2,0,3,0,0,2,0,2,2,0,2,0, + 3,3,3,3,3,3,3,3,3,3,2,2,3,2,3,2,3,2,2,3,2,2,3,0,3,0,2,2,2,0,2,0,2,2,2,0,0,0, + 3,3,3,2,3,3,2,3,3,3,2,2,2,2,3,0,2,3,1,0,0,0,3,0,2,0,2,0,3,0,1,0,2,2,0,0,2,0, + 3,3,3,3,3,3,3,3,3,3,3,2,2,2,3,2,2,2,3,2,2,0,3,0,3,3,2,2,2,0,2,0,3,3,2,0,2,0, + 3,3,3,3,3,3,3,3,3,3,2,2,3,2,3,2,2,2,2,2,2,0,3,0,3,2,2,2,2,0,2,3,3,2,0,0,0,0, + 2,2,3,0,2,1,2,2,2,3,1,2,1,2,0,1,1,2,2,0,2,0,0,0,1,0,0,0,0,0,0,0,2,0,0,0,2,0, + 3,0,3,0,3,0,3,2,2,3,0,3,2,3,3,3,0,2,0,2,2,3,2,0,3,0,0,0,0,0,2,0,0,0,0,0,0,0, + 0,3,0,3,0,3,3,3,0,0,3,3,3,0,0,3,3,2,3,0,3,0,0,0,1,0,2,2,0,0,0,0,0,0,0,0,0,0, + 0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, + 3,3,3,3,2,3,3,3,3,2,3,3,3,3,3,2,3,2,2,2,1,2,2,0,2,2,2,3,0,2,2,2,2,0,0,2,0,0, + 3,2,3,2,3,2,2,2,3,3,2,2,2,2,3,1,1,2,2,2,0,0,0,3,2,2,2,1,0,0,0,1,2,0,0,0,0,0, + 3,3,3,2,3,3,2,2,3,3,1,2,3,2,2,2,2,2,2,3,0,0,0,0,3,2,3,1,0,0,2,0,1,1,0,0,0,0, + 3,2,3,2,3,2,2,2,3,3,1,2,2,0,3,2,2,2,2,3,2,0,2,0,2,0,2,2,0,0,2,0,2,0,0,0,0,0, + 0,0,0,2,0,0,3,2,0,0,0,3,3,2,0,2,0,0,0,0,3,0,0,0,0,0,0,2,0,0,0,0,0,0,0,0,0,0, + 0,0,3,0,2,0,0,0,3,3,0,0,0,0,2,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0, + 3,2,3,2,3,2,2,2,3,2,2,2,2,2,2,0,0,2,1,2,2,0,0,0,2,0,2,1,0,0,2,0,2,0,0,0,0,0, + 0,2,0,3,0,0,3,3,0,0,0,0,3,2,0,0,1,0,0,2,0,0,0,0,0,2,1,1,0,0,0,0,0,0,0,0,0,0, + 0,2,2,2,0,2,3,3,2,0,2,3,2,2,0,0,3,0,2,2,2,0,0,0,2,2,1,2,0,0,0,0,0,0,0,0,0,0, + 0,2,0,2,2,1,2,1,0,3,2,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, + 0,2,0,3,0,0,3,3,0,0,0,2,2,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, + 2,3,2,2,0,2,2,3,1,0,3,2,2,0,0,2,2,2,2,0,2,0,0,0,1,2,2,0,0,0,2,0,0,0,0,0,0,0, + 0,1,0,2,0,2,3,2,0,0,1,2,2,2,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, + 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, }; -const SequenceModel Iso_8859_15FrenchModel = + +const SequenceModel Iso_8859_15FrenchModel = { Iso_8859_15_CharToOrderMap, FrenchLangModel, - 64, - (float)0.98, + 38, + (float)0.997044499777764, PR_TRUE, "ISO-8859-15" }; @@ -239,8 +168,8 @@ const SequenceModel Iso_8859_1FrenchModel = { Iso_8859_1_CharToOrderMap, FrenchLangModel, - 64, - (float)0.99, + 38, + (float)0.997044499777764, PR_TRUE, "ISO-8859-1" -}; +}; \ No newline at end of file