uchardet/script/BuildLangModelLogs/LangBelarusianModel.log
Jehan 0fffc109b5 script, src, test: adding Belarusian support.
Support for UTF-8, Windows-1251 and ISO-8859-5.
The test contents comes from page 'Суркі' on Wikipedia in Belarusian.
2022-12-17 19:13:03 +01:00

241 lines
11 KiB
Plaintext
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

= Logs of language model for Belarusian (be) =
- Generated by BuildLangModel.py
- Started: 2022-12-17 18:45:44.158196
- Maximum depth: 4
- Max number of pages: 200
== Parsed pages ==
Максім_Танк (revision 4282144)
Польская Рэспубліка (1918—1939) (revision 4280541)
Літаратурная прэмія імя Янкі Купалы (revision 4017964)
Мядзел (revision 4262814)
Каралеўская бібліятэка Швецыі (revision 4114661)
Калоссе (1935) (revision 3858825)
Наша Ніва (1991) (revision 4100218)
Леанід Уладзіміравіч Маракоў (revision 4053060)
Дзмітрый Браніслававіч Смольскі (revision 4282791)
Васіль Філімонавіч Шавура (revision 3397335)
Леанід Дранько-Майсюк (revision 4280504)
Рэферэндум у Беларусі, 1995 (revision 4133742)
Дзіцячая літаратура (revision 4215153)
1990 (revision 3826851)
Барысаў (паэма) (revision 3675556)
Часопіс (revision 4062833)
1940 (revision 4141940)
Літаратурная прэмія імя Якуба Коласа (revision 3790577)
Мікалай Дамашкевіч (revision 4124871)
Паўночная Інгрыя (revision 4022023)
Антон Браніслававіч Насілоўскі (revision 3575651)
Джэймс Фенімар Купер (revision 3516371)
Ханс Крысціян Андэрсен (revision 3845458)
Virtual International Authority File (revision 4119042)
1912 (revision 4201938)
Кампазітар (revision 4086673)
Парламенцкія выбары ў Беларусі (2012) (revision 4056679)
Янка Купала (revision 4297880)
Уладзімір Някляеў (revision 4061577)
TUT.BY (revision 4254319)
Гарады Мінскай вобласці (revision 4290488)
Вільня (revision 4260328)
Брэсцкая вобласць (revision 4095450)
Украінская мова (revision 4281826)
Сацыяльная сетка (revision 3501794)
Джонатан Свіфт (revision 4047140)
Мікалай Аляксеевіч Някрасаў (revision 4054879)
Наша ніва (1920) (revision 3648798)
Белсат (revision 4295169)
Рэспубліка Сярэдняй Літвы (revision 4287459)
Беларусь (revision 4283834)
Віктар Дзмітрыевіч Смольскі (revision 3829868)
Генадзь Пятровіч Пашкоў (revision 4254449)
Знешняя палітыка Беларусі (revision 4258993)
2012 (revision 4181555)
Саюз пісьменнікаў СССР (revision 4039027)
1995 (revision 3568939)
Саюз Савецкіх Сацыялістычных Рэспублік (revision 3433404)
Сістэма абазначэння аб’ектаў адміністрацыйна-тэрытарыяльнага падзелу (revision 2873336)
XVIII (revision 4286695)
Я. Шутовіч (revision 4063897)
Заходняя Беларусь (revision 4189742)
1958 (revision 4179116)
Санкт-Пецярбург (revision 4297788)
Аляксандр Паўлавіч Мацвееў (revision 4002064)
Жодзіна (revision 4204566)
Узда (revision 4263659)
Анатоль Васільевіч Багатыроў (revision 4045167)
Людміла Рублеўская (revision 4109306)
Беларускі ПЭН-цэнтр (revision 4256051)
Дзяржаўны літаратурны музей Янкі Купалы (revision 4258654)
Пётр Паўлавіч Яршоў (revision 3212130)
Выбары ў мясцовыя Саветы дэпутатаў Беларусі (1995) (revision 3419938)
Беластоцкае ваяводства (1919—1939) (revision 4167163)
Уладзімір Аляксеевіч Арлоў (revision 3996298)
1948 (revision 4298274)
1998 (revision 4169162)
Андрэй Катлярчук (revision 4045257)
Аляксей Камай (revision 4004900)
БелаПАН (revision 4114047)
Літаратура і мастацтва (1932) (revision 4226134)
18 стагоддзе (revision 4286695)
Якуб Колас (revision 4276306)
6 лістапада (revision 4241889)
Масква (revision 4293280)
Столінскі раён (revision 4126133)
БелТА (revision 4114101)
Беларуская Энцыклапедыя імя Петруся Броўкі (revision 4131649)
11 красавіка (revision 4257199)
Беларуская мова (revision 4156511)
Маскоўская кансерваторыя (revision 3240079)
Ягор Аляксандравіч Марціновіч (revision 4224289)
Фінляндыя (revision 4214425)
Мікола Мятліцкі (revision 4283301)
Народны артыст Беларусі (revision 4275698)
Курган (паэма) (revision 4086218)
Старыя Дарогі (revision 4204749)
Слуцк (revision 4278680)
Каралеўства Польскае, 1916—1918 (revision 4288202)
Залаты апостраф (revision 4111782)
Уладзімір Андрэевіч Калеснік (revision 4074048)
Залатая літара (revision 4085127)
Нарматыўны кантроль (revision 4228063)
Вышэйшы Гаспадарчы суд Рэспублікі Беларусь (revision 4215415)
Euronews (revision 4165755)
2003 (revision 4206607)
Л. Маракоў (revision 4053060)
1957 (revision 4170762)
Слуцкі раён (revision 4145373)
Дзяржаўная прэмія БССР (revision 3316889)
Энцыклапедыя гісторыі Беларусі (revision 4030685)
Звязда (1917) (revision 4008703)
2018 (revision 4289036)
1986 (revision 3316291)
Бухарская Народная Савецкая Рэспубліка (revision 2623266)
1939 (revision 4148673)
Дзеяслоў (2002) (revision 4049427)
Руская мова (revision 4214240)
Рафаэла Джаваньёлі (revision 2633449)
Фёдар Анісімавіч Сурганаў (revision 4188740)
Саюз пісьменнікаў Беларусі (2005) (revision 4262467)
Беларуская дзяржаўная кансерваторыя (revision 4216964)
2001 (revision 4204274)
Ігнацы Масціцкі (revision 4002826)
29 верасня (revision 4261890)
Іван Андрэевіч Крылоў (revision 3874970)
М. Шкялёнак (revision 4197856)
1935 (revision 3316357)
Тутэйшыя (фільм, 1993) (revision 3952769)
Майскі пераварот (Польшча) (revision 2832232)
Лацвянскі сельсавет (revision 3562080)
Генадзь Пашкоў (revision 4254449)
Сырмежскі сельсавет (revision 4077910)
13 красавіка (revision 4201937)
1994 (revision 4170911)
Рабінавая ноч (revision 4262182)
5 ліпеня (revision 4148432)
Беларускае Палессе (revision 4277908)
Віцебская вобласць (revision 4257032)
Саюз вызвалення Беларусі (справа) (revision 4152192)
Навагрудак (revision 4283306)
Расійская дзяржава (1918—1920) (revision 4070494)
Утварэнне Вялікага Княства Літоўскага (revision 4281842)
Коўна (revision 4264967)
1989 (revision 4170810)
7 сакавіка (revision 4272372)
Советская Белоруссия (revision 3941699)
Саксафон (revision 4119817)
Вікісховішча (revision 4276248)
1915 (revision 4204295)
Канстытуцыя Рэспублікі Беларусь (revision 4051195)
Расійская імперыя (revision 4273900)
1930-я (revision 3508427)
Доктар гістарычных навук (revision 4036548)
Віленскае ваяводства, 1926—1939 (revision 4010285)
1767 (revision 4119132)
Салігорск (revision 4285782)
Горад (revision 4154288)
Заходні Берлін (revision 4273163)
Калійныя солі (revision 3812964)
Паштовы індэкс (revision 2680497)
1714 (revision 3317887)
Джордж Харысан (revision 4129049)
Аўстра-Венгрыя (revision 3868613)
Антарктыка (revision 3997579)
1956 (revision 4169991)
Люфтвафэ (revision 3726645)
Канстытуцыя Украіны (revision 2683533)
Васіль Уладзіміравіч Быкаў (revision 4288405)
1698 (revision 3448249)
Бяларучы (revision 4294726)
1950-я (revision 4204989)
Выбаргскі раён (Ленінградская вобласць) (revision 3641710)
Нацыянальная парламенцкая бібліятэка Японіі (revision 4020527)
1934 (revision 4275604)
XIX стагоддзе (revision 4286738)
24 студзеня (revision 4268404)
Вільнюскае гарадское самакіраванне (revision 3492972)
Залаты Купідон (revision 4267601)
Мінская вобласць (revision 4296852)
Кантрольны нумар Бібліятэкі Кангрэса (revision 3491858)
Пінск (revision 4286890)
Нацыянальная бібліятэка Францыі (revision 4267432)
10 студзеня (revision 3935845)
Аляксандр Іванавіч Якімовіч (revision 4085685)
Лужаснянскі дзяржаўны аграрны каледж імя Ф. А. Сурганава (revision 4171547)
Рыта Леві-Мантальчыні (revision 4058476)
== End of Parsed pages ==
- Wikipedia parsing ended at: 2022-12-17 18:49:26.830622
65 characters appeared 853773 times.
Most Frequent characters:
[ 0] Char а: 15.572991884259633 %
[ 1] Char н: 6.632324985681206 %
[ 2] Char і: 5.7941630855039925 %
[ 3] Char р: 5.325888731548082 %
[ 4] Char с: 5.02124100902699 %
[ 5] Char к: 4.3536162422564315 %
[ 6] Char ы: 4.066654719697156 %
[ 7] Char л: 4.051428189928704 %
[ 8] Char е: 3.6824776609239227 %
[ 9] Char т: 3.4540797143971527 %
[10] Char я: 3.1694607348791775 %
[11] Char в: 3.116285007841663 %
[12] Char д: 3.1063291999161367 %
[13] Char о: 2.9540639022316237 %
[14] Char у: 2.9458650015870727 %
[15] Char м: 2.709385281567817 %
[16] Char п: 2.6671023796723485 %
[17] Char з: 2.22483025347487 %
[18] Char ц: 1.998657722837335 %
[19] Char г: 1.9463018858642753 %
[20] Char ў: 1.9429051984543901 %
[21] Char б: 1.610732595198021 %
[22] Char э: 1.3249423441593962 %
[23] Char ч: 1.3172119521231052 %
[24] Char й: 1.1151676148109626 %
[25] Char ь: 1.0356382785588207 %
[26] Char х: 0.9220249410557607 %
[27] Char ш: 0.7558215122755112 %
[28] Char ж: 0.5403075524758923 %
[29] Char ю: 0.4688599897162361 %
[30] Char ф: 0.3941328666987595 %
[31] Char i: 0.36391406146598687 %
[32] Char e: 0.2897725742088354 %
[33] Char ё: 0.28508748812623497 %
The first 34 characters have an accumulated ratio of 0.9715966656242353.
The first 6 characters have an accumulated ratio of 0.42700225938276326.
All characters whose order is over 26 have an accumulated ratio of 0.030978960449674565.
1518 sequences found.
First 893 (typical positive ratio): 0.9950100888151092
Next 272 (1165-893): 0.003995003102100991
Rest: 0.0009949080827897916
- Processing end: 2022-12-17 18:49:26.928946