Ma'lumotlar nazariyasining elementlari

Ma'lumotlar nazariyasining elementlari
Reja:
I. Kirish A. Ma'lumotlarni tasniflashning qiyinchiliklari va uning zamonaviy dunyoda tutgan o'rni
B. Ma'lumotlar nazariyasining fan va amaliyot uchun ahamiyati
II. Asosiy tushuncha va atamalar
A. Ma'lumotlar va axborot tushunchasi
B. Ma'lumotlar turlari: Strukturali, yarim tuzilishli va tuzilmagan
C. Axborot tizimlari va ularning ma'lumotlarni qayta ishlashdagi o'rni
III. Ma'lumotlarni saqlash printsiplari
A. Ma'lumotlar bazalari va ularning xususiyatlari B. Ma'lumotlarni normallashtirish va ortiqchalikni oldini olish
C. Tarqatilgan ma'lumotlar bazalari va ularning foydalari
IV. Ma'lumotlarni qayta ishlash usullari
A. Ma'lumotlar to'plami. Manba va usullar B. Ma'lumotlar tahlili: Statistik va algoritmik usullar
C. Ma'lumotlarni vizuallashtirish va uning tahlildagi o'rni
V. Ma'lumotlarni himoya qilish A. Ma'lumotlarning maxfiyligi, yaxlitligi va mavjudligi B. Kriptografiya va ma'lumotlar xavfsizligi amaliyotlari
C. Ma'lumotlarni qayta ishlash va qonunchilikning axloqiy jihatlari
VI. Ma'lumotlar nazariyasining kelajagi
A. Sun'iy intellekt va mashina o'rganish B. Katta ma'lumotlar va uning ma'lumotlar nazariyasiga ta'siri
C. Ma'lumotlar dinamikasi va istiqbollari
VII. Xulosa
VIII. Adabiyotlar
Kirish
Yuqorida aytganimizdek, ko‘p sonli zarralar sistemasi xossalarini o‘rganishda dinamika (mumtoz mexanika) qonunlarini qo‘llab bo‘lmaydi. Masalan: bir idish olib, unda hajm bo‘yicha ideal gaz bor desak, ma’lum molekula qaysi paytda idish hajmining qaysi qismida bo‘lishini aytish qiyin. Chunki bu molekula idish hajmining o‘sha qismida o‘sha paytda bo‘lishi ham, bo‘lmasligi ham mumkin. Shuning uchun ham bshnday jarayonlarni o‘rganishda tasodifiy hodisalar qonuniyatlaridan foydalaniladi. Tasodifiy hodisalar qonuniyatlari ehtimollik nazariyasiga bo‘yso‘nadi. Bu nazariyaga kura biror tasodifiy xodisa yuz berishi ham, bermasligi ham mumkin. Shu voqeaning sodir bo‘lish darajasi extimliyat chastotasi bilan aniqlanadi.
Masalan: biror qutida turt xil rangdagi to‘rtta bir xil shar bo‘lsin. Agar shu qutidagi sharni ko‘rmasdan oladigan bo‘lsak, har qaysi rangda sharni chiqarib olish extimoliyati tajribalar soning ortishi bilan tenglasha boradi va № 14 ga intiladi. Extimoliyatning ta’rifini berishda biror voqeaning sodir bo‘lishi yoki bo‘lmasligini kuzatish bilan javob berish mumkin: Voqeaning ehtimolligi voqea amalga oshadigan tajribalar sonining tajribalarning umumiy soniga nisbatini tajribalar soni cheksiz ortib borgandagina limitiga aytiladi. Agar kuzatishlar soni N ta bo‘lib, shunday kuzatishlarda Na ga marta (N >>N_a) shu voqea sodir bo‘lsa, u xolda shu voqeaning sodir bo‘lish ehtimoliyati ξ (a) deb quyidagi kattalikka aytiladi.
(3.1)
shu voqea bir vaqtning o‘zida bir joyda emas, bir necha joyda ruy bersa, bunday sistemasiga sistemalar ansambli deyiladi.
2. Agar voqealar vaqt o‘tishi bilan o‘zgaruvchan kattalik bilan xarakterlansa, ularning sodir bo‘lish ehtimoliyatlarini (1) formula bilan aniqlab bo‘lmaydi. Shunday hollarda berilgan voqeaning sodir bo‘lishi ehtimoliyat zichligi tushunchasi kiritiladi. Ehtimoliyat zichligi deb, berilgan voqeaning xajmda yuz berishi yoki bermaslik ehtimoliyatiga aytiladi. Ya’ni
(3.2)
Formuladan ko‘rinadiki hajmi birligidagi ehtimoliyatga ehtimoliyat zichligi deyiladi. Bugun hajmdan sodir bo‘ladigan ehtimoliyat zichligining normallashtirish sharti deyiladi. U quyidagicha ifodalanadi.
(3.3)
Agar voqealar bir-birini inkor etuvchi bo‘lsa, masalan, biror molekula V1 xajmda bo‘lsa, uning shu payt qo‘shni V2 hajmda bo‘la olmasligi aniq u holda shu molekulaning
V= V1+ V2 xajmda bo‘lishi ehtimoliyati


(3.4)
bilan topiladi. Bu formuladan ko‘rinadiki, o‘za’ro bir-birini inkor etuvchi voqealar ehtimoliyati shu ehtimoliyatlar yig‘indisiga teng bo‘ladi. Agar biror tasodifiy kattalik Z, vaqt o‘tishi bilan Z1, Z2,….Zn qiymatlarni qabul qilsa , uning o‘rtacha qiymati quyidagicha aniqlanadi:
(3.5)

2. Agar o‘zgaruvchan kattalikning qiymati vaqt o‘tishi bilan uzluksiz o‘zgaruvchan bo‘lsa, uning o‘rtacha qiymati vaqtga bog‘liq bo‘ladi. Biror va vaqt oralig‘ida o‘zgaruvchan Z kattaligining o‘rtacha qiymati.

(3.6)
bilan topiladi.
Umumiy holda, uzluksiz ravishda o‘zgaruvchan kattalik uchun o‘rtacha qiymat quo‘idagicha topiladi.
(3.7)
bu yerda f(z) o‘zgaruvchan Z kattalikning ehtimoliyat zichligidir.
O‘zgaruvchan kattalikning o‘rtacha miqdoridan chetlashishi, dispersiya Bilan xarakterlanadi. Dispersiya o‘rtacha miqdoridan chetlanish kvadratining o‘rtacha qiymati bilan aniqlanadi.
(3.8)

vaqt birligi ichida diskret o‘zgaradigan tasodifiy xodisalar uchun dispersiya

(3.9)
bilan aniqlanadi. Vaqt birligi ichida uzluksiz o‘zgaradigan tasodifiy hodisalar uchun
(3.10)
oraliq aniqlanadi.
4.Statistik fizikadagi eng muhim kattaliklardan biri ehtimoliyatlar taqsimot funksiyasidir. Bu funksiya juda o‘zgaruvchan tasodifiy Z kattalik berilgan Z₀ dan kichik qiymatlar qabul qilish ehtimoliyatini ko‘rsatuvchi funksiyadir:


(3.11)
Bu yerda funksiyaga ehtimoliyatlar taqsimot funksiyasi deyiladi va uzlusiz o‘zgaruvchan kattalik uchun ehtimoliyat zichligi orqali quyidagicha ifodalanadi:


(3.12)
Istalgan vaqt birligi ichida o‘zgaruvchan kattalikning o‘rtacha qiymatini ehtimoliyatlar taqsimot funksiyasi orqali ifodalash mumkin;


(3.13)
Ko‘p sondagi zarralar sistemasining xossalarini statistik usulorqali bayon qilishda ko‘pincha statistik taqsimotlar tushunchasidan foydalaniladi. M: Gaz molekulalari tezligining taqsimot funksiyasi va hokazo.

Gauss taqsimoti.

1. 
   Gauss dekart koordinata sistemasida sakrab harakatlanuvchi modda nuqtaning juda ko‘p sakrashlardan keyin uning koordinatalarini aniqlash ehtimoliyatini xisoblab, bu ehtimoliyati zichligi F (Z), Z koordinata sistemasida
   

(3.14)
Агар берилган шароитда воqеа албатта руй берадиган бo‘лса, бу воqеа ишончли воqеа деб ekanligini ko‘rsatadi. Bu yerda A va a lar integrallash doimiylari. Bunday ehtimoliyat zichligi taqsimotligi Gauss taqsimoti deyiladi. Bu taqsimot funksiyasi orqali juda ko‘pgina o‘zgaruvchan kattaliklarning o‘zgarish qonuniyatlari tushuntiriladi. Shuning uchun katta ahamiyatga ega. Demak, xulosa qilib aytadigan bo‘lsak, Gauss taqsimot funksiyasi sistemasining dispersiyasiga bog‘liq bo‘lar ekan. Dispersiya qiymati qancha kichik bo‘lsa, uning grafikda ifodalangan qiymati shuncha tik bo‘ladi va dispersiya qiymatining ortishi bu taqsimot funksiyasi shuncha yoyila boradi.
Ehtimollar nazariyasida amalga oshishi mumkinmi yoki yo‘qmi deb savol quyish mumkin bo‘lgan har qanday xodisalar voqealar yoki xollar deb ataladi. U yoki bu voqea ruy berishiga sabab bo‘lgan tajriba yoki shart-sharoitlar majmui ehtimollar nazariyasida sinash deb ataladi. Agar berilgan sharoitda voqea albatta ro‘y beradigan bo‘lsa, bu voqea ishonchli voqea deb ataladi. Agar u amalga oshmaydigan bo‘lsa, mumkin bo‘lmagan voqea deb yuritiladi. Masalan, biz qog‘ozda uchburchak chizdik. Bunda uning har bir tomoni qolgan ikki tomonining yig‘indisidan kichik bo‘lgmn uchburchak hosil bo‘lishidan iborat bo‘lgan voqea ishonchli voqeadir. Tomonlarning biri qolgan ikki tomonining yig‘indisidan katta (uzun) bo‘lgan uchburchakning paydo bo‘lishi ham, garchi mumkin bo‘lmagan bo‘lsada, voqeadir. Sinash natijasida ruy berishi mumkin bo‘lgan, shuningdek ruy berishi mumkin bo‘lmagan voqea tasodifiy voqea deb ataladi.
. Axborot miqdorining o'lchovi

Axborot ta'limotida axborot tushunchasining o'zi aniqlanmaydi. Shu bilan birga, ushbu nazariyani qurish uchun zarur va etarli shart - bu axborot miqdori tushunchasi. Axborot miqdori mavjud bo'lgan turli xil ma'lumotlarga xos bo'lgan narsa bo'yicha aniqlanishi kerak, shu bilan birga axborotning ma'nosi va qiymatiga e'tiborsiz bo'lib qolishi kerak. Bu umumiylik tajriba o'tkazilganligi, umumiy ma'noda tushunilganligi va tajribaning bir yoki boshqa natijasida noaniqlikning mavjudligidir. Aslida, Agar qabul qiluvchi ekspertiza natijasida qanday xabar olishini ekspertizadan oldin bilganida edi, xabarni olganda hech qanday maʼlumot olmagan boʻlardi.

Bundan tashqari, tajriba o'tkazilgandan keyin vaziyat aniqroq bo'lib qoladi, chunki ya'ni tajribadan oldin bo'lgan savolga aniq javob berish mumkin, yoki mumkin bo'lganjavoblar soni va shuning uchun noaniqlik kamayadi. Tajribadan keyin olib tashlangan noaniqlik miqdori tajriba davomida olingan ma'lumotlar miqdorini hisoblash mumkin.
Shunday qilib, axborot miqdorining o'lchovi quyidagi intuitiv xususiyatlarga javob berishi kerak:
. Olingan ma'lumotlarning miqdori sinovda eng ko'p natija bilan ko'proq, ya'ni mumkin bo'lgan natijalar soni.


eslʼi > . (1)

Bu yerda men axborot miqdori, k va r – natijalar soni.

. Yakka natijali sinov, ya'ni mantiqiy hodisa ro'y berganda nolga teng bo'lgan axborot miqdori ko'tarib yuradi:


. (2)
. Ikki mustaqil sinovdagi axborot miqdori har biridan olingan ma'lumot miqdorining yig'indisiga teng bo'lishi kerak:
(3)
Bu talablarga javob beradigan mumkin bo'lgan natijalar sonining yagona funksiyasi logarifmik funksiyadir. Shunday qilib, agar suddan keyin noaniqlik bo'lmasa, u holda k natijalari bilan sudlangandan keyin ma'lumot miqdori teng
(4)
Bu ifoda barcha natijalar birdek ehtimolli deb hisoblaydi, ya'ni p=1/n, shuning uchun uni qayta yozish mumkin

Logarifmlarning a va doimiy c ning asosini ma'lum shaxs tufayli o'zboshimchalik bilan tanlash mumkin . Undan keyin logarifmlarning bir tizimidan boshqasiga o'tish doimiy faktor bo'yicha ko'payishga tushiriladi, ya'ni u shkalaning oddiy o'zgarishiga teng. Masalan, c=1 va a=2 qabul qilinadi, keyin
(5)
A = 2 logarifmlar bazasidagi axborot miqdorining o'lchov birligi ikkilik sanoq deb ataladi va ikki teng ehtimolli natijaga ega bo'lgan test natijasida olingan ma'lumot miqdoriga to'g'ri keladi.
Keling, endi sinovlar natijalari bir xil ehtimolga ega boʻlmagan umumiyroq masalani koʻrib chiqaylik. Faraz qilaylik, X trial n natijalari ehtimollar bilan ) va . Bunda natijani realizatsiya qilishda olingan ma'lumot miqdori tasodifiy o'zgaruvchi bo'lib, unga teng . Axborotning tasodifiy o'lchovi foydalanish uchun noqulaydir , shuning uchun biz individual natijalar bo'yicha o'rtacha qisman miqdordagi ma'lumotning ishlashini amalga oshiramiz va quyidagi bog'liqlikni olamiz:


. (6)

Bu nisbat tajribadan keyin natijaning noaniqligi bo'lmasa , o'zboshimchalik bilan natija bo'yicha olib boriladigan ma'lumotning o'rtacha miqdorini belgilaydi.

Axborot miqdorining xossalarini misol qilib keltirish uchun bir nechta muammolarni ko'rib chiqaylik.
Vazifa. Ma'lum bir universitetda talabalarning 25% tabiiy,50% yoshlardir. Universitetdagi talabalarning 35% o'g'il bolalar. Savol shuki, siz uchragan yigit ilm-fan talabasi ekanligi haqidagi xabarda qancha ma'lumot mavjud?
Bu muammoning yechimiga ikki yo'l bilan erishish mumkin. Ulardan birinchisiga ko'ra , "bir yigit uchrashdi" va "bir tabiiy fanlar talabasi uchrashdi" hodisalari bilan va mos ravishda ko'rsatilgan. Keyin hodisalarning birgalikda va ehtimollar ko'paytma teoremasiga ko'ra sodir bo'lish ehtimoli teng
qayerdan .

Muammoning shartlaridan kelib chiqib, bizda: . .

= .
Dan (bit).

Bu muammoni hal qilishda ikkinchi yondashuv quyidagicha. Siz uchragan yigit ilm o'quvchisi ekanligi haqidagi xabarda keltirilgan ma'lumotlar miqdori teng

.

Shu bilan birga, agar siz faqat bir yigitni uchratsangiz, u holda ma'lumot miqdori . Bu miqdordagi ma'lumot muammoning sharoitlaridan kelib chiqqan holda olingan, chunki yigitning qondirilgani ma'lum. Shunday qilib, biz uning ilm o'quvchisi ekanligi haqidagi xabarda qancha qo'shimcha ma'lumot mavjudligini bilishimiz kerak. Tabiiyki, bunga javobni miqdordan chiqarib olish orqali olish mumkinbiz uchragan yigitning tabiiy fanlar talabasi ekanligi, biz uchragan talabaning yigit ekanligi haqida biz bilgan ma'lumot miqdori:

bit

Tabiiyki, yechimga yondashuvdan qat'i nazar, javobbir xil bo'lib qoladi.

Vazifa. Maʼlumki, ayni shu mezonga ega boʻlgan 12 ta qimmatbaho tanga orasida bitta tanga soxta (vazni pastroq). Soxta tangani aniqlash uchun og'irliksiz lever shkalasidagi eng kichik tortishlar soni qaysi?
Tasodifiy ravishda olingan har qanday tanga soxta bo'lib chiqishi aniq. Shuning uchun , "tasodifiy olingan tanga soxtadir" (bit) xabaridan olingan ma'lumot miqdori . Tasodifiy tortish uchta teng ehtimoliy natijaga ega bo'lgani uchun (muvozanatdagi kupyura, o'ng kosa ustun, chap kosa ustun), bir vazndan olingan ma'lumot miqdori (bit). Shuning uchun, minimal og'irlik soni nisbatning integer qismiga teng


.
Ma'lumot miqdori Entropiya ehtimoli
Soxta tangaga "mavjud" ma'lumotlarni ajratib olish uchun tortish qanday tashkil etilishi kerak? Bunda protsedura shunday tashkil etilishi kerakki, har safar tortish natijasi olinganda 1,58 bit axborotolinadi. Buning uchun 12 tanga har biri 4 tangadan iborat uchta teng quyi guruhga bo'linadi, har qanday ikki guruhning og'irligi tortiladi va taqqoslanadi, ularning yengilligi yana uchta quyi guruhga (1,1,2) bo'linadi, birinchi ikkita quyi guruhning og'irligi solishtiriladi.Agar kupyuralar muvozanatda qolsa, qolgan ikki tanganing og'irliklari solishtiriladi, bu esa soxta tangani aniq aniqlash imkonini beradi.
Vazifa. Tajriba uchta natijaga ega: tegishli ehtimolliklar bilan . Yuqoridagi natijalarni ko'taradigan aniq va o'rtacha miqdordagi ma'lumotlarni topish zarur.
Natijalarning har birining amalga oshirishi natijasida olingan ma'lumotlarning aniq miqdorlari mos ravishda: (bit); (bitlar) (bat).
Natijalarning har biri o'z ehtimoli bilan paydo bo'lganligi sababli, keyin (bit). Ushbu natijadan kelib chiqib, o'rtacha operatsiya ma'lumot bo'yicha natijalardagi individual farqni yo'q qiladi.
Ushbu misollar axborot miqdorini baholashning umumiy yo'nalishlarini yaqqol ko'rsatadi va vazifalarning mazmuni tadqiqot sohasiga qarab o'zgarishi mumkinligi aniq , bu esa ularning har qaysisida qiziqarli amaliy muammolarni hal qilish imkonini beradi.

. Entropiya va uning xossalari

Formula (6) tasodifiy natija tarkibidagi ma'lumotning o'rtacha miqdorini aniqlaydi, agar test o'tkazilgandan keyin noaniqlik bo'lmasa . Testdan keyin ba'zi noaniqliklar qolgan o'sha hollarda yangi tushuncha e'tiborga olinadi - entropiya.

Tasnifi. Entropiya - sinov o'tkazilishidan oldin natijaga nisbatan noaniqlikning o'rtacha miqdori.
Entropiyani hisoblash formulasi axborot miqdoriga teng, chunki
Entropiyaning asosiy xossalarini ko'rib chiqaylik
. Entropiya manfiy bo'lmagan, ya'ni , teng belgi esa faqat sinov bitta asosli natijaga ega bo'lgandagina sodir bo'ladi.
Entropiyaning pozitivligi uning qat'iyligi formulasidan ko'rinib turadi. Zero, bu formulaga kiritilgan ehtimollar musbat bo'lib, nol bilan bir o'rtasida o'ralgan bo'ladi. Undan kelib chiqib ularning logarifmlari manfiy bo'ladi. Entropiya uchun ifodadan oldingi minus belgisi butun summani musbat qiladi.
. Berilgan n entropiya uchun entropiyamaksimal bo'lib, sinov davomida olingan barcha natijalar teng ehtimolga ega bo'lganda tengdir.
Dalil. Maxalliy funksiyani topish zarur


deb ayanchli shart bilan .

Bu maxrajni Lagrange ko'paytiruvchilari yordamida topish mumkin. Funksiyani tuzaylik

,

qaerda Lagrange faktori bo'lib, biz bu funksiyaning qisman derivatsiyalarini nolga tenglashtiramiz:

. (7)

Bu tenglamaga entropiya qiymatini almashtirish va differensifikatsiyani bajarish, biz olamiz

Qayerdan

Qo'shimcha sharte yordamida olamiz:

,

qayerdan .

Shunday qilib, u entropiya teng ravishda sinov natijalari bilan haddan tashqari qiymatga erishadi. Agar endi (7) ning ikkinchi derivatsiyasiga o'tsak, u holda


,


Endi qiymatlar uchun topilgan qiymatlarni entropiya formulasiga almashtirsak, olamiz


isbotlashlari kerak bo'lgan narsa edi.


3. Voqealardan birortasining qo'shma ro'y berishini boshdan kechirishdan oldin o'rtacha noaniqlik ifoda bilan berilgan


.

Bu holatda biz murakkab sinov (XY) haqida gapiramiz, unda ikkita soddaroq sinov (X) va (Y) turli natijalarning quyidagi ehtimoli bor:

, .

Bunday murakkab test ehtimollar bilan nm mumkin natijalarga ega , va . Misolikki zar bir vaqtning otishi bilan sinov, bu erda 36 mumkin natijalaridan biri ham haqiqatga keladi.

. Bu mulk shundan kelib chiqqan holda .
. Ikki hodisaning birikmali sodir bo'lishining noaniqligi ularning har birining noaniqliklarining yig'indisidan kam bo'ladi, ya'ni teng belgi esa faqat natijalar barcha i va j uchun mustaqil bo'lgandagina sodir bo'ladi.
Dalil. O'zboshimchalik bilan ijobiy raqamlar shunday bo'lsa ham


=1=1. Ko'rsataylikki, bunda
. (8)

Ochigʻi, bu munosabatdagi tenglik qachon =dir .

Keling, parametrlar sifatida e'tiborga olib, funksiyani qanday qiymatlarda aniqlaylik

minimal qiymatga ega. Allaqachon qo'llanilgan Lagrange ko'paytuvchi usuli yordamida tenglamalardan topamiz:

qiymatlarini F.ning oʻrniga qoʻyib,

Differensatsiyani bajarib olamiz . Agar endi bu tenglamaning ikki qismini k ga qarab xulosa qilsak, u holda

.

Qabul qilingan shartga ko'ra, =1, shuning uchun va, shuning uchun, =. Funksiyaning ikkinchi derivativi musbat ekanligini ko'rsatish oson . Shuning uchun qiymatlar = bu funksiyaning minimumini ta'minlaydi va shuning uchun boshqa barcha hollarda o'ng tomoni (8) chapdan kattaroq bo'ladi. Buni ko'rsatganimizdan so'ng, entropiyaning o'zi mulkini isbotlash uchun o'tishimiz mumkin.

Ehtimollik xossalaridan ma'lumki,


.

Agar endi entropiyalarni tegishli shaklning birliklari bo'yicha ko'paytirsak, olamiz:

; (9)
(10)
(9) va (10) qo'shgandan so'ng bizda


.

Qoyil endi .

Keyin


.

Bu tenglamalarni (8) bilan taqqoslash shuni ko'rsatadiki,

,

Va ular shuni isbotlashlari kerak edi.

6. .

Dalil. Y tajribaning shartli entropiyasini aniqlaylik as

. (11)

Ushbu qiymat har qanday ma'lum natijada voqealarning birortasi kursining o'rtacha noaniqligini beradi .

Ega bo'lish

Shartli entropiyaning pozitivligi ayanchli bo'lib, umumanentropiya uchun ham. Hodisalar statistik jihatdan butunlay bog'liq bo'lgan hollardagina nolga tenglik mumkin. Bunda har qanday i-th hodisasi x ning natijasi ma'lum bo'lsa, u holda bog'liq j-th hodisa y ning natijasi ham ehtimollik bilan ma'lum 1.

Agar voqealarni statistik jihatdan har qanday i va j uchun mustaqil bo'lsa, u holda . Aslida, bu holatda, natijasini bilish , biz hech qanday ma'lumotga ega bo'lmaymiz , ya'ni natijadagi o'rtacha noaniqlik natija haqida bilishimiz yoki bilmasligimiz bilan tengligicha qoladi .
Agar hodisalar statistik jihatdan bog'liq bo'lsa, u holda doim . Bu farq 5 va 6 xossalarini ko'rib chiqsak yaqqol namoyon bo'ladi.
Entropiyaning tavsiflangan xususiyatlarinoaniqlikning miqdoriy o'lchovi uchun intuitiv talablarga yaxshi mos keladi va bu tabiiydir, chunki entropiyaning ta'rifi oldingi paragrafda ehtimollik natijalari bo'yicha tajribalar natijasida olingan ma'lumotlar miqdori to'g'risida tuzilgan postulatlarga asoslangan .
Oldingi paragrafda axborot miqdorining formulasi kiritilgach, ekspertiza oʻtkazilgandan soʻng ekspertiza natijasiga noaniqlik yoʻq, deb taxmin qilingan. Biroq, ko'p sonli amaliy jihatdan qiziqarli holatlarda, noaniqlik hali ham qolmoqda. Faraz qilaylik, bizda kanal orqali uzatiladigan signallarni buzadigan shovqinlar ta'sir qiladigan ma'lumotlarni uzatish kanali mavjud. Misol uchun, hayvonlar yoki odamlarning reproduktiv tizimi, bu orqali DNK molekulalari ko'rinishidagi irsiy ma'lumotlar uzatiladi, turli jismoniy maydonlarTabiatni shovqin deb hisoblash mumkin, bu ba'zan uzatiladigan signallarning buzilishiga olib keladi, bu esa barcha oqibatlari bilan bog'laydi.
Shunday qilib, orqali uzatilgan signallarni va qabul qilingan signallarni bildiraylik . Uzatish paytida signalni tebranishi mumkinligi sababli, to'g'ri qaror qabul qilish uchun ehtimollardan foydalanish zarur. Ushbu ehtimoldan foydalangan holda, qabul qilingan signalga nisbatan qancha ma'lumot (o'rtacha) mavjudligini hisoblash mumkin .Agar biz berilgan signalning birontasiga yozishmalari haqida gapirayotgan bo'lsak , u holda noaniqlikning o'rtacha qiymati tasodifiy o'zgaruvchiga teng bo'ladi.


.

Miqdor ham tasodifiy bo'lib, uning qiymatlarining ehtimolliklari teng , o'rtacha qiymat esa har qanday , ya'ni to'g'ri keladigan yozishmalarning o'rtacha noaniqlik miqdorini aniqlaydi .

.

Agar uzatishboshlanishidan oldin signal uzatishning noaniqligini, signal olingandan keyin esa, qabul qilingan signalda uzatiladigan signalga nisbatan mavjud bo'lgan axborot miqdori tengligini hisobga olsak

. (12)

4 va 6 entropiya xossalari yordamida bizda

.

(12) da ushbu ifodani almashtirish, biz olamiz

.

O'z-o'zini o'rganishda taqdim etilgan oddiy transformatsiyalar (12) quyidagi ifodaga tarjima qilinadi:

. (13)

Axborotlar miqdorining bir qancha asosiy xossalari shu formuladan kelib chiqqan holda ergashadi. Keling, ularni ro'yxatga olaylik:

1. , ya'ni tasodifiy ob'ekt haqidagi tasodifiy ob'ekt tarkibidagi axborot miqdori tasodifiy ob'ekt haqidagi tasodifiy ob'ekt tarkibidagi axborot miqdoriga teng bo'ladi . Bu ma'lumotlardan keyin (13), agar biz buni nazarda tutsak .
2. , va teng belgi jismlar mustaqil bo'lganda sodir bo'ladi. Bu xossa entropiyaning 9-xossasidan va agar jismlar mustaqil bo'lsa, u holda ehtimollar ko'paytmasi teoremasiga ko'ra va (13) da logarifm belgisi ostida bitta bo'ladi, shunda ushbu formulaning to'g'ri qismi nolga teng bo'ladi.
3. , ya'ni entropiyani o'ziga nisbatan ob'ektlar tarkibidagi ma'lumotlar sifatida talqin qilish mumkin va undan keyin ob'ekt haqida olinadigan maksimal ma'lumot miqdorientropiyaga son jihatdan teng bo'ladi.
Keling, o'quvchilardan matematika testini qabul qilgandan so'ng o'qituvchi olgan ma'lumot miqdorini baholash bilan bog'liq gipotezali misolni ko'rib chiqaylik.
Shunday qilib, talaba kursning barcha materiallari orqali ishlamaganligi ehtimoli va agar butun kurs ishlab chiqilgan bo'lsa ehtimollik bilan belgilangan testdan o'tadi . Boshqa tomondan, agar u butun kurs ishlamagan bo'lsa ham, testdan o'ta olmasligi mumkin, agar u ishlagan bo'lsa (yuqorida aytib o'tilganidek , biz o'qituvchining kreditni qabul qilgandan so'ng olgan ma'lumotlari miqdori bilan qiziqamiz.
Keling, imtihonni topshirgan abituriyentlarning tasodifiy soni bilan, tayyorgarlik darajasi turlicha bo'lgan o'quvchilar soni bo'yicha (shuningdek, tasodifiy). Testdan o'tgan va muvaffaqiyatsizlikka uchragan o'quvchilarning tasodifiy soni bo'lsin. Testga tayyor va tayyor bo'lmagan abituriyentlarning tasodifiy soni bo'lsin. Misol shart-sharoitlaridan ko'rib turganingizdek


.

Bizni qiziqtirgan ma'lumotlarning miqdorini aniqlash uchun tegishli shartli ehtimollarni topish kerak, buto'liq ehtimollik formulasidan foydalanib amalga oshirilishi mumkin:

Yuqoridagi qo'shma ehtimollarni shu formulalarga almashtirsak, olamiz


va shunga ko'ra,
.

(13) da barcha oraliq natijalarni almashtirish, bizda

Tegishli ehtimolliklarga turli son qiymatlarini tayinlash, bitlardagi axborot miqdori bo'yicha hisob-kitob olish va tegishli testdan o'tish va qabul qilishda bunga mos ravishda xulq-atvor strategiyasini ishlab chiqish (mustaqil ish uchun mashq sifatida) ma'nosini anglatadi.

Xulosa qilib shuni ta'kidlash kerakki, entropiya va axborot miqdori tushunchalarichekli (sanab o'tilgan) holatlar to'plamiga ega bo'lgan diskret ob'ektlar uchun kiritildi va muhokama qilindi. Biroq, ularni uzluksiz tasodifiy o'zgaruvchilarga ham umumiylashtirish mumkin.

gan adabiyotlar.

1. 
   A.K.Kikoin, I.K.Kikoin. molekulyar fizika, T. “O‘qituvchi”, 1978 y.
   
2. 
   S.E.Frish, A.V.Timoreva. “Umumiy fizika kursi”It. T. “O‘qituvchi”, 1965 y.
   
3. 
   D.V.Sivuxin. “Umumiy fizika kursi”IIt. T. “O‘qituvchi”, 1984 y.
   
4. 
   O.Axmadjonov. “Fizika kursi” (Mexanika va molekulyar fizika) T. “O‘qituvchi”, 1985y.
   
5. 
   U.B.Jurayev. Molekulyar fizika.Samarqand. 1999y.
   
6. 
   R.V.Telesnin. “Molekulyarnaya fizika” M. Izd. «Vsshaya shkola»,1973 g.