Mübariz Xəlilov, Nazlı Həsənova

Beləliklə, informasiya nəzəriyyəsində entropiya- müəyyən mənbədən 
alınan məlumatların qeyri-müəyyənlik ölçüsüdür. 
Ehtimal nəzəriyyəsindən məlumdur ki, sınağın yalnız iki eyni ehtimallı 
nəticəsindən birinin baş vermə ehtimalı ½, ümumiyyətlə sınaqda eyni imkanlı 
N nəticədən birinin baş vermə ehtimalı isə 1/N-ə bərabərdir. Sınağın qeyri-
müəyyənliyinin ədədi ölçüsünü (
N
sayda eyni ehtimall
ı) elə seçmək lazımdır 
ki, o baş verə biləcək hadisələrin miqdarına mütənasib olsun. Belə bir ölçü 
kimi 
N
-
in özünü götürmək olardı, lakin 
N
=1 olduqda qeyri-
müəyyənlik 
olmur, yəni onun ölçüsü sıfra bərabər olur. Başqa sözlə 
P
-
nin qiyməti 
kiçildikcə, informasiya artmalı və 
P
=1 olduqda sıfra bərabər olmalıdır. Yəni 
hadisə vahid ehtimalla baş verərsə, orada heç bir informasiya olmayacaqdır. 
Belə bir mühakimə bizi informasiyanın miqdarını ölçmək üçün (
P
-
ehtimalının 
loqarifmi)
N
H
log
=
= -
log P düsturuna gətirir. 
•
Burada 
H
baxılan sınağın qeyri-müəyyənliyinin ədədi ölçüsü və ya 
sınağın 
entropiyası
adlanır. Deməli, 
H
həm də sınaqların keçirilməsindən asılı 
olaraq informasiyanın kəmiyyət ölçüsüdür. 
N
sayda bərabər ehtimallı hadisələrin hər birinin «payına» ümumi qeyri-
müəyyənliyin
N
N
log
1
- 
hissəsi düşür. 
Əgər 
i
-
ci hadisənin baş verməsi ehtimalını 
i
P
-
ilə (
N
i
...
2
,
1
=
) işarə etsək, 
N
P
i
1
=
olar və informasiyanın ölçü (qeyri-müəyyənliyin ədədi ölçüsünün) 
düsturu 
∑
=
=
N
i
i
i
P
P
H
1
1
log
(*) 
şəklində olar. Adətən burada loqarifmin əsası 2 götürülür. Aydındır ki, iki 
eyni ehtimallı halda, N=2 olduqda 
1
=
H
olur. 
Beləliklə, iki mümkün qiymətdən hər birini 0,5 ehtimalı ilə ala bilən 
təsadüfi kəmiyyətin entropiyası vahidə bərabərdir. Bu entropiya 
«bit»
adlanır. 
(*) düsturu sınaq zamanı baş vermə ehtimalları müxtəlif olan hadisələrin 
informasiya ölçüsünü əks etdirir. 
Misal: Fərz edək ki, qutuda 10 kürə vardır və onlardan biri qara, 9-u isə 
ağdır. Bizi qutudan təsadüfən çıxarılmış kürənin qara rəngli olması 

---

11 
maraqlandırır. Ona görə də qara kürənin çıxarılma ehtimalı 
10
1
1
=
P
, ağ kürənin 
çıxarılma ehtimalı isə 
10
9
2
=
P
- dur. 
Bu halda 
informasiyanın miqdarı 
469
,
0
9
10
log
10
9
10
log
10
1
2
2
=
+
⋅
=
H
(bit) olar. 
Bəs entropiya anlayışı rabitə kanalında EHM-lərin köməyilə informasiya 
ötürülməsində necə əks olunur? 
İnformasiya mənbədən istifadəçiyə ötürülərkən hansı formadasa fiksə 
olunmalı, əks olunmalıdır. Belə əks olunma müxtəlif simvolların köməyilə 
həyata keçirilir. Sonda informasiyanı ötürmək üçün istifadə olunan bu cür 
nizamlı simvollar toplusu – əlifba və əlifbanın simvollar ardıcıllığı isə - söz 
yaradır. Məlumatlar isə sözlər şəklində əks olunur.
İnformasiyanın saxlanılması, ötürülməsi və emalı üçün bir formadan daha 
rahat olan başqa bir formaya çevrilməsi prosesi informasiyanın