Informaatioentropian käsite tarkoittaa arvon todennäköisyysmassafunktion negatiivista logaritmia. Näin ollen, kun tietolähteen arvo on pienemmällä todennäköisyydellä (eli kun tapahtuu pieni todennäköisyys), tapahtuma kuljettaa enemmän "informaatiota" ("yllätys") kuin silloin, kun lähdetiedolla on arvo, jolla on suurempi todennäköisyys..
Jokaisen tällä tavalla määritellyn tapahtuman välittämän tiedon määrästä tulee satunnaismuuttuja, jonka odotusarvo on tiedon entropia. Yleensä entropia viittaa häiriöön tai epävarmuuteen, ja sen informaatioteoriassa käytetty määritelmä on suoraan analoginen tilastollisen termodynamiikan määritelmän kanssa. IE:n käsitteen esitteli Claude Shannon vuoden 1948 artikkelissaan "A Mathematical Theory of Communication". Tästä tuli termi "Shannonin informaatioentropia".
Määritelmä ja järjestelmä
Tietonsiirtojärjestelmän perusmalli koostuu kolmesta elementistä: tietolähteestä, viestintäkanavasta ja vastaanottimesta,ja, kuten Shannon sanoo, "perusviestintäongelma" on se, että vastaanotin pystyy tunnistamaan, mitä dataa lähde on tuottanut kanavan kautta vastaanottamansa signaalin perusteella. Entropia tarjoaa absoluuttisen rajoituksen pakatun lähdedatan lyhyimmälle mahdolliselle häviötttömälle keskimääräiselle koodauspituudelle. Jos lähteen entropia on pienempi kuin viestintäkanavan kaistanleveys, sen tuottama data voidaan lähettää luotettavasti vastaanottimeen (ainakin teoriassa, ehkä laiminlyöden joitain käytännön näkökohtia, kuten tiedon lähettämiseen vaadittavan järjestelmän monimutkaisuus ja tiedon lähettämiseen kuluva aika).
Tiedon entropia mitataan yleensä bitteinä (kutsutaan vaihtoehtoisesti "shannoniksi") tai joskus "luonnollisissa yksiköissä" (nats) tai desimaalipisteissä (kutsutaan "dits", "bans" tai "hartleys"). Mittayksikkö riippuu logaritmin kannasta, jota käytetään entropian määrittämiseen.
Ominaisuudet ja logaritmi
Login todennäköisyysjakauma on hyödyllinen entropian mittana, koska se on additiivinen riippumattomille lähteille. Esimerkiksi kolikon reilun panoksen entropia on 1 bitti, kun taas m-tilavuuksien entropia on m bittiä. Yksinkertaisessa esityksessä log2(n) bittiä tarvitaan edustamaan muuttuja, joka voi saada yhden n arvoista, jos n on 2:n potenssi. Jos nämä arvot ovat yhtä todennäköisiä, entropia (bitteinä) on yhtä suuri kuin tämä luku. Jos jokin arvoista on todennäköisempi kuin muut, havainto, että se onmerkitys esiintyy, on vähemmän informatiivinen kuin jos jokin vähemmän yleinen tulos esiintyisi. Sitä vastoin harvinaisemmat tapahtumat tarjoavat lisää seurantatietoja.
Koska vähemmän todennäköisten tapahtumien havainnointi on harvempaa, ei ole mitään yhteistä, että epätasaisesti jakautuneesta tiedosta saatu entropia (jota pidetään keskimääräisenä informaationa) on aina pienempi tai yhtä suuri kuin log2(n). Entropia on nolla, kun yksi tulos on määritelty.
Shannonin tietoentropia kvantifioi nämä näkökohdat, kun taustalla olevien tietojen todennäköisyysjakauma tunnetaan. Havaittujen tapahtumien merkityksellä (viestien merkityksellä) ei ole merkitystä entropian määritelmässä. Jälkimmäinen ottaa huomioon vain tietyn tapahtuman näkemisen todennäköisyyden, joten sen sisältämä tieto on tietoa mahdollisuuksien taustalla olevasta jakautumisesta, ei itse tapahtumien merkityksestä. Tietoentropian ominaisuudet pysyvät samoina kuin edellä on kuvattu.
Tietoteoria
Tietoteorian perusajatus on, että mitä enemmän aiheesta tietää, sitä vähemmän tietoa siitä saa. Jos tapahtuma on erittäin todennäköinen, se ei ole yllättävää, kun se tapahtuu, ja siksi se tarjoaa vain vähän uutta tietoa. Toisa alta, jos tapahtuma oli epätodennäköinen, se oli paljon informatiivisempaa, että tapahtuma tapahtui. Siksi hyötykuorma on kasvava funktio tapahtuman käänteisestä todennäköisyydestä (1 / p).
Jos nyt tapahtuu lisää tapahtumia, entropiamittaa keskimääräistä tietosisältöä, jota voit odottaa, jos jokin tapahtumista tapahtuu. Tämä tarkoittaa, että nopan heittämisellä on enemmän entropiaa kuin kolikon heittämisellä, koska jokaisella kiteen lopputuloksella on pienempi todennäköisyys kuin kullakin kolikolla.
Ominaisuudet
Entropia on siis tilan arvaamattomuuden mitta tai, mikä on sama asia, sen keskimääräistä informaatiosisältöä. Saadaksesi intuitiivisen käsityksen näistä termeistä, harkitse esimerkkiä poliittisesta kyselystä. Yleensä tällaiset gallupit tapahtuvat, koska esimerkiksi vaalien tulokset eivät ole vielä tiedossa.
Toisin sanoen tutkimuksen tulokset ovat suhteellisen arvaamattomia, ja itse asiassa sen suorittaminen ja tietojen tutkiminen antaa uutta tietoa; ne ovat vain erilaisia tapoja sanoa, että kyselytulosten ennakkoentropia on suuri.
Ajattele nyt tapausta, jossa sama kysely suoritetaan toisen kerran pian ensimmäisen jälkeen. Koska ensimmäisen kyselyn tulos on jo tiedossa, toisen kyselyn tulokset ovat hyvin ennustettavissa, eikä tulosten tulisi sisältää paljon uutta tietoa; tässä tapauksessa toisen kyselyn tuloksen a priori entropia on pieni verrattuna ensimmäiseen.
Kolikonheitto
Ajattele nyt esimerkkiä kolikon heittämisestä. Olettaen, että hännän todennäköisyys on sama kuin päiden todennäköisyys, kolikonheiton entropia on erittäin korkea, koska se on erikoinen esimerkki järjestelmän informaatioentropiasta.
Tämä johtuu siitäettä on mahdotonta ennustaa, että kolikon lopputulos heitetään etuajassa: jos meidän on valittava, parasta, mitä voimme tehdä, on ennustaa, että kolikko laskeutuu pyrstöihin, ja tämä ennuste pitää paikkansa todennäköisyydellä 1 / 2. Tällaisella kolikonheitolla on yksi bitin entropia, koska on olemassa kaksi mahdollista lopputulosta, jotka tapahtuvat yhtä suurella todennäköisyydellä ja todellisen tuloksen tutkiminen sisältää yhden bitin tietoa.
Päinvastoin, kolikon heittäminen molemmilla puolilla ilman häntää ja ilman päitä on nolla entropiaa, koska kolikko osuu aina tähän merkkiin ja lopputulos voidaan ennustaa täydellisesti.
Johtopäätös
Jos pakkausmenetelmä on häviötön, eli voit aina palauttaa koko alkuperäisen viestin purkamalla, pakatussa viestissä on sama määrä tietoa kuin alkuperäisessä, mutta se lähetetään vähemmän merkkejä. Eli siinä on enemmän tietoa tai suurempi entropia per merkki. Tämä tarkoittaa, että pakatussa viestissä on vähemmän redundanssia.
Karkeasti sanottuna Shannonin lähdekoodin koodauslause sanoo, että häviöttömällä pakkausmenetelmällä ei voida vähentää viestejä keskimäärin niin, että niissä on enemmän kuin yksi bitti informaatiota viestibittiä kohden, mutta mikä tahansa arvo, joka on pienempi kuin yksi bitti informaatiota bittiä kohden, voidaan saavuttaa..viestit käyttäen asianmukaista koodausmenetelmää. Viestin entropia bitteinä kertaa sen pituus on mitta siitä, kuinka paljon yleistä tietoa se sisältää.
