Nyomtatás

Miskolci Egyetem - Gépészmérnöki és Informatikai Kar

TANTÁRGYI TEMATIKA

Információ- és kódelmélet (ZV1); MSc (Nappali)

Tantárgy neve:
Információ- és kódelmélet (ZV1)
Tantárgy Neptun kódja:
Nappali: GEMAK122M
Tárgyfelelős intézet:
MAT - Matematikai Intézet
Tantárgyelem: A
Tárgyfelelős: Dr. Fegyverneki Sándor - egyetemi docens
Közreműködő oktató(k):
Javasolt félév: 2 Előfeltétel:
Óraszám/hét:
Előadás (nappali): 3
Gyakorlat (nappali): 1
Számonkérés módja: kollokvium
Kreditpont: 5Munkarend: Nappali
Tantárgy feladata és célja:
Az információmennyiség mérésének megismerése. Az információtovábbítás alapvető modelljeinek vizsgálata.
Tudás: Az informatikai szakmán belül, a specializációtól függően mélyebb elméleti és gyakorlati ismeretekkel rendelkezik az alábbiak közül egy vagy néhány területen: szoftvertervezés, rendszerszimuláció és -modellezés, kommunikációs hálózatok, mobil- és erőforrás-korlátos alkalmazások, számítógépes grafika és képfeldolgozás, kritikus és beágyazott rendszerek, médiainformatika, IT-biztonság, párhuzamos rendszerek, intelligens rendszerek, számításelmélet, adatbázisok.
Képesség: Az információtechnológia eszközeit és formális módszereit készség szinten használja.
Attitűd: Munkáját kreatívan, rugalmasan végzi, a problémákat felismeri és azokat intuícióra és módszerességre építve oldja meg.
Autonomia és felelősség: Szakmai kompetenciái alapján egyaránt alkalmas működéskritikus és érzékeny információkat tartalmazó rendszerek fejlesztésére és üzemeltetésére.
Tárgy tematikus leírása:
Az egyirányú hírközlési rendszer általános modellje. Az információmennyiség mérése: Hartley-féle értelmezése. Az esemény Shannon-féle információmennyisége, Jensen-egyenlőtlenség, az entrópia tulajdonságai. I-divergencia, kölcsönös információmennyiség, McMillan-felbontási tétel, a feltételes entrópia. Kódoláselméleti fogalmak, forráskódolás: stacionaritás, betűnkénti és blokkonkénti kódolás, emlékezet-nélküliség, egyértelmű dekódolhatóság. Keresési stratégiák és prefix kódok. Kraft-Fano egyenlőtlenség. Hatásfok, McMillan-dekódolási tétel. Shannon-Fano-, Gilbert-Moore-, Huffman-féle kód. Az optimális kód tulajdonságai, a kódfához kapcsolódó tulajdonságok. Stacionér forrás entrópiája, a zajmentes hírközlés alaptétele. Lempel-Ziv kódolás és változatai. Csatornakapacitás: emlékezetnélküli eset, zajmentes eset, bináris szimmetrikus csatorna, zajos csatorna típusok. Zajmentes nem azonos átviteli idő esete: információ átviteli sebesség, csatornakapacitás, optimális eloszlás. Az átlagos időhossz, Kraft-Fano egyenlőtlenség. Általános zajos csatorna esete: négyzetes átviteli mátrix, Arimoto-Blahut algoritmus, általános eset additív költséggel. McMillan-felbontási tétel és a zajos kódolás kapcsolata Zajos csatorna kódolása:, (k,n)-kód, , maximum likelihood dekódolás, csoportkód, lineáris kód, szisztematikus kód, szindróma, mellékosztályok és szindrómák kapcsolata, mellékosztály és dekódolási táblázat, Speciális kódolások Analóg források és csatornák: Entrópia, I-divergencia. Speciális eloszlások entrópiája. Csatornakapacitás. Entrópia maximalizálás, véges szórású eset.
Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Nappali):
A félévvégi aláírás feltétele: A 7. ill. a 13. héten egy-egy elégséges szintű zárthelyi dolgozat megírása. A zárthelyi időtartama 60 perc és a megoldási szint elégséges, ha legalább egy feladat teljes megoldását tartalmazza és legalább 50% teljesítése. Ha nem sikerül, akkor pótlás az utolsó héten a megfelelő tananyagrészekből.
Félévközi számonkérés módja és az aláírás megszerzésének feltétele (Levelező):
Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Nappali):
A kollokvium írásbeli. Kérdezhető elméleti és gyakorlati tananyag, ami az órákon elhangzott. Az írásbeli vizsgán (időtartam 90 perc) 8 elméleti kérdés (1-1 pont) és 4 feladat (2-2 pont) van. Kiértékelés: 0-5 pont (elégtelen), 6-7 pont (elégséges), 8-9 pont (közepes), 10-11 pont (jó), 12-16 pont (jeles), ha az elméleti kérdésekből legalább 4, a feladatokból pedig legalább 2 pontja van, egyébként elégtelen.
Gyakorlati jegy / kollokvium teljesítésének módja, értékelése (Levelező):
Kötelező irodalom:
1. Fegyverneki Sándor: Információelmélet elektronikus jegyzet, progmat.hu honlap.
2. Györfi L., Győri S., Vajda I.: Információ- és kódelmélet. Typotex, Budapest, 2002.
3. Cover, T.M., Thomas, J.A.: Elements of Information Theory. Wiley, New York, 1991.
Ajánlott irodalom:
1.Csiszár I., Fritz J.: Információelmélet. Tankönyvkiadó, Bp. 1980. (ELTE jegyzet)
2. Ködmön J.: Kriptográfia, ComputerBooks, Budapest, 1999/2000
3. Pieprzyk, J., Hardjono, T., Seberry, J.: Fundamentals of Computer Security. Springer, Berlin, 2003
4.MacKay, D.: Information Theory, Inference and Learning Algorithms. Cambridge University Press, Cambridge, 2003 Letölthető: http://www.inference.phy.cam.ac.uk/itprnn/book.pdf