Теорія інформації
Відео: Теорія інформації (курс лекції)
Основні поняття цієї теорії ввів в сорокових роках двадцятого століття К. Шеннон. Теорія інформації-це наука про процеси передачі, зберігання та отримання даних в природних, технічних і соціальних системах. У багатьох прикладних наукових областях, таких як інформатика, мовознавство, криптографія, теорія управління, обробка зображень, генетика, психологія, економіка, організація виробництва використовуються методи цієї науки.
Відео: Інформатика. Теорія інформації: Формула Шеннона. Центр онлайн-навчання «Фоксфорд»
В сучасних умовах з теорією інформації досить щільно пов`язана теорія кодування, яка розглядає найбільш загальні проблеми відповідності між сигналом і повідомленням, і теорія обробки сигналів, в якій вивчається квантування і відновлення сигналів, а також спектральний і кореляційний аналіз таких.
Теорія інформації розглядає базове поняття «інформація» здебільшого з кількісної боку, не враховуючи її цінність, а іноді і сенс. При такому підході сторінка тексту буде містити приблизно однаковий обсяг даних, який визначається лише числом знаків і символів, і не залежить від того, що, власне кажучи, там надруковано, хоча б і абсолютно безглуздий і хаотичний набір якихось символів.
Такий підхід правомірний, але тільки для моделювання систем зв`язку, так як вони повинні безпомилково передавати інформацію по каналах зв`язку, яка може бути представлена будь-яким набором знаків і знаків. Тоді само, коли треба враховувати цінність і сенс даних, кількісний підхід неприйнятний. Такі обставини накладають суттєві обмеження на сфери можливого застосування зазначеної теорії.
Основи теорії інформації припускають розгляд різних питань, в тому числі безпосередньо пов`язаних з передачею і прийомом даних. Основна схема зв`язку, яка розглядається в навчанні, виглядає наступним чином. Теорія інформації та кодірованіясчітает, що дані створюються джерелом повідомлень, який являє собою слова або набір слів, записаних літерами певного алфавіту. Джерелом повідомлення може бути текст на будь-яких природних або штучних мовах, людська мова, бази даних і деякі математичні моделі, створюють послідовність літер. Передавач перетворює повідомлення в сигнал, відповідний фізичну природу каналу зв`язку - середовищі для передачі сигналу. Під час проходження такого на нього можуть впливати перешкоди, що вносять спотворення в значення інформаційних параметрів. Приймач відновлює вихідне повідомлення за прийнятим з спотвореннями сигналу. Повідомлення у відновленому вигляді приходить до адресата - деякого особі або технічному пристрою.
Відео: Інформаційна ентропія
Джерело повідомлення має статистичний характер, тобто поява одного електронного листа визначається певною ймовірністю. Теорія інформації Шеннона вважає, що якщо ймовірність появи повідомлення дорівнює одиниці, тобто його появу достовірно і невизначеності немає, вважають, що воно не несе ніякої інформації.
Однією з важливих проблем теорія інформації вважає узгодження каналу зв`язку та інформаційних властивостей джерела повідомлень. Пропускна здатність визначається одиницею виміру в 1 біт в секунду.
Відео: теорія інформації
Однією з проблем систем зв`язку є перешкоди на шляху проходження корисного сигналу. Теорема Шеннона, до жаль, не дає нам конкретного методу боротьби з такими. Найпростіший метод усунення, який складається в багаторазовому повторенні повідомлень, не дуже ефективний, оскільки потрібні великі витрати часу на передачу інформації. Набагато більшу ефективність дає застосування кодів, які дозволяють виявити і виправити помилки передачі відомостей.
