Teoria informacji

W teorii Shannona komunikacja jest analizowana poprzez kodowanie, przesyłanie i odtwarzanie wiadomości w obecności zakłóceń. Ilość informacji wiąże się z niepewnością co do możliwego komunikatu, a nie z jego filozoficznym znaczeniem. Rzadki sygnał może przenosić więcej informacji statystycznej niż sygnał częsty, choć nie musi być bardziej użyteczny dla odbiorcy. Z tego powodu mechaniczne przenoszenie pojęć entropii na interpretację języka wymaga jawnego wyjaśnienia, jakie zdarzenia i prawdopodobieństwa zostały przyjęte.

Zbiór odczytów można uporządkować według chwil wystąpienia i częstotliwości, nie uzyskując jeszcze odpowiedzi na pytanie o przyczynę. W przypadku awarii piekarników sam komunikat o braku nagrzewania nie identyfikuje uszkodzenia, ponieważ różne przyczyny mogą prowadzić do podobnej obserwacji. Informacja statystyczna o częstości danego objawu jest odmienna od danych potrzebnych do postawienia diagnozy konkretnego urządzenia.

Szum może zmienić wiadomość, osłabić rozpoznawalność sygnału albo utrudnić jego właściwe odczytanie. W komunikacji technicznej skutkiem jest niepewność dekodowania, natomiast w rozmowie może pojawić się odmienna interpretacja tych samych słów. Te sytuacje są analogiczne wyłącznie na pewnym poziomie opisu. Nie wolno bez dodatkowych założeń utożsamiać szumu w kanale z wieloznacznością wynikającą z odmiennych kompetencji językowych.

Przy analizie usterek lodówek zapis temperatury, opis nietypowego dźwięku i czas występowania objawu stanowią różne kategorie danych. Każda z nich ma inną rozdzielczość, źródło błędu i związek z hipotezą diagnostyczną. Ich połączenie może ograniczać niepewność, ale nie gwarantuje jednoznacznego wyniku. Rzetelna interpretacja wymaga rozdzielenia obserwacji od wyjaśnienia oraz wskazania, czego nadal nie ustalono.

Entropia jest zdefiniowana dla określonego rozkładu prawdopodobieństwa. Zanim porówna się dwa rozkłady, trzeba ustalić wspólną przestrzeń zdarzeń i sposób szacowania częstości. Bez tego różnica liczbowa może wynikać z odmiennej klasyfikacji, a nie z istotnej zmiany systemu. W dyskusji o rozproszonych znaczeniach warto odróżniać formalny rachunek prawdopodobieństwa od opisowej metafory rozproszenia.

EVZ wykorzystuje język fluktuacji i dryfu, który może pełnić funkcję konceptualnego obrazu zmiany interpretacji. Nie jest jednak samoistnym pomiarem entropii semantycznej. Aby taki pomiar przedstawić, należałoby zdefiniować jednostki obserwacji, regułę kodowania znaczeń i zbiór danych. Dopiero wtedy możliwe byłoby obliczenie wyników i ocena ich niepewności.