Энтропия в теории информации

см. Энтропия) — по Шеннону, мера неопределенности ситуации (случайной величины) с конечным или с четным числом исходов, например, опыт, до проведения которого результат в точности неизвестен.