Entropie
[VI] ĐỘ PHÂN TÁN
[FR] Entropie
[EN]
[VI] Trong lý thuyết thông tin, entropie (từ của Shannon – 1949) chỉ lượng trung bình thông tin qui cho một thông điệp gồm tập hợp tín hiệu; lượng này là độ không chắc chắn khi mỗi tín hiệu xuất hiện. Nếu xác suất như nhau, thì độ không chắac là tối đa và bằng log (cơ số 2) của tổng các tín hiệu khả dĩ, trị số bằng bit. Ví dụ: nếu đưa cho 1 máy nhìn nhanh (tachistoscope) 10 con số lấy ngẫu nhiên, thì độ phân tán bằng log2 của 10, tức 3, 25 bit, song luôn luôn đưa ra cùng một con số (xác suất là 0 và 1 cho mọi con số khác) thì entropie là 0. Trong thống kê học, từ entropie có nghĩa là phân tán, dùng trong mọi trường hợp không xác định được khoảng cách giữa các khả năng của một biến số, và quan hệ giữa các khả năng đó.