# אנטרופיה (סטטיסטיקה)

### מתוך ויקיפדיה, האנציקלופדיה החופשית

יש לך הודעות חדשות (השווה לגרסה הקודמת).

בסטטיסטיקה ובתחומים נוספים, ובעיקר בתורת האינפורמציה, אנטרופיה היא מדד לגודלו האפקטיבי של מרחב התפלגות. את מושג האנטרופיה המתמטית פיתח קלוד שנון ב1948.

לדוגמה, הטלת מטבע מחזירה אחת מבין שתי אפשרויות, והטלת קוביה מחזירה אחת מבין שש אפשרויות. ברור שאת תוצאת ההטלה השנייה קשה יותר לחזות מאשר את זו הראשונה. חיבור התוצאות של שתי קוביות מחזיר אחת מבין 11 אפשרויות, שבהן 7 היא השכיחה ביותר, ואילו 2 או 12 נדירות ביחס. כאן לא די לומר שגודל מרחב ההסתברות הוא 11 - ההסתברויות אינן אחידות, ולכן לא ניתן במבט ראשון לקבוע האם תוצאת החיבור קשה יותר לחיזוי מאשר, נאמר, בחירה של ספרה אקראית בין 1 ל- 9 (בהתפלגות אחידה). הצורך להשוות באופן מדויק בין מרחבי התפלגות שונים קיים בכל תחומי המדע, ומדידת האנטרופיה באופן שיוצג להלן שכיחה בפיזיקה (ראו אנטרופיה (פיזיקה)), בתורת התקשורת והאינפורמציה, בביולוגיה (שם היא נקראת מדד שנון-ויבר) ובתחומים נוספים.

## [עריכה] הגדרה ואקסיומטיקה

אם X הוא מרחב התפלגות סופי, עם הסתברויות , אז האנטרופיה שלו מוגדרת לפי הנוסחה

  .

זהו ערך חיובי, המקיים , עם שוויון רק כאשר ההסתברויות שוות כולן זו לזו. במובן זה, האנטרופיה מייצגת את הלוגריתם של גודל המרחב, ולא את הגודל עצמו. על-פי אותה נוסחה בדיוק אפשר לחשב את האנטרופיה של משתנה מקרי (המקבל מספר סופי של ערכים). בשני המקרים, האנטרופיה אינה מתחשבת בטיבם של המאורעות השונים במרחב, אלא בהסתברות שהם יתרחשו.

את "מספר האפשרויות" שמייצג X אפשר למדוד בדרכים נוספות, כגון ספירת מצבים נאיבית (n, במקרה שלנו), ממוצע הרמוני של ההסתברויות (), ועוד. הסיבה לכך שמדד האנטרופיה נחשב למדד המתאים בהקשרים רבים כל-כך קשורה לכמה תכונות יסודיות שהוא מקיים.

כדי שניתן יהיה להסביר תכונות אלה, עלינו להזכיר מושג יסודי אחר בסטטיסטיקה: התפלגות מותנית. אם X ו- Y שני משתנים מקריים, אז עבור כל ערך אפשרי y של Y, אפשר לבנות משתנה מקרי חדש , "המשתנה המותנה", המייצג את הערכים שיכול לקבל X אם ידוע ש- Y קיבל את הערך y. כאשר הערך של Y אינו ידוע, מסמנים את המשתנה המותנה בסימון ; זהו, אם כך, משתנה מקרי, שהתפלגותו המדוייקת תלויה בערך שיקבל Y.

נניח ש- S הוא מדד לגודלו של מרחב התפלגות: לכל מרחב סופי X, קיים גודל . מתברר שמארבע האקסיומות הבאות נובע ש- S=H, כלומר, S מחושבת על-פי הנוסחה שהוצגה ל- H.

1. אדיטיביות. אם X ו- Y שני משתנים מקריים בלתי תלויים, אז . במלים אחרות, S של מכפלה ישרה של מרחבי התפלגות שווה לסכום ערכי S של שני המרחבים.
2. פיצול. אם X משתנה מקרי ו- Y פונקציה של X, אז , כאשר מייצג את התוחלת של במעבר על כל הערכים האפשריים של Y.
3. רציפות. הערך של S עבור משתנה ברנולי הוא פונקציה רציפה של p.
4. נורמליות. הערך של S עבור ההתפלגותה האחידה שלה שני מצבים, הוא 1.

כאמור, אנטרופית שנון, H, היא היחידה המקיימת ארבע דרישות אלה.

## [עריכה] שימושים

לאנטרופיה של שנון קשר הדוק ליכולת לדחוס אינפורמציה וליכולת ללמוד מהאינפורמציה באמצעות אלגוריתמים של למידה חישובית. מושגים נוספים הקשורים לאנטרופיה קשר הדוק הם אינפורמציה הדדית ואנטרופיה מותנית. לאנטרופיה יש גם קשר עמוק למושג סיבוכיות קולמוגורוב.

## [עריכה] ראו גם

- אנטרופיה (פיזיקה).

מקור: http://he.wikipedia.org../../../%D7%90/%D7%A0/%D7%98/%D7%90%D7%A0%D7%98%D7%A8%D7%95%D7%A4%D7%99%D7%94_%28%D7%A1%D7%98%D7%98%D7%99%D7%A1%D7%98%D7%99%D7%A7%D7%94%29.html

קטגוריות: סטטיסטיקה | תורת ההסתברות

##### Views

- ערך
- שיחה
- גרסה נוכחית

##### קהילה

- שער הקהילה
- עזרה
- דלפק ייעוץ
- מזנון
- יצירת קשר
- ספר אורחים

##### חיפוש

##### שפות אחרות

- English
- Deutsch
- Ελληνικά
- Español
- Français
- Magyar
- Italiano
- 한국어
- Nederlands
- Polski
- Русский
- Simple English
- Svenska
- ไทย
- Tiếng Việt
- 中文