ทฤษฎีสารสนเทศ - วิกิพีเดีย

# ทฤษฎีสารสนเทศ

### จากวิกิพีเดีย สารานุกรมเสรี

หน้านี้มีลิงก์ข้ามภาษาแทรกในบทความ

  สำหรับความหมายอื่น ดูที่ ทฤษฎีข้อมูล

ทฤษฎีสารสนเทศ (information theory) เป็นสาขาหนึ่งใน ทฤษฎีความน่าจะเป็น (probability theory) และ คณิตศาสตร์เชิงสถิติ (mathematical statistics) ขอบข่ายเนื้อหาของทฤษฎีนี้จะเกี่ยวข้องกับ สารสนเทศ (information), เอนโทรปีของสารสนเทศ (information entropy), ระบบการสื่อสาร (communication systems), การส่งข้อมูล (data transmission), ทฤษฎีอัตราการบิดเบือน (rate distortion theory), วิทยาการเข้ารหัสลับ (cryptography), สัดส่วนสัญญาณต่อสัญญาณรบกวน (signal-to-noise ratios), การบีบอัดข้อมูล (data compression), การแก้ความผิดพลาด (error correction), และหัวข้ออื่นๆที่เกี่ยวข้อง

คำแปลที่ตามราชบัณฑิต คือ "ทฤษฎีสารสนเทศ" นี้ มาจากคำว่า "information theory" ซึ่งคำว่า information เป็นคำเดียวกันกับที่หมายถึง สารสนเทศ แต่เนื่องจากความหมายของ information theory นั้นจะเกี่ยวเนื่องกับ เนื้อความในแง่ของสัญญาณ จึงอาจจะใช้คำว่า ทฤษฎีข้อมูล แทนความหมายของสารสนเทศ ที่เป็นในแง่ของเนื้อหาข่าวสาร และ สื่อตัวกลาง หรือสื่อบันทึกในบางกรณี

ตัวอย่างของการนำทฤษฎีสารสนเทศมาประยุกต์ใช้ ได้แก่ ZIP Files, เครื่องเล่นเอ็มพีสาม (MP3 Player), อินเตอร์เนตความเร็วสูงดีเอสแอล, อุปกรณ์สื่อสารไร้สาย อาทิ โทรศัพท์มือถือ วิทยุสื่อสาร, เครื่องเล่นซีดี (CD) และการศึกษาเกี่ยวกับหลุมดำ (en:black holes) เป็นต้น

## [แก้] ประวัติความเป็นมา

คลาวด์ อี. แชนนอน (Claude E. Shannon) (1916-2001) ได้รับการขนานนามว่าเป็น "บิดาแห่งทฤษฎีสารสนเทศ" ทฤษฎีของแชนนอนนี้ เป็นทฤษฎีแรกที่ได้ทำการวินิจฉัยปัญหาทางการสื่อสาร ในรูปของปัญหาคณิตศาสตร์เชิงสถิติ เป็นทฤษฎีที่ได้เปิดหนทาง ให้วิศวกรการสื่อสาร สามารถคำนวณขนาด หรือปริมาณสูงสุดของช่องสัญญาณ ออกมาในหน่วยบิต (bits)

ทฤษฎีสารสนเทศที่เรารู้จักอยู่ในทุกวันนี้ เป็นที่ยอมรับโดยทั่วไปว่า เริ่มต้นจากผลงานตีพิมพ์ของแชนนอนเรื่องทฤษฎีเชิงคณิตศาสตร์ของการสื่อสาร (The Mathematical Theory of Communication) ลงในวารสารทางเทคนิคเบลล์ซิสเต็ม (Bell System Technical Journal) ฉบับเดือนมิถุนายน ในปี พ.ศ. 2491 (ค.ศ. 1948) ซึ่งงานชิ้นนี้นั้น เป็นงานที่ได้สร้างเสริมต่อมาจาก ผลงานของ แฮร์รี นายควิสท์ (Harry Nyquist) และ ราล์ฟ ฮาร์ทลีย์ (Ralph Hartley)

ในงานของแชนนอน ที่ทำให้วิศวกรระบบสื่อสาร สามารถออกแบบระบบสื่อสารที่มีประสิทธิภาพสูงขึ้นได้นั้น แชนนอนได้นิยามเอนโทรปีของสารสนเทศเท่ากับ

สูตรนี้เมื่อนำไปใช้กับ แหล่งกำเนิดสารสนเทศ จะทำให้สามารถคำนวนขนาดของช่องสัญญาณ ที่จำเป็นต้องใช้ในการส่งข้อมูลนั้น ในรูปของรหัสฐานสองได้ โดยถ้าลอการิทึมในสมการข้างต้น เป็นฐานสอง เอนโทรปีที่วัดจะอยู่ในหน่วยบิตเช่นกัน แต่ถ้าเป็น ลอการิทึมฐานธรรมชาติ หรือ ฐาน e เอนโทรปีที่วัดจะอยู่ในหน่วย แนท (nats)[1] การวัดเอนโทรปีของแชนนอน เป็นการวัดขนาดของสารสนเทศซึ่งอยู่ในข้อความ

เมื่อไม่นานมานี้ ได้ปรากฏหลักฐานว่า เอนโทรปี นั้นได้ถูกค้นพบและนิยามในช่วงสงครามโลกครั้งที่สอง โดยแอลัน ทัวริง ที่ เบล็ทชลีย์ พาร์ค(Bletchley Park) ทัวริง ได้ตั้งชื่อปริมาณนี้ว่าน้ำหนักของหลักฐาน (weight of evidence) และใช้หน่วยวัดเป็น bans และ decibans (อย่าสับสนคำ "weight of evidence" นี้กับคำเดียวกันที่ใช้ในบทความทางด้านการอนุมานทางสถิติ หรือ statistical inference บัญญัติขึ้นโดย กู๊ด (I.J. Good) ซึ่งมีความหมายตรงกับคำที่ทัวริงใช้คือ "log-odds" หรือ "lods") ถึงแม้ว่า ทัวริง และ แชนนอน นั้นได้ทำงานร่วมกันในช่วงสงครามแต่ดูเหมือนว่าทั้งคู่นั้นต่างคนต่างพัฒนาแนวความคิดนี้ขึ้นมาด้วยตนเอง (สำหรับเอกสารอ้างอิงดู Alan Turing: The Enigma โดย แอนดรูว์ ฮอดจส์ Andrew Hodges)

## [แก้] ความสัมพันธ์กับ เอนโทรปี ของ อุณหพลศาสตร์

เอนโทรปีของสารสนเทศ ที่พัฒนาต่อมาจากแนวความคิดดั้งเดิมของ แชนนอน นั้นมีความสัมพันธ์อย่างใกล้ชิดกับ เอนโทรปี ของ อุณหพลศาสตร์

ลุดวิก โบลทซ์แมน (Ludwig Boltzmann และ วิลลาร์ด กิบส์ (Willard Gibbs) นั้นมีส่วนสำคัญในการพัฒนาทางด้าน อุณหพลศาสตร์เชิงสถิติ (statistical thermodynamics) งานของเขานั้นเกิดจากความพยายามในการที่จะนำคำ เอนโทรปี จาก ทฤษฎีสารสนเทศมาใช้ เอนโทรปี จากแนวความคิดของ ทฤษฎีสารสนเทศ และ แนวความคิดของ อุณหพลศาสตร์เชิงสถิติ นี้มีความสัมพันธ์กันที่ลึกซึ้ง ตัวอย่างหนึ่งที่ใช้แสดงความสัมพันธ์ระหว่าง สารสนเทศ และ เอนโทรปีของอุณหพลศาสตร์ คือ ปีศาจของแมกซ์เวลล์ (Maxwell's demon) ซึ่งเป็นปิศาจเฝ้าทวารควบคุมการเลือกผ่านของโมเลกุล เพื่อสร้างการไหลของพลังงานสวนทางกับเอนโทรปีของอุณหพลศาสตร์ ในการแหกกฎข้อที่สองของอุณหพลศาสตร์ แต่ในขณะเดียวกัน ในการคุมทวารนั้นปีศาจก็ต้องการข้อมูล ที่แม่นยำ ซึ่งทั้งสองนี้หักล้างกันไปทำให้ปิศาจไม่สามารถสร้างความได้เปรียบทางอุณหพลศาสตร์สวนกฎข้อที่สองได้

ปริมาณที่ใช้วัดข้อมูลที่มีประโยชน์ อีกปริมาณหนึ่งก็คือ สารสนเทศร่วม (mutual information) ซึ่งเป็นปริมาณที่บ่งบอกถึงความขึ้นแก่กันทางสถิติของตัวแปรสุ่ม(random variable)สองตัว นิยามของสารสนเทศที่เกิดร่วมกันของเหตุการณ์ X และ Y คือ

โดยที่ H(X,Y) คือ เอนโทรปีร่วม นิยามโดย

และ H(X | Y) คือ เอนโทรปีตามเงื่อนไข (conditional entropy) ของ X มีเงื่อนไขขึ้นกับค่าสังเกตุการณ์ของ Y ดังนั้น สารสนเทศร่วม สามารถตีความ หมายถึง ปริมาณของความไม่แน่นอนของค่า X ที่ลดลงเมื่อรู้ค่าที่แน่นอนของ Y และในทางกลับกัน

## [แก้] ดูเพิ่ม

- วิทยาการสารสนเทศ

## [แก้] เอกสารอ้างอิง

1. Thomas A. Cover, Joy A Thomas Elements of Information Theory John Wiley & Sons, 1991

| ทฤษฎีสารสนเทศ เป็นบทความเกี่ยวกับ คณิตศาสตร์ ที่ยังไม่สมบูรณ์ ต้องการตรวจสอบ เพิ่มเนื้อหา หรือเพิ่มแหล่งอ้างอิง คุณสามารถช่วยเพิ่มเติมหรือแก้ไข เพื่อให้สมบูรณ์มากขึ้น

ข้อมูลเกี่ยวกับ ทฤษฎีสารสนเทศ ในภาษาอื่น สามารถหาอ่านได้จากเมนู ภาษาอื่น ๆ ด้านซ้ายมือ

th:ทฤษฎีสารสนเทศ

ดึงข้อมูลจาก "http://th.wikipedia.org../../../%E0%B8%97/%E0%B8%A4/%E0%B8%A9/%E0%B8%97%E0%B8%A4%E0%B8%A9%E0%B8%8E%E0%B8%B5%E0%B8%AA%E0%B8%B2%E0%B8%A3%E0%B8%AA%E0%B8%99%E0%B9%80%E0%B8%97%E0%B8%A8.html".

หมวดหมู่: บทความที่มีลิงก์ไปภาษาอื่นในส่วนเนื้อหา | บทความเกี่ยวกับ คณิตศาสตร์ ที่ยังไม่สมบูรณ์ | วิทยาการสารสนเทศ

##### Views

- บทความ
- อภิปราย
- รุ่นปัจจุบัน

##### ค้นหา

##### ภาษาอื่น

- Deutsch
- Eesti
- Español
- فارسی
- Français
- Galego
- 한국어
- Ido
- Bahasa Indonesia
- Italiano
- עברית
- Latviešu
- Magyar
- Nederlands
- 日本語
- Norsk (bokmål)
- Polski
- Português
- Русский
- Svenska
- Українська
- 中文