Update Peter Norvig's spell checker to suggest words based on probability

[bact]

• enhancement based on suggestion in issue Spell-Correct: Probability of all corrected words are the same #90
• use word frequencies from Thai National Corpus (with some filtering)

ใช้วิธีดึง (คำ, ความถี่) มาจาก Thai National Corpus (TNC) เพื่อสร้างรายการคำสำหรับคำนวณความน่าจะเป็น

คำ "สะกดผิด" ใน TNC และวิธีแก้ไข

เนื่องจาก TNC มีขนาดใหญ่มาก จึงมีคำที่อาจไม่ได้เป็นคำที่พบทั่วไป หรือใช้ตัวสะกดตามพจนานุกรม

• วิธีหนึ่ง (1) ที่เป็นไปได้เพื่อแก้ไขปัญหา คือเอารายการคำจาก TNC มาเทียบกับรายการคำที่เรามั่นใจว่าสะกดถูกแน่ๆ แล้วดึงมาเฉพาะคำที่มีอยู่ในทั้ง 2 รายการ แต่ก็จะทำให้จำนวนคำที่ได้น้อยลง (เป็นไปได้ว่า precision จะสูงขึ้น แต่ recall จะต่ำลง)

• อีกวิธี (2) คือ ไปใช้ Thai Textbook Corpus (TTC) แทน ซึ่งจะเป็นคำที่เป็นทางการกว่า

• วิธีที่ใช้ในปัจจุบัน (3) คือ ใช้ TNC ตามที่ดึงมาได้ แล้วกรองเอาคำจำนวนหนึ่งออกไป เพื่อให้มีเฉพาะคำที่น่าจะเป็นประโยชน์ต่อการแก้ไขคำผิด

  • คำมีความถี่ต่ำกว่าหรือเท่ากับ 1 ตัดทิ้ง
  • คำยาวกว่า 40 ตัวอักษร ตัดทิ้ง
  • คำมีตัวเลข ตัดทิ้ง
  • คำมีอักษรนอกจากภาษาไทยและจุด ตัดทิ้ง
  • คำเริ่มต้นด้วยจุด ตัดทิ้ง

• วิธีที่ (3) นี้ จากการดูด้วยตาคร่าวๆ พบว่าคำที่มีความถี่เท่ากับ 2 มีทั้งคำที่สะกดผิดและถูก แต่โดยรวมแล้วคุณภาพน่าจะใช้ได้ โดยคาดหวังว่าคำที่สะกดถูกที่มี edit distance เดียวกันจะมีความถี่มากกว่า ทำให้ปัญหาไม่น่าจะมีมากนัก

  • อย่างไรก็ตาม ถ้าเป็นคำที่มี exact match ใน corpus ตัว spell() จะคืนค่านั้นค่าเดียวทันที โดยไม่สนใจ edit distance เช่น คำว่า "กัต" (ปรากฏใน TNC 115 ครั้ง)

ตัวอย่างคำและความถี่ที่พบใน TNC:

๒๕๔๘ 452
๑๕๐ 441
๒๕๔๗ 372
_______________________________ 48
วิทยาศาสตร์เทคโนโลยีและสิ่งแวดล้อม 10
งงงงงงงงงงงงงงงงงงงงงง 2
ม่อต้อ 2
ตลกหัวเราะ 2
เทรอซ์ 2
ยุกติธรรม 2
โหรสพ 2
ยยยยยยยยยยยยยยย 2
ปากขม 2
เจริญสมณธรรม 2
ลองเพลย์ 2
เตตียม 2
นั่งทางใน 2
ลิคเตนสไตน์ 2
มวยหมู่ 2
ข้าวนก 2
กะบ่อนกะแบ่น 2
เสิรฟ์ 2
66-70-73 2
Directors 2
.สำหรับชาวไทยมุสลิมในสี่จังหวัดภาคใต้ซึ่งยิ่งด้อยการศึกษาเป็นส่วนมากไม่ใช่เป็นเรื่องง่าย 1
.ได้ชี้แจงกับกลุ่มการเมืองว่าช่วงเวลา 1
.ต.ท.ทักษิณและให้การต้อนรับรัฐบาลของตนถึงสองครั้งสองคราทำไมการเดินทางของ 1

[wannaphong]

ฟังก์ชันนี้จะเก็บไว้ไหมครับ ?

[bact]

ต้องใช้ _prob() สำหรับเป็น sort key ใน correction() ครับ ต้องเก็บไว้ครับ

[wannaphong]

ผมกด Merge ได้เลยไหมครับ @bact

[bact]

@wannaphongcom ถ้ารีวิวแล้วโอเค merge ได้เลยครับ

ผมเพิ่มคลาส NorvigSpellChecker เข้าไป เพื่อให้เพิ่มพจนานุกรมได้เองครับ

[bact]

ขอบคุณครับ :)