How to Read a Research Paper - อ่านงานวิจัยอย่างไรให้รู้เรื่อง ThaiKeras and Kaggle 14 กค. 2563
สวัสดีครับสองสัปดาห์นี้ทีมงานได้ถูกบังคับให้อ่านเปเปอร์งานวิจัยหลายฉบับ เนื่องจากไปเป็นอาสาสมัครของ Conferences ICML ที่กำลังจัดอยู่ตอนนี้ ในบรรดาเพื่อนๆ อาสาสมัครได้มีการแชร์กันว่าเราจะอ่านงานยากๆ เหล่านี้ยังไงให้รู้เรื่อง อนึ่ง นักศึกษาและอาจารย์หลายท่านปีหนึ่งต้องอ่านเปเปอร์หลายร้อยชั่วโมงถ้ากระบวนการอ่านงานวิจัยไม่มีประสิทธิภาพก็จะทำให้เสียเวลาไปโดยเปล่าประโยชน์ ซึ่งเรื่องเทคนิคการอ่านเปเปอร์นี้กลับไม่ค่อยมีคนพูดถึง
จากนั้นมีเพื่อนอาสมัครคนหนึ่งแนะนำบทความ Classic ของ Prof. Keshav ที่มีชื่อว่า "How to read a Research Paper" เลยอยากนำมาแชร์ให้เพื่อนๆ หรือน้องๆ ที่ต้องอ่านงานยากๆ เป็นประจำครับ
https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf
โดยไอเดียหลักก็คือ "การอ่าน 3 รอบ" นั่นคืออจ. เผยเทคนิคว่าถ้าอยากเข้าใจเปเปอร์ให้กระจ่างแจ้งควรต้องอ่านอย่างน้อย 3 รอบ โดยเริ่มจากหยาบมากๆ ในรอบแรก ไปเป็นละเอียดมากๆ ในรอบที่ 3 ครับ
รอบแรก
อ่านชื่อ อ่านบทคัดย่อ (abstract) อ่าน intro อ่านแค่ชื่อ Section ต่างๆ และบทสรุป ก็พอ ใช้เวลาประมาณ 5-10 นาที โดยใน 10 นาทีนี้เราจะต้องได้ไอเดีย 5C หลักของเปเปอร์นั่นคือ
- Category : งานนี้ทำหัวข้อเกี่ยวกับอะไร
- Context : เกี่ยวข้องกับงานอื่นๆ ด้านไหนบ้าง
- Correctness : ดูแล้วสมมติฐานต่างๆ ปัญหาต่างๆ สมเหตุผลหรือไม่
- Contributions : งานนี้ทำอะไรกันแน่ (มีประโยชน์อะไร)
- Clarity : เขียนรู้เรื่องหรือไม่
ซึ่งใช้เวลาแค่ 10 นาทีเราจะได้ข้อมูล Bird-eye-view ของเปเปอร์นี้ในระดับที่เราจะตัดสินใจได้ว่า จะอ่านต่อดีหรือไม่ ในเปเปอร์ของงานที่อยู่นอกความเชี่ยวชาญเรา (แต่อาจต้องใช้ในวันหน้า) อ่านแค่รอบแรกนี้ก็เพียงพอครับ
รอบสอง
ถ้าตัดสินใจว่าจะลุยต่อ รอบนี้เราจะอ่านแบบตั้งใจมากๆ ทำความเข้าใจทุกรูป (Figures) และทุกตาราง (อาจารย์ว่าใช้เวลาราว 1 ชม. สำหรับผมหลายชม.ครับ) แต่จะข้ามพวกรายละเอียดยากๆ เช่น การพิสูจน์ทางคณิตศาสตร์ ไปก่อน โดยจุดสำคัญอีกจุดคือให้ดู References ทั้งหลายของเปเปอร์ ว่าเกี่ยวข้องกับงานไหนที่เรารู้จักดีหรือไม่ เกี่ยวข้องอย่างไร และเป็นโอกาสที่จะได้เจองานดีๆ ที่เราอาจจะพลาดไป
โดยถ้าเราอ่านรอบสองแล้วเรายังรู้สึกไม่เข้าใจอาจเป็นเพราะเนื้อหาอาจเป็นเรื่องใหม่สำหรับเรา และ
ถ้างานนั้นดีจริงเราก็จะตัดสินใจได้ว่าจะไปรอบสามหรือไม่
รอบสาม
ถ้าตัดสินใจมาต่อรอบสาม เตรียมใจเจองานโหดไว้เพราะนั่นหมายถึงเราตั้งเป้าว่าจะงานนี้มีคุณค่าพอที่เราต้องเข้าใจมันอย่าง 100% รอบนี้อจ.บอกว่าเราต้องทำตัวเหมือนจะ "virtually re-implement the paper" นั่นคือให้เราสมมติตัวเองว่าเราเป็นเจ้าของงานนี้ ต้องสร้างงานวิจัยนี้ขึ้นมาเอง เราจะทำอย่างไร
ให้ตั้งคำถามกับทุกสมมติฐานในเปเปอร์ว่าสมเหตุผลหรือไม่ และให้คิดว่าถ้าเป็นเราต้องมาเจอปัญหาย่อยๆ แต่ละปัญหาในเปเปอร์เองเราจะแก้มันอย่างไร ถ้ามีทฤษฎีคณิตศาสตร์มันจำเป็นต้องมีหรือไม่ ขอบเขตเหมาะสมหรือไม่ และดูวิธีการพิสูจน์อย่างละเอียด และถ้าเราคิดวิธีพิสูจน์ของเราเองได้ก็จะยิ่งดี
ในขั้นนี้ อจ. Andrew Ng ก็แนะนำคล้ายๆ กันในการทำความเข้าใจงานด้าน Machine Learning อย่างละเอียดว่า ในการทดลองทุกอย่างบนเปเปอร์นั้น ให้เรา re-produce ขึ้นมาให้ได้ โดยในสมัยนี้โชคดีถ้างานนั้นมีโปรแกรมให้ (เช่นบน GitHub) ให้เราทำความเข้าใจโค้ดในระดับที่ปรับแก้สมมติฐานต่างๆ ได้ และรันการทดลองในเปเปอร์ด้วยตัวเองได้ และตรวจสอบผลลัพธ์ว่าสอดคล้องกับเปเปอร์หรือไม่
ในรอบสามนี้อาจใช้เวลาเป็นหลายชั่วโมง (ในมุมของอาจารย์ สำหรับตัวผู้เขียนปกติขั้นตอนนี้ใช้หลายวันหรืออาจเป็นสัปดาห์เลยครับ แหะๆ :p) แต่ก็จะทำให้เราเข้าใจงานในระดับลึกซึ้งเลยครับ
เพิ่มเติม
ในยุค digital นี้โชคดีมากๆ เรามีตัวช่วยให้เข้าใจเปเปอร์ต่างๆ มากขึ้นไม่ว่าจะเป็น blog ชื่อดังต่างๆ ที่ย่อยเรื่องยากมากๆ ให้อ่านเข้าใจได้ง่ายๆ เช่น
https://jalammar.github.io/illustrated-transformer/
หรือ
https://lilianweng.github.io/lil-log/
หรือใน medium.com ซึ่งมีคนเก่งๆ มากมายอยากจะเล่าเปเปอร์ต่างๆ ให้เราฟังอย่างง่ายๆ เช่น https://towardsdatascience.com/machine-learning/home นอกจากนี้ยังมี youtube channels อีกมากมายที่นำงานวิจัยใหม่ๆ มากๆ มาแกะให้ฟังแบบละเอียดเลยครับ เช่น
Yannic Kilcher channel (เล่าละเอียด) https://www.youtube.com/c/YannicKilcher/videos
หรือ 2-minutes papers (เล่าหยาบๆ)
https://www.youtube.com/user/keeroyz
เป็นต้น นอกจากนี้ดีที่สุดถ้าเจ้าของผลงานนั้นๆ เขียนบล็อกซึ่งเราสามารถเข้าไปดูได้ที่เว็บไซต์ส่วนตัว หรือแชร์ video presentation ซึ่งเราสามารถหาได้บน youtube จากชื่อของ papers และ conference ที่ผลงานชิ้นนั้นถูกตีพิมพ์ครับ
ถ้าเพื่อนๆ มี blogs หรือ youtube channels ดีดี อยากแนะนำเพื่อนๆ ท่านอื่นๆ ต่อก็สามารถโพสต์บอกได้เลยนะครับผม
ฟังอีกวิธีของนักวิจัยรุ่นใหม่จาก Stanford ครับ
