How to Read a Research Paper - อ่านงานวิจัยอย่างไรให้รู้เรื่อง  

  RSS
The Neural Engineer
(@neural-engineer)
EfficientNet

How to Read a Research Paper - อ่านงานวิจัยอย่างไรให้รู้เรื่อง ThaiKeras and Kaggle  14 กค. 2563

สวัสดีครับสองสัปดาห์นี้ทีมงานได้ถูกบังคับให้อ่านเปเปอร์งานวิจัยหลายฉบับ เนื่องจากไปเป็นอาสาสมัครของ Conferences ICML ที่กำลังจัดอยู่ตอนนี้ ในบรรดาเพื่อนๆ อาสาสมัครได้มีการแชร์กันว่าเราจะอ่านงานยากๆ เหล่านี้ยังไงให้รู้เรื่อง อนึ่ง นักศึกษาและอาจารย์หลายท่านปีหนึ่งต้องอ่านเปเปอร์หลายร้อยชั่วโมงถ้ากระบวนการอ่านงานวิจัยไม่มีประสิทธิภาพก็จะทำให้เสียเวลาไปโดยเปล่าประโยชน์ ซึ่งเรื่องเทคนิคการอ่านเปเปอร์นี้กลับไม่ค่อยมีคนพูดถึง

จากนั้นมีเพื่อนอาสมัครคนหนึ่งแนะนำบทความ Classic ของ Prof. Keshav ที่มีชื่อว่า "How to read a Research Paper" เลยอยากนำมาแชร์ให้เพื่อนๆ หรือน้องๆ ที่ต้องอ่านงานยากๆ เป็นประจำครับ

https://web.stanford.edu/class/ee384m/Handouts/HowtoReadPaper.pdf

โดยไอเดียหลักก็คือ "การอ่าน 3 รอบ" นั่นคืออจ. เผยเทคนิคว่าถ้าอยากเข้าใจเปเปอร์ให้กระจ่างแจ้งควรต้องอ่านอย่างน้อย 3 รอบ โดยเริ่มจากหยาบมากๆ ในรอบแรก ไปเป็นละเอียดมากๆ ในรอบที่ 3 ครับ

 

รอบแรก

อ่านชื่อ อ่านบทคัดย่อ (abstract) อ่าน intro อ่านแค่ชื่อ Section ต่างๆ และบทสรุป ก็พอ ใช้เวลาประมาณ 5-10 นาที โดยใน 10 นาทีนี้เราจะต้องได้ไอเดีย 5C หลักของเปเปอร์นั่นคือ

  1. Category : งานนี้ทำหัวข้อเกี่ยวกับอะไร
  2. Context : เกี่ยวข้องกับงานอื่นๆ ด้านไหนบ้าง
  3. Correctness : ดูแล้วสมมติฐานต่างๆ ปัญหาต่างๆ สมเหตุผลหรือไม่
  4. Contributions : งานนี้ทำอะไรกันแน่ (มีประโยชน์อะไร)
  5. Clarity : เขียนรู้เรื่องหรือไม่

 

ซึ่งใช้เวลาแค่ 10 นาทีเราจะได้ข้อมูล Bird-eye-view ของเปเปอร์นี้ในระดับที่เราจะตัดสินใจได้ว่า จะอ่านต่อดีหรือไม่ ในเปเปอร์ของงานที่อยู่นอกความเชี่ยวชาญเรา (แต่อาจต้องใช้ในวันหน้า) อ่านแค่รอบแรกนี้ก็เพียงพอครับ

 

รอบสอง

ถ้าตัดสินใจว่าจะลุยต่อ รอบนี้เราจะอ่านแบบตั้งใจมากๆ ทำความเข้าใจทุกรูป (Figures) และทุกตาราง (อาจารย์ว่าใช้เวลาราว 1 ชม. สำหรับผมหลายชม.ครับ) แต่จะข้ามพวกรายละเอียดยากๆ เช่น การพิสูจน์ทางคณิตศาสตร์ ไปก่อน โดยจุดสำคัญอีกจุดคือให้ดู References ทั้งหลายของเปเปอร์ ว่าเกี่ยวข้องกับงานไหนที่เรารู้จักดีหรือไม่ เกี่ยวข้องอย่างไร และเป็นโอกาสที่จะได้เจองานดีๆ ที่เราอาจจะพลาดไป

โดยถ้าเราอ่านรอบสองแล้วเรายังรู้สึกไม่เข้าใจอาจเป็นเพราะเนื้อหาอาจเป็นเรื่องใหม่สำหรับเรา และ

ถ้างานนั้นดีจริงเราก็จะตัดสินใจได้ว่าจะไปรอบสามหรือไม่

 

รอบสาม

ถ้าตัดสินใจมาต่อรอบสาม เตรียมใจเจองานโหดไว้เพราะนั่นหมายถึงเราตั้งเป้าว่าจะงานนี้มีคุณค่าพอที่เราต้องเข้าใจมันอย่าง 100% รอบนี้อจ.บอกว่าเราต้องทำตัวเหมือนจะ "virtually re-implement the paper" นั่นคือให้เราสมมติตัวเองว่าเราเป็นเจ้าของงานนี้ ต้องสร้างงานวิจัยนี้ขึ้นมาเอง เราจะทำอย่างไร 

 

ให้ตั้งคำถามกับทุกสมมติฐานในเปเปอร์ว่าสมเหตุผลหรือไม่ และให้คิดว่าถ้าเป็นเราต้องมาเจอปัญหาย่อยๆ แต่ละปัญหาในเปเปอร์เองเราจะแก้มันอย่างไร  ถ้ามีทฤษฎีคณิตศาสตร์มันจำเป็นต้องมีหรือไม่ ขอบเขตเหมาะสมหรือไม่ และดูวิธีการพิสูจน์อย่างละเอียด และถ้าเราคิดวิธีพิสูจน์ของเราเองได้ก็จะยิ่งดี

 

ในขั้นนี้ อจ. Andrew Ng ก็แนะนำคล้ายๆ กันในการทำความเข้าใจงานด้าน Machine Learning อย่างละเอียดว่า ในการทดลองทุกอย่างบนเปเปอร์นั้น ให้เรา re-produce ขึ้นมาให้ได้ โดยในสมัยนี้โชคดีถ้างานนั้นมีโปรแกรมให้ (เช่นบน GitHub) ให้เราทำความเข้าใจโค้ดในระดับที่ปรับแก้สมมติฐานต่างๆ ได้ และรันการทดลองในเปเปอร์ด้วยตัวเองได้ และตรวจสอบผลลัพธ์ว่าสอดคล้องกับเปเปอร์หรือไม่

 

ในรอบสามนี้อาจใช้เวลาเป็นหลายชั่วโมง (ในมุมของอาจารย์ สำหรับตัวผู้เขียนปกติขั้นตอนนี้ใช้หลายวันหรืออาจเป็นสัปดาห์เลยครับ แหะๆ :p) แต่ก็จะทำให้เราเข้าใจงานในระดับลึกซึ้งเลยครับ

 

เพิ่มเติม

ในยุค digital นี้โชคดีมากๆ เรามีตัวช่วยให้เข้าใจเปเปอร์ต่างๆ มากขึ้นไม่ว่าจะเป็น blog ชื่อดังต่างๆ ที่ย่อยเรื่องยากมากๆ ให้อ่านเข้าใจได้ง่ายๆ เช่น

 

https://jalammar.github.io/illustrated-transformer/

หรือ

https://lilianweng.github.io/lil-log/

 

หรือใน medium.com ซึ่งมีคนเก่งๆ มากมายอยากจะเล่าเปเปอร์ต่างๆ ให้เราฟังอย่างง่ายๆ เช่น https://towardsdatascience.com/machine-learning/home นอกจากนี้ยังมี youtube channels อีกมากมายที่นำงานวิจัยใหม่ๆ มากๆ มาแกะให้ฟังแบบละเอียดเลยครับ เช่น

Yannic Kilcher channel (เล่าละเอียด) https://www.youtube.com/c/YannicKilcher/videos

หรือ 2-minutes papers (เล่าหยาบๆ)

https://www.youtube.com/user/keeroyz

 

เป็นต้น นอกจากนี้ดีที่สุดถ้าเจ้าของผลงานนั้นๆ เขียนบล็อกซึ่งเราสามารถเข้าไปดูได้ที่เว็บไซต์ส่วนตัว หรือแชร์ video presentation ซึ่งเราสามารถหาได้บน youtube จากชื่อของ papers และ conference ที่ผลงานชิ้นนั้นถูกตีพิมพ์ครับ

ถ้าเพื่อนๆ มี blogs หรือ youtube channels ดีดี อยากแนะนำเพื่อนๆ ท่านอื่นๆ ต่อก็สามารถโพสต์บอกได้เลยนะครับผม

This topic was modified 1 year ago 2 times by The Neural Engineer
อ้างอิง
Posted : 15/07/2020 2:37 am
Share:

Please Login or Register