Notifications
Clear all

สัมภาษณ์ Ian Goodfellow เกี่ยวกับปัจจุบันและอนาคตของ AI

3 ข้อความ
1 Users
0 Likes
4,470 Views
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 6 years ago
ข้อความ: 399
Topic starter  

https://youtu.be/Z6rxFNMGdn0

ประเด็นที่น่าสนใจ

- Adversarial Example บน Speech Recognition : ปัจจุบันระบบผู้ช่วยอัจฉริยะต่างๆ อาทิเช่น Alexa, Google Home (หรือระบบสั่งการด้วยเสียงอื่นๆ เช่น self-driving car ในอนาคต) มีจุดอ่อนที่น่ากลัวคือ ผู้ไม่ประสงค์ดีสามารถผลิตคำพูดที่เหมือนเป็นคำพูดปกติ (เหมือนมี background noise เล็กน้อย) แต่ทำให้ระบบ AI เข้าใจไปอีกเรื่องนึงได้   การโจมตีระบบ AI เช่นนี้คนทั่วไปจะไม่สามารถตรวจสอบได้

- หนังสือ AI ของ Russell & Norvig 4th Edition, จะมี Chapter Deep Learning และ Ian Goodfellow จะเป็นผู้เขียนบทนี้ด้วยตนเอง (ให้สัมภาษณ์ว่าใช้ความพยายามมากในการสรุป Deep Learning ทั้งหมดให้ครอบคลุมได้ใน 1 Chapter) โดยภายในเวลาไม่กี่ปีหลังจากที่ Ian ได้เขียนหนังสือ Deep Learning ฉบับมหาตำราที่ทุกคนต้องมี เค้าก็ได้พบว่าหลายๆ conceptsยังยืนยงมาตั้งแต่ปี 1980 ในขณะที่หลายๆ concepts ก็ล้าสมัยหรือลดความสำคัญลงไปมากภายในเวลาไม่กี่ปี ดังนั้นใน chapter ของหนังสือที่เป็นอีกหนึ่งตำนานนี้Ian จึง focusไปยัง core หรือ แก่นของ Deep Learning อย่างแท้จริงได้ดียิ่งขึ้น

- Ian แบ่ง Deep Learning ออกเป็น 3 ส่วนประกอบคือ1)การออกแบบ Model, 2)กระบวนการ Optimizationทางคณิตศาสตร์และ 3)การตีความ ตีโจทย์จาก Data >> ดังนั้น Deep Learning model ไม่จำเป็นต้องยึดติดกับ back-propagation, และ model เช่น Boltzmann machine ก็ถือเป็น Deep Learning model ในมุมมองของ Ian

- ถ้าเรามีวิธีใส่ Knowledge Base แบบ logic ดั้งเดิม เข้าไปใน Neural Networks ได้จะมีประโยชน์มาก เช่น “ใบหน้ามนุษย์ส่วนใหญ่ค่อนข้างสมมาตร” จะขจัดปัญหามนุษย์ตาสองสี หรือตาไม่เท่ากันใน output ของ Generative model ที่มักพอบ่อยๆ

This topic was modified 5 years ago 5 times by The Neural Engineer

   
อ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 6 years ago
ข้อความ: 399
Topic starter  

(ต่อครับ)

- Ian เล่าถึงจุดกำเนิด GAN (Generative Adversarial Network) ว่าเกิดไอเดียเปล่งปลั่งตอนกลางคืนในบาร์ขณะกำลังจิบเหล้า ซึ่งเป็นตัวกระตุ้นให้ลองทำอะไรแปลกๆ ที่เค้าอาจจะไม่ได้คิดลองถ้าเค้าไม่ได้จิบแอลกอฮอลล์เข้าไป

- Idea ของ GAN คล้ายกับ Deep Boltzmann Machine ที่ในการเทรนประกอบไปด้วย Positive phase และ Negative phase ซึ่งต้องเทรนสองสิ่งที่ขัดแย้งกัน (คล้ายๆ กับ Generator และ Discriminator ของ GAN) แต่จุดต่างคือ Objective function ของ Deep Boltzmann Machine เป็น likelihood base ซึ่งอาจจะลู่เข้า (เทรนสำเร็จ) ได้ยากกว่าในทางปฏิบัติ  อย่างไรก็ดี Ian บอกว่ายังตอบชัดๆ ไม่ได้เหมือนกันว่าทำไม GAN เป็นโมเดลที่ประสบความสำเร็จในการ generate real samples ได้ดีมาก

- ในปัจจุบัน GAN อาจจะไม่ใช่ generative model ที่ดีที่สุดก็ได้ แต่เนื่องจากเป็น model ที่คนเก่งทั่วโลกเข้ามาร่วมกันคิดมากที่สุด (ใช้ทรัพยากรมนุษย์มากที่สุด) จึงเป็นอีกเหตุผลหนึ่งที่ GAN ทำผลงานได้ดีกว่าโมเดลอื่น (ที่คนเก่งๆ สนใจน้อยกว่า เลยมีการพัฒนาน้อยกว่า)

- ประโยชน์ของ GAN (หรืองานที่ใช้แนวคิดใกล้เคียงกัน) มีหลายประเภท เช่น (1) Semi-supervised Learning ซึ่งลดความจำเป็นในการทำ manual labels ไปได้มาก, (2) Domain Adaptation คือการเทรนโมเดลบนปัญหาหนึ่ง แต่สามารถนำไปใช้กับปัญหาอื่นๆ ที่มีลักษณะใกล้เคียง (แต่ไม่เหมือน) กับปัญหาที่โมเดลรู้จัก  (3) Machine Learning Fairness คือการทำให้โมเดลเรียนรู้ที่จะตัด Bias บางเรื่องบนข้อมูลสอนทิ้งไป เช่น เช่นเรื่องเพศ (ตัวอย่างเช่น ในข้อมูลมีผู้หญิงเป็นนักฟิสิกส์น้อยกว่าผู้ชาย อาจทำให้โมเดลสรุปไปว่า ผู้ชายต้องเก่งฟิสิกส์มากกว่าผู้หญิง เป็นต้น)

This post was modified 5 years ago by The Neural Engineer

   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 6 years ago
ข้อความ: 399
Topic starter  

- เรื่อง Authentication อาจจะมีความสำคัญในตอนนี้ จากปรากฏการณ์ Deep Fake ซึ่งเราสามารถแต่งภาพหรือวิดีโอของบุคคลอื่นได้ตามใจชอบ แต่ในอนาคตไม่น่าเป็นห่วงเพราะจะมีระบบ Authentication ที่รัดกุมมารองรับ รวมทั้ง Mindset ของคนยุคใหม่จะเข้าใจว่า ไม่ควรเชื่อเรื่องใดๆ เพียงแค่เห็นภาพและวิดีโอ ที่ยังไม่ได้รับการยืนยัน

- เรื่อง Adversarial Security และเรื่อง Fairness เป็นเรื่องที่ Ian สนใจมากในปัจจุบัน โดยในเรื่อง Fairness ไม่ได้แก้ง่ายๆ เช่น สมมติเราต้องการให้ machine predict fair ในเรื่องเพศ (ดังเช่นนักฟิสิกส์ชายมากกว่าหญิง ดังตัวอย่างข้างบน) เราไม่สามารถทำได้เพียงแค่ตัดตัวแปร “เพศ” ออกไป เพราะตัวแปรอื่นๆ ยังคงมีความสัมพันธ์ซ่อนกับเพศอยู่ เช่น “ชื่อ” เป็นต้น 

- วิธีการ Solve เรื่อง Fairness โดยมุมมอง GAN คือให้สร้างเกมส์ที่แข่งกันระหว่าง Feature Extractor และ Discriminator โดย Feature Extracter มีหน้าที่สกัด set of new features จาก input features และ Discriminator จะพยายามทาย “ตัวแปรที่เราต้องการให้แฟร์” จาก features ใหม่นี้ (เช่น พยายามสร้าง classifier จาก new features ว่า เป็น ชาย หรือ หญิง) ถ้า Discriminator ทำได้แค่ random guessing (ในลักษณะเดียวกับ Discriminator ของ GAN ที่ไม่สามารถเดาได้ว่าภาพไหนคือภาพจริง) ก็แสดงว่า features ใหม่ที่สกัดออกมานี้ ประสบความสำเร็จในเรื่อง Fairness บน variable นั้นๆ

This post was modified 5 years ago by The Neural Engineer

   
ตอบกลับอ้างอิง
Share: