Notifications
Clear all

รวม Online Courses ดีดี, Local Meetups และ AI Channels อื่นๆ

17 ข้อความ
1 Users
0 Likes
38.9 K Views
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  
Unsupervised Deep Learning Course 2020 จาก UC Berkeley
 
เอาไว้ดูตอนกักตัวอยู่บ้านช่วงเดือนเมษายนนี้แทนเป็นทางเลือกแทน Netflix ครับ 😀
 
 
มีครบทั้งสไลด์และ video lectures
โดยเนื้อหาครอบคลุม Generative Models, Self-supervised Learning และ Semi-supervised Learning
 
เพื่อนๆ ส่วนใหญ่รู้จัก Generative models เช่น GANs และรู้จัก semi-supervised learning คือ ปัญหาที่เราต้องสร้างโมเดลเมื่อเรามีทั้ง labels และ unlabeled data อยู่แล้ว แต่อาจจะไม่รู้จัก Self-supervised learning จึงขอฝากเกร็ดเล็กๆ น้อยๆ ไว้ครับ
 
Self Supervised Learning คืออะไร?
มันคือการ train แบบ supervised บน unlabeled data (data ที่มนุษย์ไม่ได้เตรียม label ไว้)
แต่อาศัย label ที่อยู่ในธรรมชาติของข้อมูลเอง เช่น
 
- ใน text data เรากำหนดเป้าหมายให้ model เรียนรู้ความสัมพันธ์ของการใช้คำในภาษาเองได้ โดยพยายามทำนาย label=“คำถัดไป” จากคำที่อ่านมาแล้วก่อนหน้า เรื่องง่ายๆ นี้เป็นเคล็ดลับความสำเร็จของ BERT ที่พลิกวงการ NLP ในไม่กี่ปีที่ผ่านมา
- ใน image data เรากำหนดเป้าหมายให้ model เรียนรู้ information ต่างๆ ในรูปภาพได้เช่น เราสามารถตัดภาพเป็น ส่วนๆ เสมือน jigsaw แล้วส่งให้โมเดลนำ jigsaw นั้นกลับมาเรียงกันให้ได้เหมือนเดิม นั่นคือ label=ลำดับที่ถูกต้องของ jigsaw นั่นเอง (model ต้องเรียนรู้ความ smooth ของรูปภาพ) ดูรูปแนบ
 
 
การเรียนรู้แบบ self-supervised learning นี้ใช้ประโยชน์จาก big data บน internet ที่มีมหาศาลทำให้โมเดลมีความรู้ได้เองโดยไม่ต้องการมนุษย์สอน
 
จากนั้นเมื่อเราต้องการปรับใช้โมเดลในงานใดงานหนึ่งโดยเฉพาะ เราก็ลงทุนสอน (สร้าง labels) เพียงจำนวนเล็กน้อย และ finetune จาก self-supervised model ซึ่งมักจะได้โมเดลประสิทธิภาพสูงทั้งๆ ที่มี labeled data น้อยมากครับ
 
งาน self-supervised learning นี้นับว่าเป็นอนาคตของ Deep Learning เลยทีเดียว ไว้ดู lecture ข้างบนจบแล้วจะมาขยายความต่อครับผม ;D

   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

มาดู Nvidia - Kaggle Grandmaster Series

Nvidia เป็นหนึ่งในบริษัทที่เล็งเห็นศักยภาพของผู้เข้าร่วมการแข่งขัน Kaggle ทำให้ Nvidia ตัดสินใจสร้างทีม Kaggle ขึ้นมาโดยเฉพาะ

ในการสร้างทีมนี้ Nvidia ได้ดึงตัว Data/Machine-Learning Engineer/Scientists ระดับ Grandmaster จากทั่วโลก และทีมนี้มีภารกิจหลักคือคว้าแชมป์ Kaggle ให้ได้ รวมทั้งร่วมพัฒนา library Deep Learning ของทาง Nvidia เองด้วย

ล่าสุดทีมนี้ได้เริ่มทำ Youtube Series โดยในตอนล่าสุดนี้ทีมนี้ได้แชร์การทำ Large-Scale Image Classification บน Data เป็นล้านๆ รูป และจำนวนคลาสมหาศาลถึง 80,000+ คลาส -- ที่มาของปัญหานี้มาจากแข่งขัน Google Landmark Recognition ปี 2020 ที่สองสมาชิกในทีมนี้คว้าแชมป์ได้นั่นเอง https://www.kaggle.com/c/landmark-recognition-2020

 

โดยผู้นำเสนอนั้นมี ชื่อย่อใน Kaggle ว่า Dieter และ Psi ซึ่งเป็นมือวางสิบอันแรกของโลกในวงการ สามารถรับชมได้ที่นี่เลยคร้าบบ 😀

https://www.youtube.com/watch?v=VxNDH6qLZ_Q&t=781s


   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

Machine Learning Street Talk : 

https://www.youtube.com/channel/UCMLtBahI5DMrt0NPvDSoIRQ


   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

Reinforcement Learning by Andrew Ng (2018)

อยู่ช่วงหลัง นั่นคือ lecture ที่ 16-20 ของ Machine Learning Course

https://www.youtube.com/watch?v=YQA9lLdLig8

เริ่มนาทีที่ 49 เป็นต้นไปครับ

ดูลิสต์ทั้งหมดที่นี่ https://youtube.com/playlist?list=PLoROMvodv4rMiGQp3WXShtMGgzqpfVfbU

 

เสร็จแล้วต่อด้วย Deep Reinforcement Lecture ใน CS 230

https://youtu.be/NP2XqpgTJyo

This post was modified 4 years ago 3 times by The Neural Engineer

   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

Andrew Ng Lectures

 

CS229 Stanford Machine Learning  2019

ล่าสุดที่บันทึกวิดิโอได้ก่อนโควิดระบาดรุนแรง

http://cs229.stanford.edu/syllabus-summer2020.html

 

CS230 2018 - Deep Learning มองว่าเป็นเวอร์ชั่นอัพเดตจาก coursera ได้ครับ

http://cs230.stanford.edu/lecture/

http://cs230.stanford.edu/syllabus/

 

This post was modified 4 years ago 3 times by The Neural Engineer

   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

ถ้าอยากต่อ Reinforcement Learning ให้ลึกไปอีกจากข้างบน ให้ดู CS 234 stanford เหมือนเดิมครับ

https://web.stanford.edu/class/cs234/modules.html

 

https://youtube.com/playlist?list=PLoROMvodv4rOSOPzutgyCTapiGlY2Nd8u

This post was modified 4 years ago by The Neural Engineer

   
ตอบกลับอ้างอิง
The Neural Engineer
(@neural-engineer)
Honorable Member Admin
เข้าร่วมเมื่อ: 7 years ago
ข้อความ: 409
Topic starter  

Deep Generative Model CS236 Stanford

https://deepgenerativemodels.github.io/syllabus.html

 

DeepMind 2021 course

https://youtube.com/playlist?list=PLqYmG7hTraZDVH599EItlEWsUOsJbAodm

This post was modified 4 years ago by The Neural Engineer

   
ตอบกลับอ้างอิง
Page 2 / 3
Share: