รวมงาน AI เจ๋งๆ (งานใหม่ๆ อยู่โพสต์หลังๆ)

วาดภาพเสมือนจริงจาก Scene Graph Representation !

สวัสดีครับจากโพสต์ข้างต้นได้แนะนำ Scene Graph Representation ที่เป็นการนำเสนอ information  ที่มีอยู่ใน image อย่างทรงพลัง  ตัวอย่างที่แสดงให้เห็นถึงพลังของ Scene Graph ก็คือการวาดภาพเสมือนในทำนองเดียวกับ GANs (สำหรับเพื่อนๆ ที่ยังไม่คุ้นกับ GANs ที่ก็เรียกได้ว่ามหัศจรรย์แล้วดูได้ที่บทความอ้างอิงครับ)

แม้นการวาดภาพด้วย GANs จะสวยงามและเหมือนจริงมาก แต่ข้อจำกัดของ GANs คือผู้ใช้ไม่สามารถกำหนดรายละเอียดได้จริงๆ เช่น เราอาจจะอยากได้ภาพดังต่อไปนี้ ‘’ภาพทิวทรรศน์ทุ่งหญ้าที่งดงาม ที่มองเห็นยีราฟ และแกะยืนอยู่ข้างกัน โดยมีป่าเป็นฉากหลัง”

แต่เราไม่สามารถระบุรายละเอียดระดับนี้ได้ในงาน GANs ทั่วๆ ไป

นี่จึงเป็นที่มาของอีกหนึ่ง Best paper awards ใน ICCV 2019 ที่ชื่อว่า

“Specifying Object Attributes and Relations in Interactive Scene Generation”

ที่ให้เราวาดภาพเสมือนจริงบทรายละเอียดที่กำหนดดังตัวอย่างข้างต้นได้เสมือนมีเวทมนต์ โดยหัวใจของงานก็คือการสร้าง Scene Graph ขึ้นมาจากรายละเอียดที่กำหนด (ดูรูปแนบ) และใช้ Graph CNNs เพื่อสร้างรายละเอียดเพิ่มเติมจาก Scene Graph ที่ได้นั่นเองครับ

นอกจากนี้เรายังวาดภาพบนรายละเอียดที่ต้องการ ได้สร้างสรรค์อย่างไม่จำกัดจำนวนอีกด้วย!!

ในรูปแนบที่ 2 นั้นจะมีตัวอย่างการสุ่มวาดรูป 5 รูปที่แตกต่างกันออกไปบน Scene Graph ที่กำหนด เช่นในตัวอย่าง‘’รูปพิซซ่าที่วางอยู่บนกระดาษบนโต้ะ โดยมีถ้วยและแก้วน้ำวางอยู่ข้างๆ ” จะเห็นได้ว่าเราเนรมิตรูปจากคำบรรยายที่ได้หลากหลายอย่างน่ามหัศจรรย์จริงๆ ครับ!! (สังเกตว่าเราระบุให้มีถ้วยวางอยู่ แต่โมเดลฉลาดพอที่จะใส่ซอสลงไปในถ้วยด้วยตัวเองอย่างสมจริง 😉

สำหรับผู้สนใจเพิ่มเติมสามารถดู video presentation ของงานนี้ รวมทั้ง paper ฉบับเต็มได้ในเอกสารอ้างอิงครับ

อ้างอิง

1. ดูตัวอย่างพลังการสร้างสรรค์ภาพของ GANs ที่เรียกได้ว่าเจ๋งมากๆ แล้วนี่ https://machinelearningmastery.com/impressive-applications-of-generative-adversarial-networks/
2. ดูบทความ iccv ฉบับเต็มได้ที่นี่ https://arxiv.org/abs/1909.05379 รวมทั้งดู video presentation ที่งดงามมากๆ ได้ที่นี่  https://m.youtube.com/watch?v=V2v0qEPsjr0

สังเคราะห์ภาพ จากแสงสะท้อนบนถุงขนม!!

https://braneshop.com.au/showreel/Seeing%20the%20World%20in%20a%20Bag%20of%20Chips.html

OpenAI JukeBox เรียนรู้การแต่งเพลง ทั้งทำนองและเนื้อร้องจากศิลปินทั่วโลก

https://openai.com/blog/jukebox/

ตัวอย่างเพลงที่แต่งกว่าพันเพลง

https://jukebox.openai.com/

ข่าวไทย

https://www.beartai.com/news/itnews/429976

OpenAI Dall-E

https://openai.com/blog/dall-e/

Update Nov 2021

https://ml.berkeley.edu/blog/posts/clip-art/

ตัวอย่างจากทีมจีน

ตัวอย่างจากทีมรัสเซีย

บทความจาก Thitirat Sensei https://web.facebook.com/thitirat.thelecturer/posts/3072426599644244

------

CLIP เป็นอีกหนึ่งโมเดลจาก OpenAI ที่สารพัดประโยชน์มากใช้ในการจับคู่ Image-Text ที่เข้ากันที่สุด และสามารถประยุกต์ใช้งานได้หลากหลาย (อาทิเช่น GLIDE ข้างบน)

ดู CLIP ที่โพสต์ของ Thitirat TheSensei https://web.facebook.com/thitirat.thelecturer/posts/2804774776409429