Workshop : ทำโปรเจกต์ Data Science จากข้อมูลผู้รอดชีวิตในเรือไททานิกบน Kaggle
February 6, 2019
เชิญชวนเพื่อนๆ ที่สนใจ Kaggle มารวมกลุ่นกันครับ!
March 8, 2019
เมื่อเดือนพฤษภาที่ผ่านมา Tensorflow 2.2 หรือ TF2.2 ก็ได้ฤกษ์เปิดตัวอย่างเป็นทางการ โดยนับแต่ TF 2.0 ที่ทางทีมงาน TF ได้วางแผนจะให้การเขียน Keras เป็น standard สำคัญ และใน TF เวอร์ชั่น 2.2 นี้นับว่าวิสัยทัศน์นี้เกือบเสร็จสมบูรณ์มากๆ แล้วครับ โดยการเขียนโปรแกรมด้วย TF+Keras นั้นมีจุดเด่นมากๆ หลายจุดที่เราประทับใจสุดๆ ทีมงานจึงนำ “10 เรื่องต้องรู้” มาสรุปสั้นๆ ให้เพื่อนๆ พร้อมทั้งลิงก์เพื่อศึกษาเพิ่มเติมครับ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
สร้างโมเดลที่เข้าใจถึง 100 ภาษา และทำความรู้จัก Subwords Embedding ด้วยพลังของ XLM-Roberta และ TPU (พฤษภาคม 2020) สวัสดีครับเพื่อนๆ วันนี้จะพาเพื่อนๆ ไปเรียนรู้วิธีการสร้างโมเดลตรวจจับประโยคที่เป็นพิษ (toxic detection) เพื่อโจมตี กล่าวร้าย หรือเหยียดหยามบุคคลอื่น ไม่ว่าจะเป็น เพศ เชื้อชาติ ศาสนา ฯลฯ ที่เป็นการแข่งขันบน Kaggle ... โดยการแข่งขันทำนองนี้จัดมาแล้วหลายครั้ง แต่ครั้งนี้พิเศษสุดๆ เนื่องจากว่าเป็นการแข่งขันแบบ ”พหุภาษา” หรือ Multi-lingual ที่ยากมากๆ ครับ โดยข้อมูลสอน training data นั้นเป็นภาษาอังกฤษทั้งหมด แต่เวลาเราต้องไปทดสอบจริงเพื่อตรวจจับประโยคพิษบน test data นั้นไม่มี ประโยคภาษาอังกฤษเลยแม้แต่ประโยคเดียว!! ประโยคที่เราต้องไปทำนายประกอบไปด้วย 6 ภาษาคือ ภาษาสเปน ฝรังเศส โปรตุเกส รัสเซีย ตุรกี และอิตาลีครับ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
DeepFake Detection : สร้างโมเดลตรวจสอบวิดิโอ “ปลอม” (26 เมษายน 2020) สวัสดีครับเพื่อนๆ ในที่สุดการแข่งขัน DeepFake ชิงรางวัล 1 ล้านเหรียญ ก็ได้ข้อสรุปแล้ว และทีมที่ ThaiKeras ของเราเข้าร่วมด้วยได้อันดับที่ 29 ของโลก วันนี้เลยจะขออนุญาตมาแชร์วิธีการออกแบบโมเดล วิเคราะห์ปัญหา การ optimize performance ที่เราได้ใช้ในการแข่งขันครับ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
Too good to be true ตอนที่ 1 (เมษายน 2020) เรื่องหนึ่งที่สำคัญที่สุดในการสร้างโมเดล Machine Learning ก็คือ “การออกแบบกระบวนการเรียนรู้” เพื่อให้แน่ใจได้ว่า “ความรู้ที่ได้จากโมเดล” นั้น “สามารถใช้งานได้ในโลกความเป็นจริง” ปัจจุบันในยุคที่ AI tool เข้าถึงได้ง่ายสำหรับคนทั่วไปที่ไม่ใส่ใจพื้นฐานทางสถิติ มักทำให้เกิดการอ้างว่า ค้นพบโมเดลชนิดใหม่ที่แม่นยำยิ่งกว่าโมเดลของแล็บชั้นนำระดับโลก
ในทางการแพทย์ พบว่าหลายๆ งานที่เคลมว่าสามารถตรวจสอบโรคได้แม่นยำเกือบ 100%พอไปใช้งานจริง แทบจะทำนายโรคแบบสุ่มๆในทางธุรกิจหรือการเงิน ก็เช่นกัน หลายโมเดลที่ทำนายยอดขายในทางทดลองได้แม่นยำแทบจะ 100% หรือ ระบบที่ทำกำไรบนตลาดหุ้นได้สูง ก็ใช้ไม่ได้จริงเมื่อมาทดลองใช้กับยอดขายหรือ ราคาหุ้นในอนาคต (ไม่ใช่ ข้อมูลในอดีต) ผลลัพธ์ที่เก่งกาจเกินไปในการทดลอง (แต่ใช้งานจริงไม่ได้) บางครั้งเราเรียกว่า “too good to be true” ครับ
สาเหตุหนึ่งที่พบบ่อยที่สุดของ “too good to be true” มักเกิดจากเรื่องที่ง่าย แต่ลึกซึ้งนั่นคือเรื่อง “การแบ่งข้อมูล” (Data Splitting) ซึ่งถ้าทำผิดพลาดจะก่อให้เกิดปัญหาที่เรียกว่า “Data Leakage” หรือ “ข้อมูลรั่ว” ที่ทำให้ผลลัพธ์ที่เราวัดเองนั้นยอดเยี่ยม แต่ใช้งานจริงไม่ได้ครับ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
AI vs. COVID-19 (มีนาคม 2020) โอกาสที่ Data Scientists จะได้ช่วยวงการแพทย์ลดผลกระทบของ COVID-19 ด้วยโมเดล NLP โดยทาง Kaggle ร่วมกับสถาบันวิจัยชั้นนำหลายแห่งได้ขอความร่วมมือจาก Data Scientists ทั่วโลกเพื่อช่วยทีมวิจัยด้านการแพทย์ในงานวิจัย COVID-19
งานนี้มีที่มาว่าตั้งแต่โรคนี้ระบาดหนัก ก็ได้มีงานวิจัยทางด้านการแพทย์ออกมามากมายเกือบๆ 30,000 ฉบับซึ่งก็นับว่าเป็นประโยชน์มาก ในการทำความเข้าใจโรคนี้ในแง่มุมต่างๆ ทว่าปัญหาก็คือไม่มีนักวิจัยคนไหน สามารถอ่านงานวิจัยทั้ง 30,000 ฉบับไหว ทำให้ความรู้สำคัญต่างๆ อาจจะค้นเจอช้าเกินไป และทำให้การรักษาโรคนี้ช้าเกินกว่าที่ควรจะเป็น
ดังนั้น Kaggle จึงได้ขอให้ Data Scientists ทั่วโลกช่วยกันสร้างโมเดล NLP ขึ้นมาเพื่อทำความเข้าใจประเด็นสำคัญมากๆ ที่ซ่อนอยู่ในแต่ละงานวิจัย โดย Datasets ที่ Kaggle เตรียมไว้ให้นั้นประกอบไปด้วย "เอกสารงานวิจัยกว่า 30,000 ฉบับ" โดยเป็น Full Text ถึง 13,000 ฉบับ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความเพิ่อดูผลงาน AI ที่ขุดจากงานวิจัย COVID ได้เลยครับ
Clever Hans (กุมภาพันธ์ 2020) - ปรากฏการณ์ม้า (ที่เหมือนจะ) แสนรู้ใน Deep Learning Models เมื่อราว 100 กว่าปีที่แล้วมีปรากฎการณ์ฮือฮามากที่ประเทศเยอรมนี นั่นคือมีม้าตัวหนึ่งที่มีความสามารถพิเศษมากมาย อาทิเช่น คิดเลขบวกลบง่ายๆ ได้อย่างถูกต้องและ สามารถแก้ปัญหาเชิงบรรยายที่ซับซ้อนขึ้นมากขึ้นได้ ทว่าหลังจากที่ผ่านการสืบสวนอย่างจริงจังจากนักวิทยาศาสตร์และจิตวิทยา พบว่าแม้นเจ้าของม้าไม่ได้ตั้งใจบอกใบ้อะไรเลย รวมทั้งม้าฮันส์ยังตอบคำถามได้แม่นยำจริง แต่จริงๆ แล้วฮันส์ไม่ได้มีความรู้อะไรเลย เหตุการณ์นี้เกิดขึ้นได้อย่างไร และนำมาสู่แนวคิดที่ว่าเหตุการณ์นี้ก็กำลังเกิดขึ้นเช่นเดียวกันกับ Deep Learning Model
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
Deep Learning สำหรับ Climate Change จากแล็บวิจัยชั้นนำของโลก 17 แห่ง (มกราคม 2020) สวัสดีครับเพื่อนๆ สำหรับผู้ที่สนใจนำ Deep Learning เพื่อจัดการปัญหา Climate Change สามารถดาวโหลดเปเปอร์ระดับสุดยอดฉบับนี้ไปเป็นแนวทางได้เลยครับ เปเปอร์ฉบับนี้ได้กล่าวถึงการจัดการปัญหา Climate Change ด้วยเทคนิกต่างๆ เช่น Computer Vision, NLP, Reinforcement Learning, Time-series analysis, Unsupervised Learning และอื่นๆ อีกมากมาย โดยแบ่งออกเป็น 13 เป้าหมาย
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
Deep Double Descent - ปรากฏการณ์หักลงสองรอบของค่า Error ใน Deep Learning Models (ธันวาคม 2019) OpenAI ได้ทำการทดลองเกี่ยวกับการฝึกสอนโมเดลขนาดใหญ่บน Deep Learning อาทิเช่น ResNets , Transformers และโมเดลอื่นๆ ในหลายๆ ปัญหาอย่างละเอียด และพบปรากฎการณ์ที่น่าประหลาดใจที่ว่า “ค่าความผิดพลาดจะหักลง 2 รอบ” (Double Descent) เสมอ และขัดกับความเชื่อในสถิติดั้งเดิม รวมทั้งความเชื่่อพื้นฐานของ Deep Learning
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
Lab จาก MIT ปฏิวัติความเข้าใจเรื่อง “สิ่งที่ AI เห็น” สวัสดีครับเพื่อนๆ ขอเปลี่ยนบรรยากาศจากว่าด้วยเรื่อง Programming หรือ Frontier Applications มาว่ากันด้วยเรื่อง AI Fundamental กันบ้างนะครับ โดยสิ่งที่เราสนใจก็คือ “เวลา AI ทำนายสิ่งต่างๆ เช่น ทำนายภาพของสุนัข/รถยนต์ ว่าเป็น สุนัข/รถยนต์” นั้น โมเดลรู้ได้อย่างไร และพิจารณาจากองค์ประกอบไหนในรูป ในปี 2018-2019 Lab จาก MIT ได้ทำงานวิจัยปฏิวัติความเข้าใจเรื่องนี้ให้คนในวงการหลายเรื่อง ซึ่งเกี่ยวโยงกับปริศนาที่สำคัญของวงการ AI ที่เรียกว่า Adversarial Examples อีกด้วย
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
MixUp, CutOut & MixCut สวัสดีครับเพื่อนๆ ในบทความก่อนหน้าเราได้พูดเรื่อง Image Augmentation ซึ่งเป็นเทคนิกที่สำคัญมากๆ ที่จะทำให้โมเดล “นำความรู้ไปใช้กับข้อมูลอื่นๆ ในอนาคต” (Generalization) วันนี้จะขอมาเล่าเพิ่มเติม เทคนิก Image Augmentation ที่ค่อนข้างใหม่ และสามารถนำไปประยุกต์รวมใช้กับเทคนิกใน Workshop ข้างบนได้ทันทีครับ โดย 3 เทคนิกที่ได้รับการยอมรับว่ามีประสิทธิภาพสูงในการทำให้ computer เข้าใจรูปภาพมากขึ้นก็คือ Mixup, Cutout และ CutMix
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
ทำความเข้าใจสิ่งที่ AI ทำนายด้วย Grad-CAM
บทเรียนแรกๆ ของโมเดล AI และเป็นสิ่งที่เราใช้งานบ่อยที่สุดคือ การ Classification หรือ “การจำแนกประเภทข้อมูล” เช่นในปัญหา “ตรวจสอบเบาหวานในดวงตา” (ดู ThaiKeras workshops) เราต้องการให้ระบบของเราจำแนกอาการป่วยของดวงตาว่ารุนแรง ”ระดับ” ไหนตั้งแต่ระดับ 0 (ปกติ) ถึง 4 (เสี่ยงตาบอด) ซึ่งก็คือ “การจำแนกประเภท” ของดวงตาเป็น 5 ประเภทนั่นเอง (ประเภท 0, ประเภท 1, …, ประเภท 4)
สิ่งที่เป็นจุดอ่อนหนึ่งที่โมเดล AI ถูกโจมตีมานานในการใช้งานจริง ก็คือ “เราไม่เข้าใจความหมายของการทำนาย” เช่น เวลาระบบ AI ทำนายว่า “ดวงตานี้มีสิทธิที่จะตาบอด” เราจะเชื่อมั่นได้มากแค่ไหน? ถึงแม้นจะผ่านการฝึกสอนบนรูปดวงตานับหมื่นรูป แต่ถ้าปราศจากคำอธิบายเพิ่มเติม ระบบที่ให้คำทำนายดังกล่าวก็อาจจะนำไปใช้จริงได้ลำบาก
เพื่อแก้จุดอ่อนดังกล่าวทีมวิจัยจาก Georgia Institute of Technology จึงได้คิดงานวิจัยที่มีชื่อว่า Grad-CAM ขึ้นมาเพื่อ visualize และทำความเข้าใจในสิ่งที่โมเดลทำนาย กดดูรายละเอียดได้จากรูปครับ
รู้จัก EfficientNet โมเดลที่แข็งแกร่งที่สุดในปฐพีบน Computer Vision 2019 เพื่อนๆ ที่รู้ประวัติของ Deep Learning นั้น ทราบดีว่างานพลิกโลกเหล่านี้มีต้นกำเนิดจาก AlexNet บน ที่เอาชนะคู่แข่งบนปัญหา Computer Vision ได้ขาดลอย ถัดจาก AlexNet ก็มีโมเดล “Deep Learning” ชื่อดังกำเนิดอีกมากมาย ที่ดังมากๆ ก็คือ Inception จากทีม Google, ResNet จากทีม Microsoft หรือ ResNeXt จากทีม Facebook เป็นต้น ใน Kaggle เองโมเดลเหล่านี้ก็ยังเป็น “กระดูกสันหลังสำคัญของแชมเปี้ยน” ของแต่ละการแข่งขัน
วันนี้เราจะมาทำความรู้จัก EfficientNet ซึ่งว่ากันว่าเป็นโมเดลที่ดีที่สุดตั้งแต่ปี 2012 เป็นต้นมา ทั้งในแง่ความเร็ว ความแม่นยำ และการประหยัดหน่วยความจำ
เพื่อนๆ สามารถกดที่รูปเพื่อเข้าสู่บทความได้เลยครับ
มาลองเล่นแต่งเป็นกลอน ตอนที่ 2 : เมื่อทรานสฟอร์เมอร์เจอพระอภัย: ในบทความก่อน ผู้เขียนได้ทำการทดลองเรียนรู้แบบจำลองภาษาระดับอักขระโดยใช้ LSTM มาคราวนี้เราจะลองใช้ Transformer กันดูบ้าง โดยจะทดลองกับชุดข้อมูลเดิม คือวรรณคดีเรื่องพระอภัยมณี นอกจากนี้ ไหนๆ ก็จะทำการทดลองแล้ว เลยโหลดวรรณคดีเรื่อง รามเกียรติ์ และ สามก๊ก มาร่วมด้วย ในส่วนของโค้ดที่ใช้ ผู้เขียนได้แก้ไขเพิ่มเติมจากต้นฉบับเพื่อให้รองรับภาษาไทย
หมายเหตุ : บทความนี้ลิงก์ไปยัง medium.com ซึ่งเป็นที่ที่ทีมงานลงบทความของ ThAIKeras ในช่วงแรกครับ
รู้จักและแต่งกลอนสุนทรภู่ด้วย Character-Based Recurrent Neural Networks (RNNs) : RNNs เป็นโมเดลที่ทรงพลังที่สามารถสร้างความรู้จากการทำความเข้าใจ ข้อมูลที่มีลำดับ ได้อย่างดี ประโยคในภาษาของมนุษย์นั้นสามารถมองเป็น ‘ข้อมูลที่มีลำดับ’ ได้เช่นกัน (เช่น ประโยคประกอบไปด้วย ลำดับของคำ หรือ ลำดับของตัวอักษร เป็นต้น)
ดังนั้น RNNs จึงเหมาะเป็นอย่างมากที่จะนำมาใช้สร้างความรู้ต่างๆ จากข้อมูลที่ประกอบไปด้วยข้อความต่างๆ ที่เขียนด้วยภาษามนุษย์ ในบทความนี้เราจะประยุกต์ใช้ RNNs เพื่อทำความเข้าใจและเรียนรู้บทกลอนสุนทรภู่ในภาษาไทย และเมื่อเรียนรู้สำเร็จแล้วเราจะลองให้ RNNs ได้ลองแต่งกลอนใหม่ให้พวกเราอ่านกันด้วย
หมายเหตุ : บทความนี้ลิงก์ไปยัง medium.com ซึ่งเป็นที่ที่ทีมงานลงบทความของ ThAIKeras ในช่วงแรกครับ
รู้จัก Transformer Network งานวิจัยที่ถูกกล่าวขวัญมากที่สุดในปี 2017 : แต่ไหนแต่ไรมา เมื่อเรามี ข้อมูลที่มีลำดับ อาทิเช่น ข้อความหรือประโยคต่างๆ ของมนุษย์ และเราต้องการที่จะเรียนรู้และสร้างความรู้จากข้อมูลเหล่านั้น เรามักจะนึกถึง Recurrent Neural Networks (RNNs) ซึ่งถือได้ว่าเป็นกระบวนท่ายอดวิชาที่เป็นอันดับหนึ่งในการจัดการข้อมูลประเภทนี้ และ RNNs ก็ประสบความสำเร็จมากจนกระทั่งเคล็ดวิชาอื่นๆ แทบจะไม่มีความจำเป็นแต่อย่างใดและถูกลืมไปหมดสิ้น
แต่แล้วในกลางปี 2017 ก็มีเรื่องที่น่าตกใจกับวงการ Deep Learning และ NLP มากเมื่อทีมวิจัยทีมหนึ่งของ Google ประกาศว่า RNNs ไม่มีความจำเป็นอีกต่อไปและนำเสนอโมเดลใหม่ที่ชื่อว่า Transformer ซึ่งมีประสิทธิภาพเหนือกว่า RNNs ในเกือบทุกแง่มุม ในบทความนี้เราจะนำเพื่อนๆ ไปรู้จักกับ Transformer กันครับ
หมายเหตุ : บทความนี้ลิงก์ไปยัง medium.com ซึ่งเป็นที่ที่ทีมงานลงบทความของ ThAIKeras ในช่วงแรกครับ
รู้จัก BERT ภาษาไทย ที่ต่อยอดโดยทีมงาน ThAIKeras : BERT หรือ Bidirectional Encoder Representation from Transformer คือ งานที่มาส่งท้ายปี 2018 อย่างยิ่งใหญ่ ด้วยการทำลายสถิติความแม่นยำของงานทางด้าน NLP ในแทบจะทุกสายงาน
อย่างไรก็ดีเป็นที่น่าแปลกใจว่าในช่วงแรก “ภาษาไทย” เป็นภาษาเดียวในโลกที่ BERT ไม่รองรับ ดังนั้นทีมงาน ThAIKeras จึงตัดสินใจที่จะต่อยอดทำ BERT-th หรือ “BERT ภาษาไทย” ขึ้นมา แม้ในเวลาต่อมาทีมงาน Google ได้พัฒนา Multilingual BERT ที่รองรับภาษาไทย แต่ในการทดสอบวัดผลต่างๆ นั้นพบว่า BERT-th ของเราสามารถทำคะแนนได้ดีกว่า Multilingual BERT
หมายเหตุ : ลิงก์ในรูปนั้นโยงไปยัง ThAIKeras GitHub ซึ่งเป็นที่ที่ทีมงานลง Source Code ของ BERT-th ไว้ครับ สำหรับบทความภาษาไทยที่เกี่ยวข้องติดตามได้ที่นี่ครับ
