https://substackcdn.com/image/fetch/w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ff0bd6e20-284a-4364-86cf-078a8e87c024_1223x683.png

- ฝึกตั้งคำถาม พูดคุยกับโมเดล AI ให้ได้คำตอบดีที่สุด (Prompting)

- เขียนโปรแกรมครอบโมเดล AI ให้ทำงาน routine หรือ งานหลากหลายได้สะดวก (Agentic AI)

- ศึกษาโมเดล AI อย่างลึกซึ้ง ทั้งในแง่สมการคณิตศาสตร์ และการเขียนโปรแกรมสร้างมันขึ้นมา

Level

ระดับผู้ใช้งาน (User Level) : สำหรับงานส่วนตัวและธุรกิจทั่วไป ต้องเชี่ยวชาญเรื่อง Prompting และติดตามเรียนรู้ tools และ technology ใหม่ๆ สม่ำเสมอ เพื่อให้ได้คำตอบจาก AI ที่สมบูรณ์ มีเหตุผล ตรงตามความต้องการมากที่สุด

Level

ระดับโปรแกรมเมอร์ (Programmer Level): สำหรับการนำ AI ไปต่อยอดสร้าง Applications หรือการใช้งาน AI กับปัญหาที่มีความซับซ้อนมากขึ้น โดยปัญหาเหล่านี้ต้องมีการปรึกษา AI ซ้ำหลายรอบ (iterations) หรือมีการตรวจหรือพัฒนาคำตอบ ต้องมุ่งเน้น Agentic Programming เพื่อให้การติดต่อ AI หลายรอบนี้ทำได้อย่างง่ายและประสิทธิภาพสูง

Level

ระดับนักพัฒนา (Developer Level): สำหรับบริษัท นักวิจัย นักวิทยาศาสตร์ วิศวกรด้าน AI ที่จริงจังและต้องการปรับเปลี่ยนพฤติกรรมและความรู้ของ AI อย่างมีนัยสำคัญ การนำ AI ไปช่วยเหลือในงานผลิตภัณฑ์เฉพาะทาง เช่น ออกแบบโมเลกุลยา เป็นต้น ควรต้องศึกษา AI Fundamental อย่างลึกซึ้ง เนื่องจากต้องมีการออกแบบโปรแกรมการสอน และข้อมูลสอน AI ให้ถูกต้อง

Level

ระดับนักพัฒนาขั้นสูง (Advanced Level): สำหรับองค์กรขนาดใหญ่ ที่ไม่เพียงต้องการปรับความรู้และพฤติกรรมของ AI แต่ยังต้องการรีดเค้นให้ AI มีประสิทธิภาพสูงที่สุด (แม่นยำ เร็ว และประหยัดที่สุด) ต้องเรียนรู้ตลอดเวลาเพื่อประยุกต์ใช้เทคนิคขั้นสูง และดัดแปลงงานวิจัยใหม่ๆ ที่ได้รับการพิสูจน์และยอมรับในวงกว้าง โดยอาจต้องมีการแก้ ดัดแปลงโค้ด จาก OpenSource อย่างมีนัยสำคัญ

Level

ระดับดาราในวงการ (Star Level) : หรืออาจเรียกว่า นักวิจัยระดับโลก สำหรับนักวิจัยที่อยู่ในวงการและมีส่วนร่วมในการขับเคลื่อนทิศทางด้วยการคิดค้นนวัตกรรม AI ในระดับสากล ต้องมีพื้นฐาน Level 3 และ 4 อย่างแข็งแรง รวมทั้งเข้าใจงานวิจัยในงานประชุมวิชาการด้าน AI ที่ดีที่สุด เช่น ICLR, NIPS หรือ ICML อย่างลึกซึ้งทั้งภาคทฤษฎี สมการคณิตศาสตร์ และการ Implementation

1) OCR (Optical Character Recognition) หรือการอ่านตัวหนังสือ (ลายมือหรือตัวพิมพ์) จากรูปภาพ นั้นเป็นงานที่พัฒนากันมาหลายสิบปีและมีโมเดลดีๆ ให้ใช้มากมาย ยกตัวอย่างเช่น EasyOCR หรือ TransformerOCR โมเดล OCR บางครั้งต้องนำมาใช้ก่อนจะนำไปเข้า Document AI ประเภทอื่นๆ

---

2) Document Classification หรือ การจำแนกประเภทเอกสารต่างๆ เช่น เอกสารเป็นบันทึก เป็นจดหมายราชการ หรือเป็น email เป็นต้น

วิธีการที่ง่ายที่สุดในการทำ Doc Classification คือนำเอกสารต่างๆ เข้า OCR ก่อนที่จะฝึกและจำแนกด้วย Text Model เช่น BERT เป็นต้น

อย่างไรก็ดี "รูปแบบการจัดเรียง" หรือ layout ของเอกสารเหล่านี้ มักมีเอกลักษณ์เฉพาะตัว (ดูรูปที่ 1 และหัวข้อถัดไป) ดังนั้นถ้าเรานำการจัดเรียง หรือ layout มาพิจารณาด้วย (นอกจากข้อความจาก OCR) จะทำให้การ classification ง่ายขึ้นอย่างมาก จึงเป็นที่มาของโมเดลเช่น LayoutLM, LayoutLMv2 และ LayoutLMv3 เป็นต้น

ใน dataset มาตรฐาน OCR+BERT นั้นทำทำความแม่นยำ 89% ในขณะที่ LayoutLM3 นั้นแม่นยำถึง 95% จากการใช้ Layout

----

3) Layout Analysis : การวิเคราะห์ layout คือการจำแนกแต่ละบล็อกของเอกสาร (ดูรูปที่ 2) เช่น บล็อกตาราง บล็อกรูปภาพ หรือบล็อกข้อความ รวมทั้งตำแหน่งของแต่ละบล็อก เป็นต้น

งาน layout analysis นี้สามารถมองเป็นงาน image object detection ได้ดังแสดงในรูปที่ 2 ซึ่งจะทำให้ได้คลาสและตำแหน่งของบล็อกที่ต้องการ

สามารถใช้งาน LayoutLMv3 จัดการงานนี้ได้ครับ

---

4) Document Parsing : คือขั้นต่อจาก Layout Analysis นั่นคือนอกจากจะ detect แต่ละบล็อกได้อย่างถูกต้องแล้ว ยังสามารถดึงข้อมูลในบล็อกแต่ละประเภทได้อย่างเหมาะสมอีกด้วย ลองใช้โมเดล Donut หรือ ErnieLayout ได้ครับ

---

5) Table Detection, Extraction and Recognition : งานดึงข้อมูลจาก Table อาจต้องใช้โมเดลอื่นที่มีความแม่นยำมากกว่าโมเดล Document Parsing ทั่วไป โมเดล Table Transformers ถูกออกแบบมาเพื่องานนี้โดยเฉพาะครับ

---

6) Document Q&A : ขั้นถัดไปของ Document AI คือไม่ใช่แค่บันทึกข้อมูลในเอกสารลงคอมพิวเตอร์อย่างถูกต้องเท่านั้น แต่เรายังสามารถถามคำถามต่างๆ เกี่ยวกับเอกสารเหล่านั้นได้ โดยเป็นคำถามภาษามนุษย์ ไม่ใช่ภาษาคอมพิวเตอร์เช่น SQL ดูตัวอย่างในรูปที่ 3 ครับ

โมเดลเช่น Donut สามารถจัดการงานเหล่านี้ได้และลองเล่นได้ที่นี่ครับ https://huggingface.co/spaces/impira/docquery

---

เพิ่มเติม 1. โมเดลเช่น LayoutLM เวอร์ชั่นต่างๆ ไม่อนุญาตให้นำไปใช้งานได้แบบ commercial ก่อนจะใช้งานโมเดลเหล่านี้ในทาง commercial ให้ตรวจสอบ licence ดีๆ

เพิ่มเติม 2. ในการสร้าง Database ของ Document เหล่านี้เพื่อ query ในการใช้งานในอนาคต เราสามารถใช้โมเดลใดก็ได้ข้างบน ประมวลผล Document ให้เปลี่ยนเป็นรูป Vector และสามารถสร้าง Vector Fast Query System เช่น FAISS ในการค้นข้อมูลได้ครับ

.

เพิ่มเติม 3 : ดูตัวอย่าง notebook การใช้งานโมเดลต่างๆ ได้ที่นี่ครับ

https://github.com/NielsRogge/Transformers-Tutorials


อ้างอิง

EasyOCR : https://huggingface.co/spaces/tomofi/EasyOCR

Transformer OCR : https://huggingface.co/docs/transformers/model_doc/trocr

LayoutLMv3 : https://huggingface.co/docs/transformers/main/en/model_doc/layoutlmv3

Donut : https://huggingface.co/docs/transformers/model_doc/donut

ErnieLayout : https://huggingface.co/spaces/PaddlePaddle/ERNIE-Layout

Table Transformers : https://huggingface.co/docs/transformers/main/en/model_doc/table-transformer

FAISS : https://github.com/facebookresearch/faiss

https://youtu.be/1muUIOAFo_U

ThaiKeras & Kaggle เคยเล่าถึงการแข่งขัน FourSquare "Location Matching" คร่าวๆ ในช่วงครึ่งหลังของคลิปนี้ครับ

https://m.facebook.com/story.php?story_fbid=pfbid0DzeWff2m8zuQBDLebSonz61favYmXz1rJ47hBQCmuH6dSJEyKgCdwE3pVugR5vFBl&id=331602087754478

ThaiKeras and Kaggle - 9 Jan 2022

สวัสดีครับ ถ้าถามถึงโมเดล Deep Learning ที่คนส่วนใหญ่ใช้งานมากที่สุด รวมทั้งให้ประสิทธิภาพความแม่นยำสูงสุด เชื่อว่า Convolution Neural Networks (CNNs) และ Transformers น่าจะเป็น 2 โมเดลที่พวกเรานึกถึงเป็นอันดับแรก เนื่องจากสองโมเดลนี้ใช้งานได้กับประเภท Data ที่พบกันได้มากที่สุด เช่น รูปภาพ วิดิโอ ข้อความ และเสียง (Image, Video, Text และ Speech) เป็นต้น

อย่างไรก็ดียังมีข้อมูลอีกหลายประเภทที่มีโครงสร้างเฉพาะ ทำให้ CNNs หรือ Transformers ไม่สามารถใช้ประโยชน์จากโครงสร้างเฉพาะนั้นได้ในประโยชน์สูงสุด เช่น

• ข้อมูล Social Media เช่น Pinterest ที่มี data อยู่สองประเภทคือ "Pin" (รูปภาพ) และ "Board" (คอลเลคชั่นของรูปภาพ) โดยแต่ละ Pin อยู่ได้หลายบอร์ด และแต่ละบอร์ดมีได้หลาย Pins ตามรูปที่ 1 และเราต้องการให้โมเดลทำนายความสัมพันธ์ระหว่าง Pin และ Board 

  

สังเกตว่าปัญหานี้ input จะประกอบไปด้วยรูป pin หลายๆ รูปเชื่อมโยงกัน ซึ่งต่างจากกรณีใช้งานของ CNNs ปกติ ที่มักใช้ทำนายคุณสมบัติของรูปภาพ หรือ Pin ทีละรูป

• ข้อมูลทางเคมี เช่น ปัญหาการคิดค้น "ยา" ประเภทใหม่ (Drug Discovery) โดยตัวยานั้นแท้จริงแล้วคือ "โมเลกุล" ของอะตอมต่างๆ ทางเคมีที่มาอยู่รวมกันด้วยพันธะทางเคมีต่างๆ ซึ่ง Transformers หรือ CNNs ไม่สามารถนำโครงสร้างของ "พันธะ" เหล่านั้นมาคำนวนในโมเดลได้โดยตรง ดูรูปที่ 2

  

• ข้อมูลทางชีววิทยา เช่น สายสตริง RNA ซึ่งประกอบไปด้วยตัวอักษร A G U C ซึ่งในการโมเดลและทำนายคุณสมบัติของ RNA นั้นเราอาจจะมองว่า RNA เป็น string ธรรมดาเรียงต่อกัน และใช้โมเดลเช่น Recurrent Neural Networks (RNNs) หรือ Transformers ก็ได้ ทว่าแท้จริงแล้วสายสตริง RNA นั้นมี "รูปร่าง" การขดตัวเฉพาะตัวอยู่ ดังแสดงในรูปที่ 3 และข้อมูลที่จุดที่แต่ละตัวอักษรสัมผัสกันนั้น ไม่สามารถป้อนให้ RNNs หรือ Transformers ตรงๆ ได้

ตัวอย่างทั้ง 3 และข้อมูลที่เจอใน applications อื่นอีกมากมายนั้นสามารถ represent ได้ด้วย "กราฟ" ทางคณิตศาสตร์ ซึ่งประกอบไปด้วยเซ็ตของ Nodes และเซ็ตของ Edges โดย edge ก็คือเส้นเชื่อมระหว่าง 2 nodes ใดๆ ในกราฟ ซึ่งจะเห็นได้ว่าไม่ว่าจะเป็น พันธะเคมี การเชื่อมระหว่าง Pin/Board หรือตัวอักษรที่ติดกันในสาย RNA สามารถโมเดลด้วย edge ในกราฟได้

นั่นคือในปัญหาดังกล่าว เราสามารถระบุ input ให้อยู่ในรูปกราฟได้นั่นเอง ดังนั้นจึงเป็นจุดกำเนิดโมเดล deep learning ประเภทใหม่ที่สามารถรับกราฟเป็น input เพื่อทำนายในสิ่งที่เราสนใจได้ ซึ่งโมเดลที่ว่านั้นก็คือ Graph Neural Networks (GNNs) นั่นเอง

(ทบทวนทฤษฎีกราฟที่นี่ https://en.wikipedia.org/wiki/Graph_theory )

.

Graph Neural Networks (GNNs)

GNN ก็คือโมเดล neural network ที่รับกราฟเป็น input และ output เป็นคำทำนาย ซึ่งโดยปกติทำนายได้ 3 รูปแบบ คือ Graph prediction, node prediction และ edge prediction เช่น

• Graph prediction ใน Drug Discovery : ทำนายว่า "กราฟ" ของโมเลกุลนั้นสามารถทำหน้าที่เป็น "ยา" (ฆ่าเชื้อ หรือยับยั้งเชื้อ ฯลฯ) ได้ดีหรือไม่ ดังแสดงในรูปที่ 4
• Node prediction ใน RNA string : ทำนายว่าแต่ละโหนดในกราฟของ RNA นั้น "ทนทาน" ต่อความร้อนในมากแค่ไหน (ทำนายทุกโหนดในกราฟ)
• Edge prediction ใน Pinterest : ทำนายว่า Pin ใหม่ที่ user เพิ่ง upload เข้ามาควรจะถูก recommend ใน board ใดหรือไม่ (มี edge เชื่อมระหว่างโหนด pin และโหนด board หรือไม่)

https://i.ibb.co/kmW6cyh/4-drug-prediction.png

.

ว่าด้วยเรื่องการระบุ input ให้อยู่ในรูปกราฟ

ใน CNNs หรือ Transformers , inputs นั้นจะอยู่ในรูปของ vectors หรือ matrix หรือ tensor ขึ้นกับจำนวนมิติของ input เช่น image 1 รูปอาจเป็น 3D tensor ขนาด 512x512x3 ส่วน texts อาจเป็น sequence of vectors (หรือ matrix = 2D tensor) อาทิ เช่น 2,048 x 500,000 โดย 2048 คือจำนวน "คำ" สูงสุดในข้อความและ 500,000 คือ 1-hot vector ที่ระบุ vocabulary หรือคำศัพท์ทั้งหมดที่โมเดลรู้จัก เป็นต้น

เมื่อ input เราเป็นกราฟนั้น ตามนิยาม inputs ก็มักจะประกอบไปด้วย input สองส่วน นั่นคือ node-input และ edge-input นั่นเอง ดั่งแสดงในรูปที่ 5

นั่นคือเรา represent Graph G = (X, A) โดย X แทน vectors ทั้งหมดของทุกโหนดในกราฟ ,  ส่วน A ระบุ edges ในกราฟ

ในรูปที่ 5 แสดงกรณีเรามี input 3 กราฟ ซึ่งแทนด้วย G_1สีส้ม G_2เขียว G_3น้ำเงินตามลำดับ

https://i.ibb.co/7RmLcBM/5-graph-representation.png

สังเกตกราฟ G_1 สีส้ม

• X_1 ก็คือ matrix ที่แต่ละแถวประกอบไปด้วย vector ของแต่ละโหนด
• A_1 คือ Adjacency-matrix หรือ Edges-matrix ที่ระบุว่าโหนดใดเชื่อมต่ออยู่กับโหนดใด เช่น ในตัวอย่างนี้มีโหนดทั้งหมด 5 โหนดแทนด้วย x0, x1, x2, x3, x4 สังเกตจากสีได้ว่า A_1 ระบุว่า node x_0 เชื่อมกับ x_1 และ x_3 เป็นต้น โดย A_i อาจเป็น 0/1 หรืออาจเป็น real number ซึ่งแสดง weight ของ edge ก็ได้

.

ในการเขียนโค้ดเช่น keras  เนื่องจากกราฟนั้นแทนด้ย 2 input tensors, แทนที่เราจะเรียก model.fit(X,y) ตามปกติเหมือนโมเดลอื่นๆ

เราก็จะต้องเตรียม 2 inputs X,A และเรียกใช้งานแบบนี้ครับ

model.fit(, y)

(โค้ด keras ในบทความหน้า)

.

ในปัญหา drug discovery นั้น 1 กราฟแทนด้วย 1 โมเลกุลของยาที่เราต้องการทดสอบ ทำนองเดียวกันกับปัญหา RNA ที่ 1 กราฟแทนด้วย 1 RNA string

ในปัญหา Pinterest's edge prediction ที่อธิบายข้างต้นนั้น การออกแบบกราฟอาจจะไม่ชัดเจนเท่า 2 ปัญหาข้างต้น โดยในทางปฏิบัติเราอาจจัดหมวดหมู่ category ของรูปภาพตาม popular tags โดยอาจจะเจาะจง 10,000 tags ที่ได้รับความนิยมสูงที่สุด  และแทนให้แต่ละ tag คือ 1 กราฟ

โดยแต่ละ กราฟ นั้นก็จะมี pin และ board ทั้งหมดที่ถูก tag นั้นๆ อยู่ในกราฟ ซึ่งในกรณี pinterest นั้นแต่ละกราฟจะมีขนาดใหญ่มหึมา เนื่องจากแต่ละกราฟอาจประกอบไปด้วยรูป pin ถึงหลักแสน หลักล้าน หรือมากกว่า

.

เรา represent node-input ในรูป vector ได้อย่างไร?

ในกรณีของโมเลกุลและ RNA นั้นเราสามารถใช้ one-hot vector เพื่อระบุว่าแต่ละโหนดเป็น โมเลกุล/RNA-base ประเภทใด และเรียนรู้ embedding vector ของ 1-hot vector นั้นๆ อีกที (ใช้ tf.keras.layers.Embedding )

ส่วนตัวอย่าง Pinterest ซึ่งแต่ละกราฟประกอบไปด้วยโหนดซึ่งแทนด้วยรูปภาพ pin หลักล้านรูป และโมเดล GNN ต้องรับ input นี้เข้าไปเพื่อทำนายนั้น

อาจทำให้สงสัยว่าจะเป็นไปได้ในทางปฏิบัติหรือ เพราะในกรณี CNNs ปกตินั้นแค่รับ input ด้วยภาพขนาด 1 batch นั้นในแต่ละ batch ก็มักจะมีขนาดหลักร้อยหรือหลักพันเท่านั้น สำหรับ GPU ที่มีหน่วยความจำมาตรฐานขนาด 16GB-32GB

ในกรณีของ Pinterest และ GNN นั้นแต่ละรูปไม่จำเป็นต้อง input ด้วย raw image (เช่น ขนาด 512x512x3) แต่อาจจะเป็น processed vector หรือ image vector ที่ผ่านโมเดล Neural Networks อื่นมาก่อนแล้ว เช่นเป็น Pooling output ของ EfficientNet-B0 ซึ่งเป็น vector ขนาด 1280x1 เป็นต้น

(ยิ่งไปกว่านั้น ในกรณีนี้ Pinterest ยังออกแบบ Graph sampling หรือการสุ่ม sub-graph เพียงบางส่วนขึ้นมาทำนายเพื่อประหยัดขนาดของข้อมูลได้อีก ดูรายละเอียดได้ที่ Pinterest blog : https://medium.com/pinterest-engineering/pinsage-a-new-graph-convolutional-neural-network-for-web-scale-recommender-systems-88795a107f48 )

.

Message passing ใน GNN

หัวใจของโมเดล Deep Learning เช่น CNNs หรือ Transformers ก็คือการเปลี่ยน input ที่อยู่ในรูปแบบดั้งเดิม (raw) เปลี่ยนให้เป็นเวกเตอร์ทางคณิตศาสตร์ (เรียก embedding vector) เช่น EfficientNet เปลี่ยนรูปภาพ 512x512x3 ให้เป็น 1280x1  หรือ BERT Transformers เปลี่ยน 1-hot vector ของ "คำศัพท์" แต่ละคำเป็น 768x1 เป็นต้น

โดยการเปลี่ยนข้อมูล input จาก raw ให้เป็นเวกเตอร์นั้นถ้าพูดกันในภาพรวมจะผ่าน 2 กระบวนการดังนี้ (ดูรูปที่ 6)

https://i.ibb.co/0mX3jw5/6-deep-layers.png

นำ input เข้า non-linear transformation เมื่อได้ output แล้วก็นำ output นั้นไปเข้า non-linear transformation บล็อกถัดไป ทำอย่างนี้ต่อเนื่องหลายๆ ครั้ง (หลายๆ บล็อคสี่เหลี่ยมในรูปที่ 6) ซึ่งใน Deep Learning นั้น แต่ละ transformation block ก็คือ Neural Network layer นั่นเอง และการทำ transformation ต่อเนื่องหลายรอบนี้เอง ที่เป็นที่มาของคำว่า "Deep" (ลึก) เพราะ Neural network ที่เอา layers มาต่อกันนับสิบหรือร้อย layer เปรียบเปรยได้กับสมการที่มีความยาว หรือ "ความลึก" มากนั่นเอง

ตรงนี้สำคัญมาก -- ในแต่ละ transformation layer นั้น แต่ละโมเดลจะออก "กระบวนการ process input-ย่อย" ที่แตกต่างกัน -- หมายเหตุ input-ย่อย ของรูปภาพคือจุด pixel, หรือ input-ย่อยของข้อความก็คือ "แต่ละคำในข้อความ" เป็นต้น ส่วน input-ย่อยของกราฟ ก็คือโหนดนั่นเอง -- โดยทุกโมเดลที่เรารู้จักกันดีจะมีแนวคิดในการ process input-ย่อยด้วยแนวคิดที่เรียกว่า "Message Passing" หรือ "การกระจาย information จาก input-ย่อยหนึ่ง ไปยังอีก input-ย่อยหนึ่ง" ที่ต่างกันออกไป ดูรูปที่ 7 และรูปที่ 8 เช่น

1. 1. ใน CNN นั้น message passing ระหว่าง pixel นึงไปยังอีก pixel จะผ่านกระบวนการที่เรียกว่า convolution นั่นคือ, pixel นึงจะรับ information ( information ที่ส่งผ่านกันนิยมเรียกว่า "message") จาก pixel รอบข้าง
   2. ใน RNN นั้น message passing จะทำจากคำที่อยู่ติดกัน ส่งไปยังคำถัดไปเรื่อยๆ (ถ้าเป็น bi-directional ก็คือส่ง message ทั้งจากคำด้านหน้า และคำด้านหลัง)
   3. ใน Transformer นั้น message passing จะเป็นแบบ "fully connected" นั่นคือ ทุกๆ "input-ย่อย" (เช่น คำแต่ละคำในข้อความ) ก็จะกระจาย information หรือ message ไปให้ทุกๆ input-ย่อย นั่นคือคำอื่นๆ ทั้งหมด

การออกแบบ message-passing นี้ส่งผลอย่างมีนัยสำคัญกับประสิทธิภาพของแต่ละโมเดล โดยจะดีหรือไม่ขึ้นอยู่กับประเภทของข้อมูล input เช่น message passing ของ Transformer นั้นเหมาะสมกับข้อมูลข้อความ มากกว่า message-passing ของ RNN มาก เพราะ information นั้นสามารถกระจายถึงกันได้อย่างเหมาะสม (ตัวอย่างเช่นคำว่า "it" ในข้อความเช่น "Dog is a very good friend of mine. I love it." โยงกับคำว่า "Dog" ซึ่งมีตำแหน่งอยู่ 10 คำก่อนหน้า "it"

โดย RNN นั้น message จาก 10 คำก่อนหน้าจะไม่ส่งมาถึงคำปัจจุบันโดยตรงได้เหมือน transformer) นั่นทำให้ปัจจุบันโมเดล transformer นั้นมาทดแทน RNN ไปแทบจะสิ้นเชิง

ทว่าใน input ที่เป็นรูปภาพนั้น การกระจายข้อมูล local message passing ของ CNN ที่เน้นกระจายข้อมูลจาก pixel ใกล้ๆ กัน ก็ยังมีประสิทธิภาพดีกว่าของ Transformer ที่กระจายข้อมูลจากทุกจุดในภาพไปยังจุดอื่นๆ อีกทั้งหมดในภาพ เป็นต้น

https://i.ibb.co/T4HHqN8/7-cnn-gcn-convolution.png

รูปที่ 7

ซ้าย - message passing ใน convolution ของ CNN จะทำผ่าน pixel รอบข้าง

ขวา - message passing ของ GNN จะกระทำผ่านโหนดรอบข้าง ซึ่งพยายามทำให้ใกล้เคียงกับแนวคิดของ convolution นั่นเอง

รูปที่ 8 บน message passing ของ RNN จะทำจากคำที่อยู่ติดกัน

ล่าง message passing ของ transformer จะส่งจากทุกๆ คำไปยังทุกๆ คำ (ซึ่งพบว่าเหมาะสมกับ input ที่เป็นข้อความมากกว่า RNN)

สำหรับ GNN นั้นโมเดลก็จะประกอบไปด้วย neural network layers หลาย layers เช่นเดียวกันกับโมเดลอื่นๆ ส่วน message passing ในกราฟนั้นโมเดลส่วนใหญ่จะออกแบบให้ส่ง information หรือ message ผ่าน "edges" ในกราฟ ดังแสดงในรูปที่ 7 ครับ ซึ่งการกระจายข้อมูลแบบนี้สามารถแปลงเป็น programming code ได้อย่างง่ายดาย และถือได้ว่ามีการใช้ "โครงสร้างของกราฟ" ที่เราเกริ่นในตอนต้นของบทความได้อย่างเหมาะสม ซึ่งเราจะดูโค้ดกันในบทความหน้า

สำหรับแนวคิดการออกแบบ GNN ก็น่าจะมีราวๆ นี้นะครับ ซึ่งบทความนี้พยายามอธิบายให้ง่ายที่สุดแบบบ้านๆ  จึงอาจจะไม่เป็นทางการบ้าง ทว่าเพื่อนๆ สามารถศึกษาแนวคิด GNN "อย่างจริงจัง" เพิ่มเติมได้จากแหล่งอ้างอิง 2 ที่นี่นะครับ

• Intro to graph neural networks (ML Tech Talks) : https://youtu.be/8owQBFAHw7E
• รวม GNN architecture :  https://theaisummer.com/gnn-architectures/

ในคราวหน้าเราจะมาศึกษา GNNs ที่มาตรฐานที่สุดคือ Graph Convolution Networks (GCNs) และ Graph Attention Networks (GATs) พร้อม Keras code และ Keras library ที่ชื่อ Spektral กัน