# แชตบอตคิดอย่างไร

> ChatGPT, Claude, Gemini และโมเดลอื่น ๆ ตอบคำถามผู้คนหลายร้อยล้านคนในแต่ละสัปดาห์ แต่เบื้องหลังมันทำเรื่องง่าย ๆ อยู่เรื่องเดียว และทำได้เก่งอย่างน่าทึ่ง นั่นคือการเดาว่าข้อความชิ้นถัดไปควรเป็นอะไร ภาพยนตร์เรื่องนี้จะพาเปิดดูข้างในเครื่อง ตั้งแต่โทเค็นแรกไปจนถึงคำถามที่ยังไม่มีใครตอบได้ พร้อมเครื่องมือทดลองที่คุณลองเล่นเองได้

Interactive film: https://www.planetpast.com/stories/how-llms-work/?lang=th  
Publisher: PlanetPast (https://www.planetpast.com/) · เผยแพร่ 2026-10-13 · Technology, Math

## บทนำ

### แชตบอตคิดอย่างไร
*ตุลาคม 2026*

คุณพิมพ์คำถาม ไม่กี่วินาทีต่อมาก็มีคำตอบที่อ่านลื่นไหลปรากฏขึ้น ระหว่างนั้นเกิดอะไรขึ้นกันแน่

วันที่ 7 ตุลาคม 2026 OpenAI เริ่มทยอยเปิดให้ผู้ใช้ ChatGPT ทั่วโลกใช้โมเดลใหม่ GPT-6 พร้อมหน้าตาที่แสดงภาพได้มากขึ้น แชตบอตอย่าง ChatGPT, Claude และ Gemini กลายเป็นส่วนหนึ่งของชีวิตประจำวันแล้ว ต้นปี 2026 ChatGPT เพียงตัวเดียวมีผู้ใช้ 900 ล้านคนต่อสัปดาห์ มันพูดจาได้เหมือนคน แต่ข้างในไม่มีคนตัวเล็ก ๆ นั่งอยู่ มีแต่ฟังก์ชันทางคณิตศาสตร์ขนาดมหึมาที่สร้างขึ้นจากตัวเลข งานของมันอธิบายได้ในประโยคเดียว คืออ่านข้อความ แล้วเดาว่าอะไรจะมาต่อ เรื่องนี้คือการเดินทางว่างานง่าย ๆ นี้เติบโตจนเขียน อธิบาย และให้เหตุผลได้อย่างไร

บทนำ · ทำไมเรื่องนี้จึงสำคัญตอนนี้

#### คำถามเข้าไป คำตอบออกมา

วันที่ 7 ตุลาคม 2026 OpenAI เริ่มเปิดให้ผู้ใช้ ChatGPT ทั่วโลกใช้ GPT-6 นับเป็นรุ่นล่าสุดในวงการที่เปลี่ยนแปลงเร็วมาก มีบริษัทอย่าง OpenAI, Anthropic, Google และ Meta อยู่ในสนาม และวงการนี้เริ่มบูมจริงจังตั้งแต่ ChatGPT เปิดตัวเมื่อ 30 พฤศจิกายน 2022 ระบบเหล่านี้ล้วนเป็น **โมเดลภาษาขนาดใหญ่** (large language model หรือ LLM) คือโครงข่ายประสาทเทียมที่ฝึกด้วยข้อความปริมาณมหาศาลเพื่อสร้างภาษา ภาพยนตร์เรื่องนี้จะอธิบายวิธีทำงานของมันทีละความคิด โดยไม่ต้องมีพื้นคณิตศาสตร์มาก่อน

- **ChatGPT เปิดตัว**: 30 พ.ย. 2022 มีผู้ใช้ 100 ล้านคนภายในสองเดือน

- **ผู้ใช้ต่อสัปดาห์**: 900 ล้าน ของ ChatGPT รายงานเมื่อ ก.พ. 2026

- **เคล็ดลับหลัก**: ทำนายข้อความชิ้นถัดไป ซ้ำแล้วซ้ำอีก ทุกอย่างที่เหลือในเรื่องนี้คือวิธีทำให้การเดานั้นแม่นขึ้น

กาแล็กซีที่หมุนวนทางซ้ายคือภาพแทนคลังคำของโมเดล สี่เหลี่ยมเล็ก ๆ แต่ละอันแทนข้อความหนึ่งชิ้น สายสีฟ้าพาข้อความของคุณเข้าไป สายสีทองพาคำตอบออกมา เป็นภาพประกอบ ไม่ใช่ข้อมูลที่วัดจริง

วิธีใช้: เลือกบทใต้ภาพ หรือกด ← → เพื่อเปลี่ยนขั้น · ▶ เล่นขั้นนั้น · ลากเพื่อหมุน เลื่อนหรือถ่างนิ้วเพื่อซูม · “เล่นทั้งเรื่อง” จะเล่นทุกขั้นแบบเต็มจอ หลายขั้นมีเครื่องมือให้ลองเล่นในแผงนี้

แหล่งข้อมูล (ภาษาอังกฤษ): [TechCrunch, 7 Oct 2026](https://techcrunch.com/2026/10/07/chatgpt-is-getting-a-lot-more-visual-with-the-launch-of-a-new-interface/); [Wikipedia: ChatGPT](https://en.wikipedia.org/wiki/ChatGPT); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทที่ I · โทเค็น

### หั่นข้อความเป็นชิ้น
*บทที่ I · โทเค็น*

คอมพิวเตอร์อ่านตัวอักษรไม่เป็น ทุกอย่างต้องกลายเป็นตัวเลขก่อน

โมเดลภาษาไม่เคยเห็นตัวอักษรเลย สิ่งแรกที่เกิดกับข้อความของคุณคือมันถูกหั่นเป็นชิ้นเล็ก ๆ ที่เรียกว่าโทเค็น คำที่ใช้บ่อยจะได้โทเค็นของตัวเอง คำที่พบไม่บ่อยจะประกอบจากชิ้นเล็กหลายชิ้น และทุกชิ้นมีหมายเลขประจำตัวในคลังคำที่ตายตัว จากนั้นหมายเลขแต่ละตัวจะถูกแทนด้วยตัวเลขชุดยาวที่เรียกว่าเวกเตอร์ นับจากนี้โมเดลทำงานกับเวกเตอร์เหล่านี้เท่านั้น ในภาษาอังกฤษ หนึ่งโทเค็นยาวราวสามในสี่ของคำ ลองพิมพ์ข้อความของคุณเองในแผงด้านข้างดู

บทที่ I · ขั้นที่ 1

#### ข้อความกลายเป็นโทเค็น

ก่อนโมเดลจะทำอะไรได้ ข้อความต้องถูกแบ่งเป็น **โทเค็น** (token) ซึ่งอาจเป็นคำทั้งคำ ส่วนหนึ่งของคำ ตัวอักษรตัวเดียว หรือเครื่องหมายวรรคตอน ตัวตัดโทเค็นสมัยใหม่ส่วนใหญ่ใช้วิธี **byte-pair encoding** (BPE) ซึ่งฟิลิป เกจ (Philip Gage) อธิบายไว้ครั้งแรกในปี 1994 หลักการคือเริ่มจากตัวอักษรเดี่ยว แล้วรวมคู่ที่อยู่ติดกันบ่อยที่สุดเข้าด้วยกันซ้ำไปเรื่อย ๆ จนคลังคำมีขนาดตามที่กำหนด

ลองเลย: ตัวตัดโทเค็น*แบบย่อ*
ตัวเข้ารหัสแบบไบต์แพร์ (byte-pair encoding) ฉบับย่อที่เขียนขึ้นสำหรับหน้านี้ คลังคำราว 1,100 ชิ้นเรียนรู้จากบทแรก ๆ ของ *อลิซผจญภัยในแดนมหัศจรรย์* กับย่อหน้าภาษาไทยอีกไม่กี่ย่อหน้า หมายเลขจึงเป็นของเดโมนี้เท่านั้น ตัวตัดโทเค็นจริงเรียนรู้ 50,000–200,000 ชิ้นจากข้อความมากกว่านี้มหาศาล ชิ้นที่ไม่เคยเรียนจะถูกแตกเป็นไบต์ดิบ แสดงแบบ ‹E0›

- **หลักคร่าว ๆ (ภาษาอังกฤษ)**: 1 โทเค็น ≈ 4 ตัวอักษร 100 โทเค็น ≈ 75 คำ ภาษาอื่นจะต่างออกไป

- **คลังคำของ GPT-4**: 100,258 ชิ้น BPE 100,000 ชิ้น + โทเค็นพิเศษ 258 ตัว

อัตราส่วนระหว่างโทเค็นกับคำแตกต่างกันไปในแต่ละภาษา อย่างภาษาไทยที่เขียนติดกันโดยไม่เว้นวรรคระหว่างคำ ลองพิมพ์ภาษาไทยลงในช่องดูว่าตัวตัดโทเค็นตัวเล็กนี้รับมืออย่างไร

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Byte-pair encoding](https://en.wikipedia.org/wiki/Byte-pair_encoding); [OpenAI Help Center: What are tokens](https://help.openai.com/en/articles/4936856-what-are-tokens); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทที่ II · ความหมายคือทิศทาง

### ความหมายคือทิศทาง
*บทที่ II · 2013*

คำที่ถูกใช้ในบริบทคล้ายกันจะอยู่ใกล้กัน และความสัมพันธ์ระหว่างคำกลายเป็นลูกศร

โทเค็นแต่ละตัวกลายเป็นจุดหนึ่งในปริภูมิที่มีหลายร้อยหรือหลายพันมิติ เราวาดได้แค่สามมิติ ภาพนี้จึงเป็นภาพร่างอย่างง่าย ตำแหน่งของจุดเรียนรู้มาจากข้อความ คำที่มักปรากฏท่ามกลางคำแวดล้อมคล้ายกัน เช่น แมวกับสุนัข จะลอยมาอยู่ใกล้กัน ที่น่าทึ่งกว่านั้นคือความสัมพันธ์กลายเป็นทิศทาง ระยะก้าวจากผู้ชายไปผู้หญิง ใกล้เคียงกับระยะก้าวจากกษัตริย์ไปราชินี ปี 2013 นักวิจัยแสดงให้เห็นว่า กษัตริย์ ลบ ผู้ชาย บวก ผู้หญิง จะได้ผลลัพธ์ที่อยู่ใกล้ราชินีมาก ความหมายกลายเป็นเรขาคณิตไปแล้ว

บทที่ II · ขั้นที่ 2 · 2013

#### โทเค็นกลายเป็นเวกเตอร์

หมายเลขโทเค็นแต่ละตัวจะถูกแทนด้วย **เอ็มเบดดิง** (embedding) คือชุดตัวเลขที่กำหนดตำแหน่งของมันเป็นจุดในปริภูมิหลายมิติ ไม่มีใครตั้งค่าตัวเลขเหล่านี้เอง มันถูกเรียนรู้ขึ้นมา เพราะคำที่ใช้ในบริบทคล้ายกันจะได้เวกเตอร์ที่คล้ายกัน ในปี 1957 นักภาษาศาสตร์ เจ. อาร์. เฟิร์ท (J. R. Firth) สรุปแนวคิดนี้ไว้ว่า เราจะรู้จักคำหนึ่งได้จากคำที่มันคบหาด้วย

ลองเลย: เลขคณิตของคำ*วางตำแหน่งเอง เพื่อประกอบ*

- **word2vec (Google)**: 2013 มิโคลอฟ (Mikolov) และคณะ เวกเตอร์ยาวราว 100–1,000 ค่า

- **เวกเตอร์ใน GPT-3**: 12,288 ค่า ต่อหนึ่งโทเค็น

- **ผลลัพธ์ที่โด่งดัง**: “King − Man + Woman” อยู่ใกล้ “Queen” มาก มิโคลอฟ, ยีห์ และซไวก์ ปี 2013

จุดสามมิติในภาพนี้วางตำแหน่งเองเพื่ออธิบายหลักการ เอ็มเบดดิงจริงมีมิติมากกว่านี้มากและไม่เป็นระเบียบขนาดนี้ เอ็มเบดดิงยังซึมซับอคติจากข้อความที่ใช้ฝึกด้วย งานวิจัยปี 2016 พบการเปรียบเทียบแบบ “ผู้ชายคู่กับโปรแกรมเมอร์ ผู้หญิงคู่กับแม่บ้าน”

แหล่งข้อมูล (ภาษาอังกฤษ): [Mikolov, Yih & Zweig, NAACL-HLT 2013](https://aclanthology.org/N13-1090.pdf); [Wikipedia: Word2vec](https://en.wikipedia.org/wiki/Word2vec); [Wikipedia: Word embedding](https://en.wikipedia.org/wiki/Word_embedding); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3)

## บทที่ III · คำถัดไป

### เดาคำถัดไป
*บทที่ III · การทำนาย*

โมเดลไม่เคยเขียนคำตอบทั้งก้อนในทีเดียว มันเลือกทีละโทเค็น ต่อท้ายข้อความ แล้วเดาใหม่

จากทุกอย่างที่เขียนมาแล้ว โมเดลจะให้คะแนนกับทุกโทเค็นในคลังคำ ฟังก์ชันที่เรียกว่าซอฟต์แมกซ์ (softmax) เปลี่ยนคะแนนเหล่านั้นให้เป็นความน่าจะเป็นที่รวมกันได้หนึ่งร้อยเปอร์เซ็นต์ จากนั้นจึงสุ่มเลือกโทเค็นหนึ่งตัว เหมือนทอยลูกเต๋าที่ถ่วงน้ำหนักไว้ นำไปต่อท้ายข้อความ แล้วทำซ้ำทั้งกระบวนการ ค่าที่เรียกว่าอุณหภูมิควบคุมลูกเต๋านี้ อุณหภูมิต่ำ ได้ตัวเลือกที่ปลอดภัยและคาดเดาได้ อุณหภูมิสูง ได้คำที่แปลกใหม่ และถ้าสูงเกินไปก็จะกลายเป็นคำเพ้อ

บทที่ III · ขั้นที่ 3

#### ทำนายโทเค็นถัดไป

แก่นแท้ของโมเดลภาษาคือเครื่องทำนายโทเค็นถัดไป เมื่อได้รับข้อความที่มีอยู่ มันจะให้ความน่าจะเป็นกับทุกโทเค็นในคลังคำ เลือกมาหนึ่งตัว ต่อท้ายข้อความ แล้วคำนวณใหม่กับข้อความที่ยาวขึ้น คำตอบยาว ๆ ก็ถูกสร้างขึ้นแบบนี้ ทีละโทเค็น

ลองเลย: เครื่องทำนายคำถัดไปจิ๋ว*ของเล่นไตรแกรม*
อุณหภูมิ
ของเล่นนี้ดูแค่สองคำล่าสุด และเรียนรู้จากข้อความราว 6,000 คำของ *อลิซผจญภัยในแดนมหัศจรรย์* (บทที่ I–III ซึ่งเป็นสาธารณสมบัติ) มันจึงเขียนเป็นภาษาอังกฤษสำนวนของลูอิส แคร์รอลล์ ไม่ว่าคุณจะอ่านหน้านี้เป็นภาษาใด ส่วนโมเดลจริงดูย้อนหลังได้หลายพันโทเค็น และเรียนรู้จากข้อความหลายล้านล้านโทเค็น

- **ให้คะแนน** โครงข่ายคำนวณตัวเลขหนึ่งค่าต่อหนึ่งโทเค็นในคลังคำ

- **ซอฟต์แมกซ์** ยกกำลังแล้วหารด้วยผลรวมให้ได้ผลรวมเป็น 1 (ในฟิสิกส์ สูตรเดียวกันนี้คือการแจกแจงของโบลทซ์มันน์ ปี 1868)

- **อุณหภูมิ** นำคะแนนหารด้วย T ก่อน ถ้า T ต่ำ การแจกแจงจะแหลมไปทางตัวเลือกอันดับหนึ่ง ถ้า T สูงจะแบนราบลง

- **สุ่ม** เลือกหนึ่งโทเค็น ต่อท้าย แล้วทำซ้ำ

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model); [Wikipedia: Softmax function](https://en.wikipedia.org/wiki/Softmax_function); ข้อความ: [Project Gutenberg eBook #11](https://www.gutenberg.org/ebooks/11)

## บทที่ IV · การเรียนรู้

### ปุ่มหมุนนับพันล้าน
*บทที่ IV · การเรียนรู้*

ความน่าจะเป็นมาจากไหน มาจากโครงข่ายของตัวเลขที่เริ่มต้นแบบสุ่ม แล้วถูกปรับทีละนิด

คะแนนเหล่านั้นมาจากโครงข่ายประสาทเทียม คือหน่วยคำนวณง่าย ๆ เรียงเป็นชั้นและเชื่อมถึงกัน ทุกเส้นเชื่อมมีน้ำหนัก เป็นตัวเลขที่เหมือนปุ่มหมุน ตอนเริ่มฝึก ปุ่มหมุนทุกตัวถูกตั้งแบบสุ่ม การเดาครั้งแรก ๆ จึงไร้สาระ โมเดลอ่านข้อความจริงแล้วเดาคำถัดไป คำที่เดาจะถูกเทียบกับคำที่มาต่อจริง ความต่างนี้คือความผิดพลาด หรือค่าสูญเสีย (loss) อัลกอริทึมชื่อการแพร่ย้อนกลับ (backpropagation) คำนวณว่าควรหมุนปุ่มแต่ละตัวไปทางไหนเพื่อให้ความผิดพลาดลดลงเล็กน้อย แล้วขยับทุกปุ่ม ทำซ้ำเป็นล้านล้านครั้ง

บทที่ IV · ขั้นที่ 4

#### โครงข่ายของตัวเลขที่ปรับได้

ตัวโมเดลคือโครงข่ายประสาทเทียม ตัวเลขไหลผ่านชั้นต่าง ๆ ไปข้างหน้า ถูกคูณด้วย **น้ำหนัก** (weight) และผ่านฟังก์ชันง่าย ๆ น้ำหนักเหล่านี้ (รวมกับตัวเลขอื่นอีกเล็กน้อย) คือ **พารามิเตอร์** ของโมเดล การฝึกเป็นแบบกำกับตนเอง (self-supervised) “คำตอบที่ถูก” ก็คือโทเค็นถัดไปในข้อความจริง จึงไม่ต้องมีคนมานั่งติดป้ายกำกับข้อมูล

- **ไปข้างหน้า:** โครงข่ายอ่านข้อความแล้วให้ความน่าจะเป็นของโทเค็นถัดไป (คลื่นสีฟ้า)

- **เทียบ:** ค่าสูญเสียวัดว่าโมเดลให้ความน่าจะเป็นกับโทเค็นที่มาจริงมากน้อยแค่ไหน

- **ย้อนกลับ:** การแพร่ย้อนกลับคำนวณว่าน้ำหนักแต่ละตัวควรหมุนไปทางไหนเพื่อลดค่าสูญเสีย (คลื่นสีส้ม)

- **ปรับ:** ขยับน้ำหนักทุกตัวไปทางนั้นเล็กน้อย สังเกตในภาพว่าคำว่า “ง่วง” มีโอกาสสูงขึ้นทุกรอบ

- **โครงข่ายของเล่นนี้**: 237 พารามิเตอร์ (น้ำหนัก + ไบแอส)

- **GPT-3 (2020)**: 175,000 ล้าน พารามิเตอร์

- **การแพร่ย้อนกลับ**: ลินไนมา 1970 · เวอร์บอส 1982 · รูเมลฮาร์ต ฮินตัน และวิลเลียมส์ 1986 บทความในวารสาร *Nature* ปี 1986 ทำให้วิธีนี้เป็นที่รู้จักแพร่หลาย

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Backpropagation](https://en.wikipedia.org/wiki/Backpropagation); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3)

### เดินลงเขาท่ามกลางหมอก
*บทที่ IV · การลดตามความชัน*

ลองนึกภาพการตั้งค่าปุ่มหมุนทุกแบบเป็นภูมิประเทศ ความสูงคือความผิดพลาด การฝึกคือการเดินลงเขาอันยาวไกล

ลองนึกภาพค่าความผิดพลาดเป็นภูมิประเทศ ทุกจุดคือการตั้งค่าน้ำหนักแบบหนึ่ง และความสูงคือโมเดลผิดมากเพียงใด เรามองไม่เห็นภูมิประเทศทั้งหมด เห็นแค่ความลาดชันใต้เท้า จึงก้าวลงไปหนึ่งก้าว แล้วมองใหม่ นี่คือการลดตามความชัน (gradient descent) แนวคิดที่ยกเครดิตให้นักคณิตศาสตร์ โอกุสแต็ง-หลุยส์ โกชี ในปี 1847 โมเดลจริงเดินอยู่ในปริภูมิที่มีทิศทางนับพันล้าน ไม่ใช่แค่สอง ลองเปลี่ยนขนาดก้าวในแผงด้านข้าง ก้าวเล็กไปก็ช้า ก้าวใหญ่ไปก็เลยเป้า

บทที่ IV · ขั้นที่ 5 · 1847 → ปัจจุบัน

#### ลดตามความชัน: เดินตามทางลาด

**เกรเดียนต์** (gradient) บอกว่าทิศไหนชันขึ้นมากที่สุด ก้าวไปทางตรงข้าม ค่าสูญเสียก็จะลดลง ทำซ้ำหลายล้านครั้งกับข้อความทีละชุด ค่าสูญเสียจะลดลงเรื่อย ๆ ขนาดของแต่ละก้าวเรียกว่า **อัตราการเรียนรู้** (learning rate)

ลองเลย: ขนาดก้าว*ภูมิประเทศจำลองสองมิติ*

- **เสนอแนวคิดครั้งแรก**: 1847 โอกุสแต็ง-หลุยส์ โกชี (Cauchy)

- **ต้นทุนเรียนรู้หนึ่งโทเค็น**: ≈ 6 FLOPs ต่อพารามิเตอร์ (หลักคร่าว ๆ)

- **สิ่งที่ GPT-3 อ่าน**: เว็บที่กรองแล้ว 60% · WebText2 22% · หนังสือ 16% · วิกิพีเดีย 3% สัดส่วนข้อมูลฝึก GPT-3 ปี 2020

แสงสีเขียวคือจุดต่ำสุดของภูมิประเทศจำลองนี้ ส่วนสีชมพูคือแอ่งตื้นที่ลูกบอลอาจติดค้าง ในปริภูมิที่มีมิติสูงมาก การฝึกมักพบหุบเขาที่ “ดีพอ” มากกว่าจุดต่ำสุดเพียงจุดเดียว

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Gradient descent](https://en.wikipedia.org/wiki/Gradient_descent); [Wikipedia: Neural scaling law](https://en.wikipedia.org/wiki/Neural_scaling_law); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3)

## บทที่ V · ความสนใจ

### ความสนใจ
*บทที่ V · 12 มิถุนายน 2017*

คำก่อนหน้าคำไหนสำคัญกับคำนี้ ทรานส์ฟอร์มเมอร์ถามคำถามนี้กับทุกคำพร้อมกัน

คำเปลี่ยนความหมายตามบริบท ในประโยคนี้ คำว่า “มัน” หมายถึงสัตว์ หรือถนน กลไกความสนใจตนเอง (self-attention) ทำให้ทุกโทเค็นมองย้อนไปยังโทเค็นก่อนหน้าทั้งหมด แล้วตัดสินว่าแต่ละตัวสำคัญแค่ไหนในตอนนี้ เมื่อคำท้ายคือ “เหนื่อย” เส้นที่หนาที่สุดชี้ไปที่สัตว์ เปลี่ยนคำเดียวเป็น “กว้าง” เส้นนั้นก็หันไปที่ถนน แต่ละโทเค็นส่งคำค้น (query) ออกไปเทียบกับกุญแจ (key) ของโทเค็นอื่น แล้วรวบรวมค่า (value) ของพวกมันตามระดับความเข้ากัน โมเดลมีหัวความสนใจแบบนี้หลายหัวทำงานคู่ขนาน บางหัวติดตามความหมาย บางหัวแค่มองคำที่อยู่ก่อนหน้า

บทที่ V · ขั้นที่ 6 · 2017

#### ความสนใจตนเอง

เดือนมิถุนายน 2017 นักวิจัยแปดคนที่ Google ตีพิมพ์บทความ “Attention Is All You Need” ซึ่งเปิดตัวสถาปัตยกรรม **ทรานส์ฟอร์มเมอร์** (Transformer) หัวใจของมันคือ **ความสนใจตนเอง** (self-attention) ที่ให้แต่ละโทเค็นดึงข้อมูลจากโทเค็นก่อนหน้า โดยถ่วงน้ำหนักตามความเกี่ยวข้อง

ลองเลย: เลือกคำ*น้ำหนักสมมติเพื่อประกอบ*
แตะคำใดคำหนึ่ง (ที่นี่หรือในภาพ) เพื่อดูว่ามัน “มอง” คำก่อนหน้าแต่ละคำมากน้อยเท่าใด น้ำหนักเหล่านี้เขียนขึ้นเองเพื่ออธิบายหลักการ โมเดลจริงเรียนรู้น้ำหนักของมันเอง และหัวความสนใจแต่ละหัวในชั้นเดียวกันจะมองหาสิ่งที่ต่างกัน

- เวกเตอร์ของแต่ละโทเค็นถูกแปลงเป็น **คำค้น** (query: ฉันกำลังหาอะไร) **กุญแจ** (key: ฉันมีอะไร) และ **ค่า** (value: ฉันจะส่งอะไรต่อ)

- นำคำค้นมาคูณจุดกับกุญแจ ได้คะแนนความเข้ากันกับทุกโทเค็นก่อนหน้า แล้วปรับสเกลและผ่านซอฟต์แมกซ์ให้รวมกันได้ 100%

- เวกเตอร์ใหม่ของโทเค็นคือผลรวมถ่วงน้ำหนักของค่าเหล่านั้น ในโมเดลแชตจะมีการบังไม่ให้โทเค็นมองไปข้างหน้า

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Attention Is All You Need](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need); [Wikipedia: Transformer (deep learning)](https://en.wikipedia.org/wiki/Transformer_(deep_learning))

### หอคอยแห่งชั้น
*บทที่ V · ทรานส์ฟอร์มเมอร์*

ความสนใจ ตามด้วยเครือข่ายเล็ก ๆ สำหรับแต่ละโทเค็น แล้วทำซ้ำ ซ้ำอีก ใน GPT-3 ซ้ำถึง 96 ครั้ง

ทรานส์ฟอร์มเมอร์หนึ่งชั้นมีสองส่วน คือความสนใจ ที่โทเค็นแบ่งปันข้อมูลกัน และเครือข่ายป้อนไปข้างหน้า ที่ประมวลผลแต่ละโทเค็นแยกกัน ชั้นเหล่านี้ซ้อนกันขึ้นไป แต่ละชั้นขัดเกลาเวกเตอร์ของทุกโทเค็นอีกนิด โดยผสานบริบทจากส่วนอื่นของข้อความเข้ามา เพราะประมวลผลทุกโทเค็นพร้อมกัน งานจึงกระจายไปยังชิปจำนวนมากได้ดี นี่คือเหตุผลสำคัญที่การออกแบบนี้ครองวงการ ที่ยอดหอคอย เวกเตอร์สุดท้ายของโทเค็นตัวท้ายจะถูกแปลงเป็นคะแนนของโทเค็นถัดไป แล้ววงจรก็เริ่มใหม่อีกครั้ง

บทที่ V · ขั้นที่ 7

#### ทรานส์ฟอร์มเมอร์ที่ซ้อนเป็นชั้น

โครงข่ายภาษารุ่นก่อน (โครงข่ายแบบวนซ้ำ เช่น LSTM) อ่านข้อความทีละคำ ทรานส์ฟอร์มเมอร์จัดการทุกตำแหน่งในข้อความพร้อมกัน จึงเหมาะกับหน่วยประมวลผลกราฟิก (GPU) โมเดลต้นฉบับปี 2017 ออกแบบมาเพื่องานแปลภาษา มีพารามิเตอร์ราว 100 ล้านตัว รุ่นใหญ่ใช้เวลาฝึก 3.5 วันบน GPU แปดตัว โมเดลแชตอย่างตระกูล GPT ใช้เพียงครึ่ง “ตัวถอดรหัส” (decoder) เท่านั้น

- **จำนวนชั้นของ GPT-3**: 96 แต่ละชั้นมีหัวความสนใจ 96 หัว

- **ความกว้างเวกเตอร์**: 12,288 ค่า ต่อโทเค็น

- **บริบทของ GPT-3**: 2,048 โทเค็นที่มองเห็นได้พร้อมกัน

- **บทความปี 2017**: 250,000+ ครั้งที่ถูกอ้างอิง ณ ปี 2026

ภาพแสดง 12 ชั้นและ 6 โทเค็น ส่วน GPT-3 มี 96 ชั้นและรับได้ถึง 2,048 โทเค็น ชื่อบทความเล่นคำกับเพลง “All You Need Is Love” ของวงเดอะบีเทิลส์

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Attention Is All You Need](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need); [Wikipedia: Transformer (deep learning)](https://en.wikipedia.org/wiki/Transformer_(deep_learning)); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3)

## บทที่ VI · ขนาด

### ใหญ่ขึ้น และใหญ่ขึ้นอีก
*บทที่ VI · ขนาด*

พารามิเตอร์มากขึ้น ข้อความมากขึ้น พลังคำนวณมากขึ้น หลายปีที่ผ่านมา แค่ขยายขนาดก็ทำให้โมเดลเก่งขึ้นเรื่อย ๆ

มกราคม 2020 นักวิจัยรายงานว่าความผิดพลาดของโมเดลภาษาลดลงอย่างราบรื่นและคาดการณ์ได้ เมื่อขนาดโมเดล ข้อมูล และพลังคำนวณเพิ่มขึ้น ภายในไม่กี่ปี โมเดลเติบโตจากหลักล้านพารามิเตอร์ไปเป็นหลายแสนล้าน หอคอยนี้สูงขึ้นสิบเท่าในทุกขั้น ปี 2022 โมเดลชินชิลลาของดีปไมนด์แสดงว่าโมเดลจำนวนมากใหญ่เกินไปเมื่อเทียบกับข้อมูลที่อ่าน ด้วยขนาดหนึ่งในสี่แต่ข้อมูลมากกว่าสี่เท่า มันเอาชนะโมเดลที่ใหญ่กว่ามากได้ ทั้งหมดนี้ต้องใช้พลังคำนวณมหาศาล มีการประเมินว่าถ้าฝึก GPT-3 บนชิปกราฟิกตัวเดียวจะใช้เวลาถึง 355 ปี ในทางปฏิบัติจึงต้องกระจายงานไปยังชิปจำนวนมากที่ทำงานพร้อมกัน

บทที่ VI · ขั้นที่ 8

#### กฎการขยายขนาด

งานวิจัยปี 2020 ของจาเร็ด แคปแลน (Jared Kaplan) และคณะพบว่าค่าสูญเสียของโมเดลภาษา “ลดลงตามกฎกำลัง (power law) เมื่อขนาดโมเดล ขนาดข้อมูล และพลังคำนวณที่ใช้ฝึกเพิ่มขึ้น” พูดง่าย ๆ คือ ขยายแต่ละอย่างให้ใหญ่ขึ้น ความผิดพลาดก็ลดลงในปริมาณที่คาดการณ์ได้ โมเดลที่ใหญ่ขึ้นยังแสดงความสามารถใหม่ ๆ ออกมาด้วย แต่ความสามารถเหล่านั้นโผล่ขึ้นมาอย่างฉับพลันหรือค่อยเป็นค่อยไป ยังเป็นเรื่องที่ถกเถียงกันอยู่

- **GPT-2 (2019)**: 1,500 ล้าน พารามิเตอร์

- **GPT-3 (2020)**: 175,000 ล้าน พารามิเตอร์

- **Chinchilla (2022)**: 70 B · 1.4 T พารามิเตอร์ · โทเค็นที่ใช้ฝึก (≈ 20 โทเค็นต่อพารามิเตอร์)

- **Llama 3.1 (2024)**: 405 B · ~15 T พารามิเตอร์ · โทเค็นที่ใช้ฝึก

- **ฝึก GPT-3 บน GPU ตัวเดียว**: ~355 ปี ประมาณการโดย Lambda Labs ปี 2020 การฝึกจริงใช้ GPU หลายตัวพร้อมกัน

- **Nvidia H100 หนึ่งตัว (2022)**: 80 B · 700 W ทรานซิสเตอร์ · กำลังไฟสูงสุด

ผู้พัฒนาบางรายไม่เปิดเผยขนาดโมเดล เช่น OpenAI ไม่เปิดเผยขนาดของ GPT-4 (2023) แต่ประธานเจ้าหน้าที่บริหารของบริษัทเคยกล่าวว่าค่าฝึกโมเดลนี้สูงกว่า 100 ล้านดอลลาร์ โมเดลรุ่นใหม่หลายตัวยังใช้แนวทาง “ส่วนผสมของผู้เชี่ยวชาญ” (mixture of experts) ที่ให้แต่ละโทเค็นวิ่งผ่านเครือข่ายย่อยเพียงไม่กี่ตัวจากทั้งหมด

แหล่งข้อมูล (ภาษาอังกฤษ): [Kaplan et al., Scaling Laws for Neural Language Models (2020)](https://arxiv.org/abs/2001.08361); [Wikipedia: Neural scaling law](https://en.wikipedia.org/wiki/Neural_scaling_law); [Wikipedia: Chinchilla](https://en.wikipedia.org/wiki/Chinchilla_(language_model)); [Wikipedia: Llama](https://en.wikipedia.org/wiki/Llama_(language_model)); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3); [Wikipedia: GPT-4](https://en.wikipedia.org/wiki/GPT-4); [Wikipedia: Hopper / H100](https://en.wikipedia.org/wiki/Nvidia_H100); [Wikipedia: Mixture of experts](https://en.wikipedia.org/wiki/Mixture_of_experts)

## บทที่ VII · จากเครื่องต่อข้อความสู่ผู้ช่วย

### จากเครื่องต่อข้อความสู่ผู้ช่วย
*บทที่ VII · 2022*

โมเดลที่ฝึกมาเพื่อเขียนข้อความต่อเพียงอย่างเดียว ยังไม่ใช่ผู้ช่วยที่ดี ต้องฝึกเพิ่มอีกสองรอบ

โมเดลฐานที่เพิ่งฝึกเสร็จทำได้แค่เขียนข้อความต่อ ขอให้มันแต่งกลอน มันอาจแค่ไล่เขียนคำขอที่หน้าตาคล้ายของคุณออกมาอีกหลายบรรทัด ขั้นต่อมาจึงปรับจูนด้วยตัวอย่างคำสั่งจำนวนมากที่จับคู่กับคำตอบที่ดี เรียกว่าการปรับจูนด้วยคำสั่ง (instruction tuning) จากนั้นให้คนเปรียบเทียบคำตอบทีละคู่แล้วเลือกคำตอบที่ดีกว่า โมเดลอีกตัวที่เรียกว่าโมเดลรางวัลจะเรียนรู้ที่จะทำนายการเลือกเหล่านั้น สุดท้าย การเรียนรู้แบบเสริมกำลังจะค่อย ๆ ผลักผู้ช่วยไปหาคำตอบที่โมเดลรางวัลให้คะแนนสูง โดยไม่ให้มันหลุดห่างจากสิ่งที่เรียนมาก่อนมากเกินไป

บทที่ VII · ขั้นที่ 9 · 2022

#### ปรับจูนด้วยคำสั่งและความเห็นของมนุษย์

การฝึกเบื้องต้น (pre-training) ให้ผลเป็น **โมเดลฐาน** (base model) ที่รู้เรื่องข้อความมากมาย แต่แค่เขียนต่อจากสิ่งที่ได้รับ การเปลี่ยนมันเป็นผู้ช่วยต้องฝึกเพิ่ม ซึ่ง OpenAI อธิบายไว้ในงาน InstructGPT ปี 2022 ก่อนเปิดตัว ChatGPT ไม่นาน

- **ฝึกเบื้องต้น:** ทำนายโทเค็นถัดไปบนคลังข้อความขนาดมหึมา (บทที่ III–VI)

- **ปรับจูนด้วยคำสั่ง:** ฝึกแบบมีผู้สอนด้วยคำสั่งที่จับคู่กับคำตอบดี ๆ ที่มนุษย์เขียน

- **การเรียนรู้แบบเสริมกำลังจากความเห็นของมนุษย์ (RLHF):** คนจัดอันดับคำตอบ โมเดลรางวัลเรียนรู้ความชอบนั้น แล้วผู้ช่วยถูกปรับให้ได้คะแนนสูง โดยมีบทลงโทษถ้าออกห่างจากโมเดลที่ปรับจูนไว้มากเกินไป

- **ใครใช้วิธีนี้**: ChatGPT, Gemini และ Claude อยู่ในกลุ่มโมเดลที่ฝึกด้วย RLHF มีวิธีแตกแขนง เช่น การปรับให้ตรงความชอบโดยตรง (DPO) และการใช้ความเห็นจาก AI ที่อิงหลักการเป็นลายลักษณ์อักษร (“Constitutional AI”)

วิธีนี้มีจุดอ่อนที่รู้กันอยู่ การให้คะแนนโดยคนมีต้นทุนสูงและอาจไม่สม่ำเสมอหรือมีอคติ และโมเดลอาจเรียนรู้ที่จะเอาใจโมเดลรางวัล เช่น พูดให้ฟังดูมั่นใจ แทนที่จะพูดให้ถูก

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: RLHF](https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทที่ VIII · ผิดอย่างมั่นใจ

### หน้าต่างบริบท
*บทที่ VIII · ความจำ*

โมเดลไม่มีความจำของตัวเองระหว่างการสนทนาแต่ละครั้ง มันเห็นได้แค่ข้อความที่อยู่ตรงหน้าเท่านั้น

ทุกอย่างที่โมเดลใช้ได้ระหว่างตอบต้องอยู่ในหน้าต่างบริบท ทั้งข้อความของคุณ คำตอบของมันเอง และเอกสารที่คุณแปะเข้าไป GPT-3 มองเห็นได้ราวสองพันโทเค็นพร้อมกัน หรือประมาณไม่กี่หน้ากระดาษ พอถึงปี 2024 บางโมเดลรับได้หนึ่งแสนสองหมื่นแปดพันโทเค็น และ Gemini 1.5 Pro รับได้ถึงหนึ่งล้านโทเค็น เท่ากับนิยายเล่มหนาหลายเล่ม อะไรที่อยู่นอกหน้าต่าง สำหรับโมเดลก็เหมือนไม่มีอยู่จริง ส่วนความรู้อื่นที่มัน “รู้” ถูกเก็บไว้แบบพร่า ๆ ในน้ำหนักของมัน

บทที่ VIII · ขั้นที่ 10

#### สิ่งที่โมเดลมองเห็น

**หน้าต่างบริบท** (context window) คือจำนวนโทเค็นสูงสุดที่โมเดลให้ความสนใจได้ในคราวเดียว แอปแชตมักส่งบทสนทนาทั้งหมดกลับเข้าไปใหม่ทุกรอบ บทสนทนาที่ยาวมากจึงล้นออกนอกหน้าต่างในที่สุด แอปแชตบางตัวเพิ่ม “ความจำ” ด้วยการบันทึกโน้ตไว้แล้วใส่กลับเข้าไปในบริบท

ลองเลย: ขนาดหน้าต่าง

- **GPT-2 (2019)**: ~1,000 โทเค็น (“1k”)

- **GPT-3 (2020)**: 2,048 โทเค็น

- **GPT-4 (2023)**: 8K · 32K รุ่นปกติ · รุ่นขยาย

- **Gemini 1.5 Pro (2024)**: 1,000,000 โทเค็น ในบริการ API จริง

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model); [Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3); [Wikipedia: GPT-4](https://en.wikipedia.org/wiki/GPT-4); [Wikipedia: Llama](https://en.wikipedia.org/wiki/Llama_(language_model)); [Wikipedia: Gemini](https://en.wikipedia.org/wiki/Gemini_(language_model))

### ผิดอย่างมั่นใจ
*บทที่ VIII · อาการหลอน*

โมเดลต้องผลิตคำถัดไปออกมาเสมอ มันไม่มีสัญญาณเตือนในตัวที่ดังขึ้นเมื่อมันไม่รู้

ถามเรื่องที่รู้กันทั่วไป ความน่าจะเป็นเกือบทั้งหมดจะกองอยู่ที่คำตอบที่ถูก ถามเรื่องที่ไม่ค่อยมีใครรู้ ความน่าจะเป็นจะกระจายบาง ๆ ไปยังคำเดาที่ฟังขึ้นหลายคำ แต่ตัวสุ่มก็ยังต้องเลือกมาหนึ่งคำอยู่ดี ผลที่ได้อ่านลื่นไหลไม่ต่างจากคำตอบที่ถูกต้อง สิ่งนี้เรียกว่าอาการหลอน (hallucination) ปี 2023 ทนายความในนิวยอร์กยื่นเอกสารต่อศาลที่อ้างคดีหกคดีซึ่ง ChatGPT แต่งขึ้นเอง ศาลสั่งปรับทนายความ 5,000 ดอลลาร์

บทที่ VIII · ขั้นที่ 11 · 2023

#### ทำไมโมเดลจึงผิดได้อย่างมั่นใจ

**อาการหลอน** (hallucination) คือคำตอบที่อ่านลื่นไหลและฟังน่าเชื่อ แต่ไม่จริง มันเป็นผลโดยตรงจากวิธีทำงานของโมเดล ซึ่งถูกฝึกให้สร้างข้อความที่น่าจะเป็น ไม่ได้ถูกฝึกให้ตรวจสอบข้อเท็จจริง และต้องผลิตบางอย่างออกมาในทุกขั้น ในปี 2025 นักวิจัยของ OpenAI เสนอว่าวิธีให้คะแนนที่ใช้กันทั่วไปทั้งตอนฝึกและตอนทดสอบยังให้รางวัลกับการเดามากกว่าการตอบว่า “ไม่ทราบ”

ลองเลย: เรื่องที่รู้กันทั่วไป กับเรื่องที่ไม่ค่อยมีใครรู้*ความน่าจะเป็นสมมติ*
ลองดูแท่งที่สูงที่สุด ถ้าความน่าจะเป็นกระจายตัว นั่นคือสัญญาณเตือน แต่หน้าแชตโดยทั่วไปจะแสดงเฉพาะคำที่ถูกเลือก ไม่ได้แสดงความน่าจะเป็นเบื้องหลัง

- **คดี Mata v. Avianca (นิวยอร์ก, 2023)**: อ้างคดีปลอมหกคดี ทนายความสองคนถูกปรับ 5,000 ดอลลาร์ในเดือนมิถุนายน 2023 ตัวอย่างยุคแรกที่เป็นข่าวดัง

สิ่งที่ช่วยได้: ใส่เอกสารที่เชื่อถือได้ไว้ในบริบท ให้โมเดลค้นหาหรือคำนวณด้วยเครื่องมือ (บทถัดไป) ฝึกให้มันบอกเมื่อไม่แน่ใจ และตรวจสอบคำตอบที่สำคัญด้วยตัวเอง

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Hallucination (AI)](https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทที่ IX · เครื่องมือและการคิด

### คิดก่อนตอบ
*บทที่ IX · เครื่องมือและการคิด*

โมเดลที่เรียกใช้เครื่องคิดเลขและเครื่องมือค้นหา และโมเดลที่เขียนลำดับความคิดออกมาก่อนจะตอบ

โมเดลภาษาคิดเลขให้แม่นยำทุกครั้งไม่ได้ และไม่รู้ข่าววันนี้ แต่มันเขียนข้อความเพื่อขอให้เครื่องมือช่วยทำได้ แอปจะรันเครื่องมือนั้น ไม่ว่าเครื่องคิดเลข การค้นหา หรือโค้ด แล้วนำผลมาใส่กลับในบริบท โมเดลก็เขียนต่อจากตรงนั้น ระบบที่ร้อยขั้นตอนแบบนี้หลายขั้นต่อกันเพื่อไปให้ถึงเป้าหมาย เรียกว่าเอเจนต์ (agent) กันยายน 2024 OpenAI เปิดตัว o1 โมเดลแบบให้เหตุผล ก่อนตอบ มันจะสร้างลำดับขั้นความคิดยาว ๆ แล้วตรวจทานและแก้ไข โมเดลแบบนี้ฝึกด้วยการเรียนรู้แบบเสริมกำลังกับโจทย์ที่ตรวจคำตอบได้ การคิดนานขึ้นมักช่วยได้ แต่ก็ใช้พลังคำนวณสูงขึ้นมาก

บทที่ IX · ขั้นที่ 12 · 2024 →

#### เครื่องมือ เอเจนต์ และโมเดลที่คิดก่อนตอบ

**การใช้เครื่องมือ:** โมเดลถูกฝึกให้เขียนคำขอที่มีรูปแบบชัดเจน (“ค้นหา…” “คำนวณ…”) ซอฟต์แวร์ภายนอกเป็นผู้ทำงานนั้นแล้วส่งผลกลับมาเป็นบริบทเพิ่ม **เอเจนต์** (agent) ทำแบบนี้วนเป็นรอบ คือ วางแผน ลงมือ สังเกต แล้วทำซ้ำ ส่วน **โมเดลที่คิดก่อนตอบ** (reasoning model) ใช้พลังคำนวณเพิ่มตอนตอบ เพื่อเขียนลำดับความคิดก่อนให้คำตอบสุดท้าย

ลองเลย: เรียกใช้เครื่องมือ

- **o1-preview**: ก.ย. 2024 โมเดลให้เหตุผลตัวแรกของ OpenAI

- **DeepSeek-R1**: ม.ค. 2025 โมเดลให้เหตุผลที่ฝึกด้วยการเรียนรู้แบบเสริมกำลัง

- **สิ่งที่ต้องแลก**: งานวิจัยหนึ่งพบว่าโมเดลแบบนี้มีค่าใช้งานแพงกว่า 10 ถึง 74 เท่าบนชุดโจทย์คณิตศาสตร์ และตอบช้ากว่า

“การให้เหตุผล” นั้นก็เป็นข้อความที่ถูกสร้างขึ้นด้วยวิธีเดียวกับคำตอบอื่น ๆ OpenAI เลือกไม่แสดงลำดับความคิดดิบของ o1 ให้ผู้ใช้เห็น แต่ส่งบทสรุปที่โมเดลเขียนให้แทน

แหล่งข้อมูล (ภาษาอังกฤษ): [Wikipedia: Reasoning model](https://en.wikipedia.org/wiki/Reasoning_model); [Wikipedia: Intelligent agent](https://en.wikipedia.org/wiki/Intelligent_agent); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทที่ X · คำถามที่ยังเปิดอยู่

### ต้นทุน สิทธิ์ และความเสี่ยง
*บทที่ X · คำถามที่ยังเปิดอยู่*

เทคโนโลยีนี้ก่อให้เกิดคำถามที่วิศวกรรมเพียงอย่างเดียวตอบไม่ได้

เรื่องพลังงาน ปี 2024 ศูนย์ข้อมูลใช้ไฟฟ้าราวหนึ่งจุดห้าเปอร์เซ็นต์ของทั้งโลก สำนักงานพลังงานระหว่างประเทศคาดว่าภายในปี 2030 จะเพิ่มขึ้นมากกว่าเท่าตัว โดยมี AI เป็นแรงขับสำคัญ เรื่องข้อมูลและลิขสิทธิ์ โมเดลเรียนรู้จากข้อความที่มนุษย์เขียน นักเขียนและสำนักพิมพ์ฟ้องบริษัท AI หลายราย และศาลยังไม่ได้ให้คำตอบที่เป็นแนวเดียวกัน เรื่องความปลอดภัยและการกำกับ เราจะมั่นใจได้อย่างไรว่าโมเดลที่ทรงพลังจะทำตามที่มนุษย์ตั้งใจ นักวิจัยบางกลุ่มเห็นความเสี่ยงร้ายแรง อีกกลุ่มมองว่าเป็นความกังวลเกินเหตุ การถกเถียงยังไม่จบ

บทที่ X · ขั้นที่ 13

#### ข้อจำกัดและคำถามที่ยังเปิดอยู่

คำถามเหล่านี้ยังถกเถียงกันอยู่ในหมู่นักวิทยาศาสตร์ บริษัท รัฐบาล และสาธารณชน ต่อไปนี้คือประเด็นหลัก โดยไม่เข้าข้างฝ่ายใด

#### พลังงาน

สำนักงานพลังงานระหว่างประเทศ (IEA) ประเมินว่าศูนย์ข้อมูลใช้ไฟฟ้าราว 415 เทราวัตต์-ชั่วโมงในปี 2024 (ราว 1.5% ของทั้งโลก) และคาดว่าจะเพิ่มเป็นราว 945 เทราวัตต์-ชั่วโมงภายในปี 2030 ใกล้เคียงกับที่ญี่ปุ่นใช้ทั้งประเทศในปัจจุบัน พลังงานต่อหนึ่งคำตอบแตกต่างกันมากตามโมเดลและงาน ทั้งบริษัทและนักวิจัยกำลังพัฒนาชิปและโมเดลที่ประหยัดพลังงานขึ้น

#### ข้อมูลและลิขสิทธิ์

ธันวาคม 2023 หนังสือพิมพ์ *The New York Times* ฟ้อง Microsoft และ OpenAI กรณีนำบทความไปใช้ฝึกโมเดล มิถุนายน 2025 ศาลรัฐบาลกลางสหรัฐฯ ตัดสินในคดี *Bartz v. Anthropic* ว่าการนำหนังสือของผู้เขียนไปฝึกโมเดลเข้าข่ายการใช้งานโดยชอบธรรม (fair use) แต่การใช้สำเนาละเมิดลิขสิทธิ์จากห้องสมุดเถื่อนนับล้านเล่มไม่เข้าข่าย ต่อมาในเดือนกันยายน 2025 Anthropic ตกลงจ่าย 1,500 ล้านดอลลาร์เพื่อยุติคดี ขณะที่คดีอื่นยังดำเนินอยู่ และกฎหมายก็แตกต่างกันไปในแต่ละประเทศ

#### ความปลอดภัยและการกำกับ

**การกำกับให้สอดคล้อง** (alignment) คือการชี้นำระบบ AI ให้มุ่งไปสู่เป้าหมายและคุณค่าที่มนุษย์ตั้งใจ ปี 2023 นักวิจัยและผู้บริหารบริษัทจำนวนมากร่วมลงนามในแถลงการณ์ประโยคเดียวว่า “การลดความเสี่ยงที่มนุษยชาติจะสูญพันธุ์จาก AI ควรเป็นวาระสำคัญระดับโลก” ขณะที่นักวิจัยคนสำคัญอีกหลายคนเห็นว่าความกังวลนี้เกินจริงหรือยังเร็วเกินไป ส่วนข้อกังวลระยะใกล้ได้แก่ ข้อมูลเท็จ อคติ ความเป็นส่วนตัว และการนำไปใช้ในทางที่ผิด

แหล่งข้อมูล (ภาษาอังกฤษ): [Scientific American on the IEA “Energy and AI” report (Apr 2025)](https://scientificamerican.com/article/ai-will-drive-doubling-of-data-center-energy-demand-by-2030); [Bloomberg Law, 27 Dec 2023](https://news.bloomberglaw.com/ip-law/new-york-times-sues-microsoft-openai-for-copyright-infringement); [Wikipedia: Bartz v. Anthropic](https://en.wikipedia.org/wiki/Bartz_v._Anthropic); [Wikipedia: AI alignment](https://en.wikipedia.org/wiki/AI_alignment); [Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)

## บทส่งท้าย

### ระบบเติมคำอัตโนมัติ ในระดับมหาศาล
*บทส่งท้าย*

เป้าหมายง่าย ๆ อย่างการทำนายโทเค็นถัดไป บวกข้อมูลและพลังคำนวณมหาศาล ให้กำเนิดสิ่งที่ไม่มีใครคาดคิดไว้ทั้งหมด

ข้อความกลายเป็นโทเค็น โทเค็นกลายเป็นเวกเตอร์ ความสนใจเชื่อมพวกมันเข้าหากัน ชั้นแล้วชั้นเล่า จนได้ความน่าจะเป็นของทุกโทเค็นที่อาจมาถัดไป ปุ่มหมุนนับพันล้านถูกปรับด้วยการลดตามความชันบนข้อความนับล้านล้านคำ แล้วถูกขัดเกลาอีกชั้นด้วยความเห็นของมนุษย์ ผลลัพธ์คือสิ่งที่อธิบาย แปลภาษา เขียนโค้ด และไล่เหตุผลแก้โจทย์ได้ แต่ก็ผิดได้อย่างมั่นใจเช่นกัน การรู้ว่ามันทำงานอย่างไร คือหนทางที่ดีที่สุดในการใช้มันให้เป็น ในฐานะเครื่องมืออันทรงพลัง ที่คำตอบของมันควรได้รับการตรวจสอบ

บทส่งท้าย · 2026 →

#### แชตบอตคิดอย่างไร ในหน้าเดียว

- 1 ข้อความถูกหั่นเป็น **โทเค็น** และแต่ละโทเค็นกลายเป็น **เวกเตอร์**

- 2 ชั้นของ **ความสนใจ** ผสมข้อมูลระหว่างโทเค็น ซ้ำหลายสิบรอบ

- 3 โมเดลให้ **ความน่าจะเป็น** กับทุกโทเค็นที่อาจมาถัดไป แล้วสุ่มเลือกหนึ่งตัว

- 4 น้ำหนักทั้งหมดเรียนรู้ด้วย **การลดตามความชัน** จากการทำนายโทเค็นถัดไป

- 5 **การปรับจูนด้วยคำสั่ง** และ **ความเห็นของมนุษย์** เปลี่ยนมันให้เป็นผู้ช่วย

- 6 **เครื่องมือ** และ **การคิดก่อนตอบ** ขยายขีดความสามารถ แต่ **อาการหลอน** ยังเป็นความเสี่ยง

- 1986 การแพร่ย้อนกลับเป็นที่รู้จักแพร่หลาย

- 2013 word2vec: ความหมายในรูปเวกเตอร์

- 2017 ทรานส์ฟอร์มเมอร์

- 2020 GPT-3 ขนาด 175,000 ล้านพารามิเตอร์ และกฎการขยายขนาด

- 2022 InstructGPT ตามด้วย ChatGPT

- 2024 บริบทหนึ่งล้านโทเค็น และโมเดลที่คิดก่อนตอบรุ่นแรก

- 2026 GPT-6 เริ่มให้บริการใน ChatGPT (ตุลาคม)

ภาพสามมิติทั้งหมดเป็นภาพอธิบายหลักการ หมายเลขโทเค็น ตำแหน่งเอ็มเบดดิง น้ำหนักความสนใจ และความน่าจะเป็นในขั้นอาการหลอน เป็นค่าสมมติเพื่อประกอบ ยกเว้นตัวเลขที่อ้างอิงจากแหล่งข้อมูล เดโมทำนายคำถัดไปเป็นโมเดลไตรแกรมของจริง (ขนาดจิ๋ว) ที่ฝึกในเบราว์เซอร์ของคุณจากข้อความสาธารณสมบัติ ภาพนิ่งเต็มจอทุกภาพสร้างด้วย AI เพื่อช่วยจินตนาการ ไม่ใช่ภาพถ่ายจริง

#### แหล่งข้อมูล (ภาษาอังกฤษ)

[Wikipedia: Large language model](https://en.wikipedia.org/wiki/Large_language_model)
[Wikipedia: ChatGPT](https://en.wikipedia.org/wiki/ChatGPT)
[TechCrunch, 7 Oct 2026](https://techcrunch.com/2026/10/07/chatgpt-is-getting-a-lot-more-visual-with-the-launch-of-a-new-interface/)
[OpenAI Help Center: What are tokens](https://help.openai.com/en/articles/4936856-what-are-tokens)
[Wikipedia: Byte-pair encoding](https://en.wikipedia.org/wiki/Byte-pair_encoding)
[Mikolov, Yih & Zweig, NAACL-HLT 2013](https://aclanthology.org/N13-1090.pdf)
[Wikipedia: Word2vec](https://en.wikipedia.org/wiki/Word2vec)
[Wikipedia: Word embedding](https://en.wikipedia.org/wiki/Word_embedding)
[Wikipedia: Softmax function](https://en.wikipedia.org/wiki/Softmax_function)
[Wikipedia: Backpropagation](https://en.wikipedia.org/wiki/Backpropagation)
[Wikipedia: Gradient descent](https://en.wikipedia.org/wiki/Gradient_descent)
[Wikipedia: Attention Is All You Need](https://en.wikipedia.org/wiki/Attention_Is_All_You_Need)
[Wikipedia: Transformer (deep learning)](https://en.wikipedia.org/wiki/Transformer_(deep_learning))
[Wikipedia: GPT-3](https://en.wikipedia.org/wiki/GPT-3)
[Wikipedia: GPT-4](https://en.wikipedia.org/wiki/GPT-4)
[Kaplan et al., Scaling Laws for Neural Language Models (2020)](https://arxiv.org/abs/2001.08361)
[Wikipedia: Neural scaling law](https://en.wikipedia.org/wiki/Neural_scaling_law)
[Wikipedia: Chinchilla](https://en.wikipedia.org/wiki/Chinchilla_(language_model))
[Wikipedia: Llama](https://en.wikipedia.org/wiki/Llama_(language_model))
[Wikipedia: Hopper / H100](https://en.wikipedia.org/wiki/Nvidia_H100)
[Wikipedia: Mixture of experts](https://en.wikipedia.org/wiki/Mixture_of_experts)
[Wikipedia: RLHF](https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback)
[Wikipedia: Gemini](https://en.wikipedia.org/wiki/Gemini_(language_model))
[Wikipedia: Hallucination (AI)](https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence))
[Wikipedia: Reasoning model](https://en.wikipedia.org/wiki/Reasoning_model)
[Wikipedia: Intelligent agent](https://en.wikipedia.org/wiki/Intelligent_agent)
[Scientific American on the IEA “Energy and AI” report (Apr 2025)](https://scientificamerican.com/article/ai-will-drive-doubling-of-data-center-energy-demand-by-2030)
[Bloomberg Law, 27 Dec 2023](https://news.bloomberglaw.com/ip-law/new-york-times-sues-microsoft-openai-for-copyright-infringement)
[Wikipedia: Bartz v. Anthropic](https://en.wikipedia.org/wiki/Bartz_v._Anthropic)
[Wikipedia: AI alignment](https://en.wikipedia.org/wiki/AI_alignment)
[Project Gutenberg eBook #11](https://www.gutenberg.org/ebooks/11)