PlanetPast

2017 → 2026 · LLM ทำงานอย่างไร

แชตบอตคิดอย่างไร

ChatGPT, Claude, Gemini และโมเดลอื่น ๆ ตอบคำถามผู้คนหลายร้อยล้านคนในแต่ละสัปดาห์ แต่เบื้องหลังมันทำเรื่องง่าย ๆ อยู่เรื่องเดียว และทำได้เก่งอย่างน่าทึ่ง นั่นคือการเดาว่าข้อความชิ้นถัดไปควรเป็นอะไร ภาพยนตร์เรื่องนี้จะพาเปิดดูข้างในเครื่อง ตั้งแต่โทเค็นแรกไปจนถึงคำถามที่ยังไม่มีใครตอบได้ พร้อมเครื่องมือทดลองที่คุณลองเล่นเองได้

Interactive 3D film7 นาที1986 to 2026เผยแพร่ 2026-10-13

ดูภาพยนตร์ 3 มิติแบบโต้ตอบRead in English

บทนำ

ตุลาคม 2026

แชตบอตคิดอย่างไร

คุณพิมพ์คำถาม ไม่กี่วินาทีต่อมาก็มีคำตอบที่อ่านลื่นไหลปรากฏขึ้น ระหว่างนั้นเกิดอะไรขึ้นกันแน่

วันที่ 7 ตุลาคม 2026 OpenAI เริ่มทยอยเปิดให้ผู้ใช้ ChatGPT ทั่วโลกใช้โมเดลใหม่ GPT-6 พร้อมหน้าตาที่แสดงภาพได้มากขึ้น

แชตบอตอย่าง ChatGPT, Claude และ Gemini กลายเป็นส่วนหนึ่งของชีวิตประจำวันแล้ว ต้นปี 2026 ChatGPT เพียงตัวเดียวมีผู้ใช้ 900 ล้านคนต่อสัปดาห์

มันพูดจาได้เหมือนคน แต่ข้างในไม่มีคนตัวเล็ก ๆ นั่งอยู่ มีแต่ฟังก์ชันทางคณิตศาสตร์ขนาดมหึมาที่สร้างขึ้นจากตัวเลข

งานของมันอธิบายได้ในประโยคเดียว คืออ่านข้อความ แล้วเดาว่าอะไรจะมาต่อ เรื่องนี้คือการเดินทางว่างานง่าย ๆ นี้เติบโตจนเขียน อธิบาย และให้เหตุผลได้อย่างไร

บทนำ · ทำไมเรื่องนี้จึงสำคัญตอนนี้

คำถามเข้าไป คำตอบออกมา

วันที่ 7 ตุลาคม 2026 OpenAI เริ่มเปิดให้ผู้ใช้ ChatGPT ทั่วโลกใช้ GPT-6 นับเป็นรุ่นล่าสุดในวงการที่เปลี่ยนแปลงเร็วมาก มีบริษัทอย่าง OpenAI, Anthropic, Google และ Meta อยู่ในสนาม และวงการนี้เริ่มบูมจริงจังตั้งแต่ ChatGPT เปิดตัวเมื่อ 30 พฤศจิกายน 2022 ระบบเหล่านี้ล้วนเป็น โมเดลภาษาขนาดใหญ่ (large language model หรือ LLM) คือโครงข่ายประสาทเทียมที่ฝึกด้วยข้อความปริมาณมหาศาลเพื่อสร้างภาษา ภาพยนตร์เรื่องนี้จะอธิบายวิธีทำงานของมันทีละความคิด โดยไม่ต้องมีพื้นคณิตศาสตร์มาก่อน

ChatGPT เปิดตัว
30 พ.ย. 2022
มีผู้ใช้ 100 ล้านคนภายในสองเดือน
ผู้ใช้ต่อสัปดาห์
900 ล้าน
ของ ChatGPT รายงานเมื่อ ก.พ. 2026
เคล็ดลับหลัก
ทำนายข้อความชิ้นถัดไป ซ้ำแล้วซ้ำอีก
ทุกอย่างที่เหลือในเรื่องนี้คือวิธีทำให้การเดานั้นแม่นขึ้น

กาแล็กซีที่หมุนวนทางซ้ายคือภาพแทนคลังคำของโมเดล สี่เหลี่ยมเล็ก ๆ แต่ละอันแทนข้อความหนึ่งชิ้น สายสีฟ้าพาข้อความของคุณเข้าไป สายสีทองพาคำตอบออกมา เป็นภาพประกอบ ไม่ใช่ข้อมูลที่วัดจริง

วิธีใช้: เลือกบทใต้ภาพ หรือกด ← → เพื่อเปลี่ยนขั้น · ▶ เล่นขั้นนั้น · ลากเพื่อหมุน เลื่อนหรือถ่างนิ้วเพื่อซูม · “เล่นทั้งเรื่อง” จะเล่นทุกขั้นแบบเต็มจอ หลายขั้นมีเครื่องมือให้ลองเล่นในแผงนี้

แหล่งข้อมูล (ภาษาอังกฤษ): TechCrunch, 7 Oct 2026; Wikipedia: ChatGPT; Wikipedia: Large language model

บทที่ I · โทเค็น

บทที่ I · โทเค็น

หั่นข้อความเป็นชิ้น

คอมพิวเตอร์อ่านตัวอักษรไม่เป็น ทุกอย่างต้องกลายเป็นตัวเลขก่อน

โมเดลภาษาไม่เคยเห็นตัวอักษรเลย สิ่งแรกที่เกิดกับข้อความของคุณคือมันถูกหั่นเป็นชิ้นเล็ก ๆ ที่เรียกว่าโทเค็น

คำที่ใช้บ่อยจะได้โทเค็นของตัวเอง คำที่พบไม่บ่อยจะประกอบจากชิ้นเล็กหลายชิ้น และทุกชิ้นมีหมายเลขประจำตัวในคลังคำที่ตายตัว

จากนั้นหมายเลขแต่ละตัวจะถูกแทนด้วยตัวเลขชุดยาวที่เรียกว่าเวกเตอร์ นับจากนี้โมเดลทำงานกับเวกเตอร์เหล่านี้เท่านั้น

ในภาษาอังกฤษ หนึ่งโทเค็นยาวราวสามในสี่ของคำ ลองพิมพ์ข้อความของคุณเองในแผงด้านข้างดู

บทที่ I · ขั้นที่ 1

ข้อความกลายเป็นโทเค็น

ก่อนโมเดลจะทำอะไรได้ ข้อความต้องถูกแบ่งเป็น โทเค็น (token) ซึ่งอาจเป็นคำทั้งคำ ส่วนหนึ่งของคำ ตัวอักษรตัวเดียว หรือเครื่องหมายวรรคตอน ตัวตัดโทเค็นสมัยใหม่ส่วนใหญ่ใช้วิธี byte-pair encoding (BPE) ซึ่งฟิลิป เกจ (Philip Gage) อธิบายไว้ครั้งแรกในปี 1994 หลักการคือเริ่มจากตัวอักษรเดี่ยว แล้วรวมคู่ที่อยู่ติดกันบ่อยที่สุดเข้าด้วยกันซ้ำไปเรื่อย ๆ จนคลังคำมีขนาดตามที่กำหนด

ลองเลย: ตัวตัดโทเค็นแบบย่อ ตัวเข้ารหัสแบบไบต์แพร์ (byte-pair encoding) ฉบับย่อที่เขียนขึ้นสำหรับหน้านี้ คลังคำราว 1,100 ชิ้นเรียนรู้จากบทแรก ๆ ของ อลิซผจญภัยในแดนมหัศจรรย์ กับย่อหน้าภาษาไทยอีกไม่กี่ย่อหน้า หมายเลขจึงเป็นของเดโมนี้เท่านั้น ตัวตัดโทเค็นจริงเรียนรู้ 50,000–200,000 ชิ้นจากข้อความมากกว่านี้มหาศาล ชิ้นที่ไม่เคยเรียนจะถูกแตกเป็นไบต์ดิบ แสดงแบบ ‹E0›
หลักคร่าว ๆ (ภาษาอังกฤษ)
1 โทเค็น ≈ 4 ตัวอักษร
100 โทเค็น ≈ 75 คำ ภาษาอื่นจะต่างออกไป
คลังคำของ GPT-4
100,258
ชิ้น BPE 100,000 ชิ้น + โทเค็นพิเศษ 258 ตัว

อัตราส่วนระหว่างโทเค็นกับคำแตกต่างกันไปในแต่ละภาษา อย่างภาษาไทยที่เขียนติดกันโดยไม่เว้นวรรคระหว่างคำ ลองพิมพ์ภาษาไทยลงในช่องดูว่าตัวตัดโทเค็นตัวเล็กนี้รับมืออย่างไร

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Byte-pair encoding; OpenAI Help Center: What are tokens; Wikipedia: Large language model

บทที่ II · ความหมายคือทิศทาง

บทที่ II · 2013

ความหมายคือทิศทาง

คำที่ถูกใช้ในบริบทคล้ายกันจะอยู่ใกล้กัน และความสัมพันธ์ระหว่างคำกลายเป็นลูกศร

โทเค็นแต่ละตัวกลายเป็นจุดหนึ่งในปริภูมิที่มีหลายร้อยหรือหลายพันมิติ เราวาดได้แค่สามมิติ ภาพนี้จึงเป็นภาพร่างอย่างง่าย

ตำแหน่งของจุดเรียนรู้มาจากข้อความ คำที่มักปรากฏท่ามกลางคำแวดล้อมคล้ายกัน เช่น แมวกับสุนัข จะลอยมาอยู่ใกล้กัน

ที่น่าทึ่งกว่านั้นคือความสัมพันธ์กลายเป็นทิศทาง ระยะก้าวจากผู้ชายไปผู้หญิง ใกล้เคียงกับระยะก้าวจากกษัตริย์ไปราชินี

ปี 2013 นักวิจัยแสดงให้เห็นว่า กษัตริย์ ลบ ผู้ชาย บวก ผู้หญิง จะได้ผลลัพธ์ที่อยู่ใกล้ราชินีมาก ความหมายกลายเป็นเรขาคณิตไปแล้ว

บทที่ II · ขั้นที่ 2 · 2013

โทเค็นกลายเป็นเวกเตอร์

หมายเลขโทเค็นแต่ละตัวจะถูกแทนด้วย เอ็มเบดดิง (embedding) คือชุดตัวเลขที่กำหนดตำแหน่งของมันเป็นจุดในปริภูมิหลายมิติ ไม่มีใครตั้งค่าตัวเลขเหล่านี้เอง มันถูกเรียนรู้ขึ้นมา เพราะคำที่ใช้ในบริบทคล้ายกันจะได้เวกเตอร์ที่คล้ายกัน ในปี 1957 นักภาษาศาสตร์ เจ. อาร์. เฟิร์ท (J. R. Firth) สรุปแนวคิดนี้ไว้ว่า เราจะรู้จักคำหนึ่งได้จากคำที่มันคบหาด้วย

ลองเลย: เลขคณิตของคำวางตำแหน่งเอง เพื่อประกอบ
word2vec (Google)
2013
มิโคลอฟ (Mikolov) และคณะ เวกเตอร์ยาวราว 100–1,000 ค่า
เวกเตอร์ใน GPT-3
12,288
ค่า ต่อหนึ่งโทเค็น
ผลลัพธ์ที่โด่งดัง
“King − Man + Woman” อยู่ใกล้ “Queen” มาก
มิโคลอฟ, ยีห์ และซไวก์ ปี 2013

จุดสามมิติในภาพนี้วางตำแหน่งเองเพื่ออธิบายหลักการ เอ็มเบดดิงจริงมีมิติมากกว่านี้มากและไม่เป็นระเบียบขนาดนี้ เอ็มเบดดิงยังซึมซับอคติจากข้อความที่ใช้ฝึกด้วย งานวิจัยปี 2016 พบการเปรียบเทียบแบบ “ผู้ชายคู่กับโปรแกรมเมอร์ ผู้หญิงคู่กับแม่บ้าน”

แหล่งข้อมูล (ภาษาอังกฤษ): Mikolov, Yih & Zweig, NAACL-HLT 2013; Wikipedia: Word2vec; Wikipedia: Word embedding; Wikipedia: GPT-3

บทที่ III · คำถัดไป

บทที่ III · การทำนาย

เดาคำถัดไป

โมเดลไม่เคยเขียนคำตอบทั้งก้อนในทีเดียว มันเลือกทีละโทเค็น ต่อท้ายข้อความ แล้วเดาใหม่

จากทุกอย่างที่เขียนมาแล้ว โมเดลจะให้คะแนนกับทุกโทเค็นในคลังคำ

ฟังก์ชันที่เรียกว่าซอฟต์แมกซ์ (softmax) เปลี่ยนคะแนนเหล่านั้นให้เป็นความน่าจะเป็นที่รวมกันได้หนึ่งร้อยเปอร์เซ็นต์

จากนั้นจึงสุ่มเลือกโทเค็นหนึ่งตัว เหมือนทอยลูกเต๋าที่ถ่วงน้ำหนักไว้ นำไปต่อท้ายข้อความ แล้วทำซ้ำทั้งกระบวนการ

ค่าที่เรียกว่าอุณหภูมิควบคุมลูกเต๋านี้ อุณหภูมิต่ำ ได้ตัวเลือกที่ปลอดภัยและคาดเดาได้ อุณหภูมิสูง ได้คำที่แปลกใหม่ และถ้าสูงเกินไปก็จะกลายเป็นคำเพ้อ

บทที่ III · ขั้นที่ 3

ทำนายโทเค็นถัดไป

แก่นแท้ของโมเดลภาษาคือเครื่องทำนายโทเค็นถัดไป เมื่อได้รับข้อความที่มีอยู่ มันจะให้ความน่าจะเป็นกับทุกโทเค็นในคลังคำ เลือกมาหนึ่งตัว ต่อท้ายข้อความ แล้วคำนวณใหม่กับข้อความที่ยาวขึ้น คำตอบยาว ๆ ก็ถูกสร้างขึ้นแบบนี้ ทีละโทเค็น

ลองเลย: เครื่องทำนายคำถัดไปจิ๋วของเล่นไตรแกรม อุณหภูมิ ของเล่นนี้ดูแค่สองคำล่าสุด และเรียนรู้จากข้อความราว 6,000 คำของ อลิซผจญภัยในแดนมหัศจรรย์ (บทที่ I–III ซึ่งเป็นสาธารณสมบัติ) มันจึงเขียนเป็นภาษาอังกฤษสำนวนของลูอิส แคร์รอลล์ ไม่ว่าคุณจะอ่านหน้านี้เป็นภาษาใด ส่วนโมเดลจริงดูย้อนหลังได้หลายพันโทเค็น และเรียนรู้จากข้อความหลายล้านล้านโทเค็น
  1. ให้คะแนน โครงข่ายคำนวณตัวเลขหนึ่งค่าต่อหนึ่งโทเค็นในคลังคำ
  2. ซอฟต์แมกซ์ ยกกำลังแล้วหารด้วยผลรวมให้ได้ผลรวมเป็น 1 (ในฟิสิกส์ สูตรเดียวกันนี้คือการแจกแจงของโบลทซ์มันน์ ปี 1868)
  3. อุณหภูมิ นำคะแนนหารด้วย T ก่อน ถ้า T ต่ำ การแจกแจงจะแหลมไปทางตัวเลือกอันดับหนึ่ง ถ้า T สูงจะแบนราบลง
  4. สุ่ม เลือกหนึ่งโทเค็น ต่อท้าย แล้วทำซ้ำ
แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Large language model; Wikipedia: Softmax function; ข้อความ: Project Gutenberg eBook #11

บทที่ IV · การเรียนรู้

บทที่ IV · การเรียนรู้

ปุ่มหมุนนับพันล้าน

ความน่าจะเป็นมาจากไหน มาจากโครงข่ายของตัวเลขที่เริ่มต้นแบบสุ่ม แล้วถูกปรับทีละนิด

คะแนนเหล่านั้นมาจากโครงข่ายประสาทเทียม คือหน่วยคำนวณง่าย ๆ เรียงเป็นชั้นและเชื่อมถึงกัน ทุกเส้นเชื่อมมีน้ำหนัก เป็นตัวเลขที่เหมือนปุ่มหมุน

ตอนเริ่มฝึก ปุ่มหมุนทุกตัวถูกตั้งแบบสุ่ม การเดาครั้งแรก ๆ จึงไร้สาระ โมเดลอ่านข้อความจริงแล้วเดาคำถัดไป

คำที่เดาจะถูกเทียบกับคำที่มาต่อจริง ความต่างนี้คือความผิดพลาด หรือค่าสูญเสีย (loss)

อัลกอริทึมชื่อการแพร่ย้อนกลับ (backpropagation) คำนวณว่าควรหมุนปุ่มแต่ละตัวไปทางไหนเพื่อให้ความผิดพลาดลดลงเล็กน้อย แล้วขยับทุกปุ่ม ทำซ้ำเป็นล้านล้านครั้ง

บทที่ IV · ขั้นที่ 4

โครงข่ายของตัวเลขที่ปรับได้

ตัวโมเดลคือโครงข่ายประสาทเทียม ตัวเลขไหลผ่านชั้นต่าง ๆ ไปข้างหน้า ถูกคูณด้วย น้ำหนัก (weight) และผ่านฟังก์ชันง่าย ๆ น้ำหนักเหล่านี้ (รวมกับตัวเลขอื่นอีกเล็กน้อย) คือ พารามิเตอร์ ของโมเดล การฝึกเป็นแบบกำกับตนเอง (self-supervised) “คำตอบที่ถูก” ก็คือโทเค็นถัดไปในข้อความจริง จึงไม่ต้องมีคนมานั่งติดป้ายกำกับข้อมูล

  1. ไปข้างหน้า: โครงข่ายอ่านข้อความแล้วให้ความน่าจะเป็นของโทเค็นถัดไป (คลื่นสีฟ้า)
  2. เทียบ: ค่าสูญเสียวัดว่าโมเดลให้ความน่าจะเป็นกับโทเค็นที่มาจริงมากน้อยแค่ไหน
  3. ย้อนกลับ: การแพร่ย้อนกลับคำนวณว่าน้ำหนักแต่ละตัวควรหมุนไปทางไหนเพื่อลดค่าสูญเสีย (คลื่นสีส้ม)
  4. ปรับ: ขยับน้ำหนักทุกตัวไปทางนั้นเล็กน้อย สังเกตในภาพว่าคำว่า “ง่วง” มีโอกาสสูงขึ้นทุกรอบ
โครงข่ายของเล่นนี้
237
พารามิเตอร์ (น้ำหนัก + ไบแอส)
GPT-3 (2020)
175,000 ล้าน
พารามิเตอร์
การแพร่ย้อนกลับ
ลินไนมา 1970 · เวอร์บอส 1982 · รูเมลฮาร์ต ฮินตัน และวิลเลียมส์ 1986
บทความในวารสาร Nature ปี 1986 ทำให้วิธีนี้เป็นที่รู้จักแพร่หลาย
แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Backpropagation; Wikipedia: Large language model; Wikipedia: GPT-3

บทที่ IV · การลดตามความชัน

เดินลงเขาท่ามกลางหมอก

ลองนึกภาพการตั้งค่าปุ่มหมุนทุกแบบเป็นภูมิประเทศ ความสูงคือความผิดพลาด การฝึกคือการเดินลงเขาอันยาวไกล

ลองนึกภาพค่าความผิดพลาดเป็นภูมิประเทศ ทุกจุดคือการตั้งค่าน้ำหนักแบบหนึ่ง และความสูงคือโมเดลผิดมากเพียงใด

เรามองไม่เห็นภูมิประเทศทั้งหมด เห็นแค่ความลาดชันใต้เท้า จึงก้าวลงไปหนึ่งก้าว แล้วมองใหม่

นี่คือการลดตามความชัน (gradient descent) แนวคิดที่ยกเครดิตให้นักคณิตศาสตร์ โอกุสแต็ง-หลุยส์ โกชี ในปี 1847

โมเดลจริงเดินอยู่ในปริภูมิที่มีทิศทางนับพันล้าน ไม่ใช่แค่สอง ลองเปลี่ยนขนาดก้าวในแผงด้านข้าง ก้าวเล็กไปก็ช้า ก้าวใหญ่ไปก็เลยเป้า

บทที่ IV · ขั้นที่ 5 · 1847 → ปัจจุบัน

ลดตามความชัน: เดินตามทางลาด

เกรเดียนต์ (gradient) บอกว่าทิศไหนชันขึ้นมากที่สุด ก้าวไปทางตรงข้าม ค่าสูญเสียก็จะลดลง ทำซ้ำหลายล้านครั้งกับข้อความทีละชุด ค่าสูญเสียจะลดลงเรื่อย ๆ ขนาดของแต่ละก้าวเรียกว่า อัตราการเรียนรู้ (learning rate)

ลองเลย: ขนาดก้าวภูมิประเทศจำลองสองมิติ
เสนอแนวคิดครั้งแรก
1847
โอกุสแต็ง-หลุยส์ โกชี (Cauchy)
ต้นทุนเรียนรู้หนึ่งโทเค็น
≈ 6 FLOPs
ต่อพารามิเตอร์ (หลักคร่าว ๆ)
สิ่งที่ GPT-3 อ่าน
เว็บที่กรองแล้ว 60% · WebText2 22% · หนังสือ 16% · วิกิพีเดีย 3%
สัดส่วนข้อมูลฝึก GPT-3 ปี 2020

แสงสีเขียวคือจุดต่ำสุดของภูมิประเทศจำลองนี้ ส่วนสีชมพูคือแอ่งตื้นที่ลูกบอลอาจติดค้าง ในปริภูมิที่มีมิติสูงมาก การฝึกมักพบหุบเขาที่ “ดีพอ” มากกว่าจุดต่ำสุดเพียงจุดเดียว

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Gradient descent; Wikipedia: Neural scaling law; Wikipedia: GPT-3

บทที่ V · ความสนใจ

บทที่ V · 12 มิถุนายน 2017

ความสนใจ

คำก่อนหน้าคำไหนสำคัญกับคำนี้ ทรานส์ฟอร์มเมอร์ถามคำถามนี้กับทุกคำพร้อมกัน

คำเปลี่ยนความหมายตามบริบท ในประโยคนี้ คำว่า “มัน” หมายถึงสัตว์ หรือถนน

กลไกความสนใจตนเอง (self-attention) ทำให้ทุกโทเค็นมองย้อนไปยังโทเค็นก่อนหน้าทั้งหมด แล้วตัดสินว่าแต่ละตัวสำคัญแค่ไหนในตอนนี้

เมื่อคำท้ายคือ “เหนื่อย” เส้นที่หนาที่สุดชี้ไปที่สัตว์ เปลี่ยนคำเดียวเป็น “กว้าง” เส้นนั้นก็หันไปที่ถนน

แต่ละโทเค็นส่งคำค้น (query) ออกไปเทียบกับกุญแจ (key) ของโทเค็นอื่น แล้วรวบรวมค่า (value) ของพวกมันตามระดับความเข้ากัน

โมเดลมีหัวความสนใจแบบนี้หลายหัวทำงานคู่ขนาน บางหัวติดตามความหมาย บางหัวแค่มองคำที่อยู่ก่อนหน้า

บทที่ V · ขั้นที่ 6 · 2017

ความสนใจตนเอง

เดือนมิถุนายน 2017 นักวิจัยแปดคนที่ Google ตีพิมพ์บทความ “Attention Is All You Need” ซึ่งเปิดตัวสถาปัตยกรรม ทรานส์ฟอร์มเมอร์ (Transformer) หัวใจของมันคือ ความสนใจตนเอง (self-attention) ที่ให้แต่ละโทเค็นดึงข้อมูลจากโทเค็นก่อนหน้า โดยถ่วงน้ำหนักตามความเกี่ยวข้อง

ลองเลย: เลือกคำน้ำหนักสมมติเพื่อประกอบ แตะคำใดคำหนึ่ง (ที่นี่หรือในภาพ) เพื่อดูว่ามัน “มอง” คำก่อนหน้าแต่ละคำมากน้อยเท่าใด น้ำหนักเหล่านี้เขียนขึ้นเองเพื่ออธิบายหลักการ โมเดลจริงเรียนรู้น้ำหนักของมันเอง และหัวความสนใจแต่ละหัวในชั้นเดียวกันจะมองหาสิ่งที่ต่างกัน
  1. เวกเตอร์ของแต่ละโทเค็นถูกแปลงเป็น คำค้น (query: ฉันกำลังหาอะไร) กุญแจ (key: ฉันมีอะไร) และ ค่า (value: ฉันจะส่งอะไรต่อ)
  2. นำคำค้นมาคูณจุดกับกุญแจ ได้คะแนนความเข้ากันกับทุกโทเค็นก่อนหน้า แล้วปรับสเกลและผ่านซอฟต์แมกซ์ให้รวมกันได้ 100%
  3. เวกเตอร์ใหม่ของโทเค็นคือผลรวมถ่วงน้ำหนักของค่าเหล่านั้น ในโมเดลแชตจะมีการบังไม่ให้โทเค็นมองไปข้างหน้า
แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Attention Is All You Need; Wikipedia: Transformer (deep learning)

บทที่ V · ทรานส์ฟอร์มเมอร์

หอคอยแห่งชั้น

ความสนใจ ตามด้วยเครือข่ายเล็ก ๆ สำหรับแต่ละโทเค็น แล้วทำซ้ำ ซ้ำอีก ใน GPT-3 ซ้ำถึง 96 ครั้ง

ทรานส์ฟอร์มเมอร์หนึ่งชั้นมีสองส่วน คือความสนใจ ที่โทเค็นแบ่งปันข้อมูลกัน และเครือข่ายป้อนไปข้างหน้า ที่ประมวลผลแต่ละโทเค็นแยกกัน

ชั้นเหล่านี้ซ้อนกันขึ้นไป แต่ละชั้นขัดเกลาเวกเตอร์ของทุกโทเค็นอีกนิด โดยผสานบริบทจากส่วนอื่นของข้อความเข้ามา

เพราะประมวลผลทุกโทเค็นพร้อมกัน งานจึงกระจายไปยังชิปจำนวนมากได้ดี นี่คือเหตุผลสำคัญที่การออกแบบนี้ครองวงการ

ที่ยอดหอคอย เวกเตอร์สุดท้ายของโทเค็นตัวท้ายจะถูกแปลงเป็นคะแนนของโทเค็นถัดไป แล้ววงจรก็เริ่มใหม่อีกครั้ง

บทที่ V · ขั้นที่ 7

ทรานส์ฟอร์มเมอร์ที่ซ้อนเป็นชั้น

โครงข่ายภาษารุ่นก่อน (โครงข่ายแบบวนซ้ำ เช่น LSTM) อ่านข้อความทีละคำ ทรานส์ฟอร์มเมอร์จัดการทุกตำแหน่งในข้อความพร้อมกัน จึงเหมาะกับหน่วยประมวลผลกราฟิก (GPU) โมเดลต้นฉบับปี 2017 ออกแบบมาเพื่องานแปลภาษา มีพารามิเตอร์ราว 100 ล้านตัว รุ่นใหญ่ใช้เวลาฝึก 3.5 วันบน GPU แปดตัว โมเดลแชตอย่างตระกูล GPT ใช้เพียงครึ่ง “ตัวถอดรหัส” (decoder) เท่านั้น

จำนวนชั้นของ GPT-3
96
แต่ละชั้นมีหัวความสนใจ 96 หัว
ความกว้างเวกเตอร์
12,288
ค่า ต่อโทเค็น
บริบทของ GPT-3
2,048
โทเค็นที่มองเห็นได้พร้อมกัน
บทความปี 2017
250,000+
ครั้งที่ถูกอ้างอิง ณ ปี 2026

ภาพแสดง 12 ชั้นและ 6 โทเค็น ส่วน GPT-3 มี 96 ชั้นและรับได้ถึง 2,048 โทเค็น ชื่อบทความเล่นคำกับเพลง “All You Need Is Love” ของวงเดอะบีเทิลส์

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Attention Is All You Need; Wikipedia: Transformer (deep learning); Wikipedia: GPT-3

บทที่ VI · ขนาด

บทที่ VI · ขนาด

ใหญ่ขึ้น และใหญ่ขึ้นอีก

พารามิเตอร์มากขึ้น ข้อความมากขึ้น พลังคำนวณมากขึ้น หลายปีที่ผ่านมา แค่ขยายขนาดก็ทำให้โมเดลเก่งขึ้นเรื่อย ๆ

มกราคม 2020 นักวิจัยรายงานว่าความผิดพลาดของโมเดลภาษาลดลงอย่างราบรื่นและคาดการณ์ได้ เมื่อขนาดโมเดล ข้อมูล และพลังคำนวณเพิ่มขึ้น

ภายในไม่กี่ปี โมเดลเติบโตจากหลักล้านพารามิเตอร์ไปเป็นหลายแสนล้าน หอคอยนี้สูงขึ้นสิบเท่าในทุกขั้น

ปี 2022 โมเดลชินชิลลาของดีปไมนด์แสดงว่าโมเดลจำนวนมากใหญ่เกินไปเมื่อเทียบกับข้อมูลที่อ่าน ด้วยขนาดหนึ่งในสี่แต่ข้อมูลมากกว่าสี่เท่า มันเอาชนะโมเดลที่ใหญ่กว่ามากได้

ทั้งหมดนี้ต้องใช้พลังคำนวณมหาศาล มีการประเมินว่าถ้าฝึก GPT-3 บนชิปกราฟิกตัวเดียวจะใช้เวลาถึง 355 ปี ในทางปฏิบัติจึงต้องกระจายงานไปยังชิปจำนวนมากที่ทำงานพร้อมกัน

บทที่ VI · ขั้นที่ 8

กฎการขยายขนาด

งานวิจัยปี 2020 ของจาเร็ด แคปแลน (Jared Kaplan) และคณะพบว่าค่าสูญเสียของโมเดลภาษา “ลดลงตามกฎกำลัง (power law) เมื่อขนาดโมเดล ขนาดข้อมูล และพลังคำนวณที่ใช้ฝึกเพิ่มขึ้น” พูดง่าย ๆ คือ ขยายแต่ละอย่างให้ใหญ่ขึ้น ความผิดพลาดก็ลดลงในปริมาณที่คาดการณ์ได้ โมเดลที่ใหญ่ขึ้นยังแสดงความสามารถใหม่ ๆ ออกมาด้วย แต่ความสามารถเหล่านั้นโผล่ขึ้นมาอย่างฉับพลันหรือค่อยเป็นค่อยไป ยังเป็นเรื่องที่ถกเถียงกันอยู่

GPT-2 (2019)
1,500 ล้าน
พารามิเตอร์
GPT-3 (2020)
175,000 ล้าน
พารามิเตอร์
Chinchilla (2022)
70 B · 1.4 T
พารามิเตอร์ · โทเค็นที่ใช้ฝึก (≈ 20 โทเค็นต่อพารามิเตอร์)
Llama 3.1 (2024)
405 B · ~15 T
พารามิเตอร์ · โทเค็นที่ใช้ฝึก
ฝึก GPT-3 บน GPU ตัวเดียว
~355 ปี
ประมาณการโดย Lambda Labs ปี 2020 การฝึกจริงใช้ GPU หลายตัวพร้อมกัน
Nvidia H100 หนึ่งตัว (2022)
80 B · 700 W
ทรานซิสเตอร์ · กำลังไฟสูงสุด

ผู้พัฒนาบางรายไม่เปิดเผยขนาดโมเดล เช่น OpenAI ไม่เปิดเผยขนาดของ GPT-4 (2023) แต่ประธานเจ้าหน้าที่บริหารของบริษัทเคยกล่าวว่าค่าฝึกโมเดลนี้สูงกว่า 100 ล้านดอลลาร์ โมเดลรุ่นใหม่หลายตัวยังใช้แนวทาง “ส่วนผสมของผู้เชี่ยวชาญ” (mixture of experts) ที่ให้แต่ละโทเค็นวิ่งผ่านเครือข่ายย่อยเพียงไม่กี่ตัวจากทั้งหมด

แหล่งข้อมูล (ภาษาอังกฤษ): Kaplan et al., Scaling Laws for Neural Language Models (2020); Wikipedia: Neural scaling law; Wikipedia: Chinchilla; Wikipedia: Llama; Wikipedia: GPT-3; Wikipedia: GPT-4; Wikipedia: Hopper / H100; Wikipedia: Mixture of experts

บทที่ VII · จากเครื่องต่อข้อความสู่ผู้ช่วย

บทที่ VII · 2022

จากเครื่องต่อข้อความสู่ผู้ช่วย

โมเดลที่ฝึกมาเพื่อเขียนข้อความต่อเพียงอย่างเดียว ยังไม่ใช่ผู้ช่วยที่ดี ต้องฝึกเพิ่มอีกสองรอบ

โมเดลฐานที่เพิ่งฝึกเสร็จทำได้แค่เขียนข้อความต่อ ขอให้มันแต่งกลอน มันอาจแค่ไล่เขียนคำขอที่หน้าตาคล้ายของคุณออกมาอีกหลายบรรทัด

ขั้นต่อมาจึงปรับจูนด้วยตัวอย่างคำสั่งจำนวนมากที่จับคู่กับคำตอบที่ดี เรียกว่าการปรับจูนด้วยคำสั่ง (instruction tuning)

จากนั้นให้คนเปรียบเทียบคำตอบทีละคู่แล้วเลือกคำตอบที่ดีกว่า โมเดลอีกตัวที่เรียกว่าโมเดลรางวัลจะเรียนรู้ที่จะทำนายการเลือกเหล่านั้น

สุดท้าย การเรียนรู้แบบเสริมกำลังจะค่อย ๆ ผลักผู้ช่วยไปหาคำตอบที่โมเดลรางวัลให้คะแนนสูง โดยไม่ให้มันหลุดห่างจากสิ่งที่เรียนมาก่อนมากเกินไป

บทที่ VII · ขั้นที่ 9 · 2022

ปรับจูนด้วยคำสั่งและความเห็นของมนุษย์

การฝึกเบื้องต้น (pre-training) ให้ผลเป็น โมเดลฐาน (base model) ที่รู้เรื่องข้อความมากมาย แต่แค่เขียนต่อจากสิ่งที่ได้รับ การเปลี่ยนมันเป็นผู้ช่วยต้องฝึกเพิ่ม ซึ่ง OpenAI อธิบายไว้ในงาน InstructGPT ปี 2022 ก่อนเปิดตัว ChatGPT ไม่นาน

  1. ฝึกเบื้องต้น: ทำนายโทเค็นถัดไปบนคลังข้อความขนาดมหึมา (บทที่ III–VI)
  2. ปรับจูนด้วยคำสั่ง: ฝึกแบบมีผู้สอนด้วยคำสั่งที่จับคู่กับคำตอบดี ๆ ที่มนุษย์เขียน
  3. การเรียนรู้แบบเสริมกำลังจากความเห็นของมนุษย์ (RLHF): คนจัดอันดับคำตอบ โมเดลรางวัลเรียนรู้ความชอบนั้น แล้วผู้ช่วยถูกปรับให้ได้คะแนนสูง โดยมีบทลงโทษถ้าออกห่างจากโมเดลที่ปรับจูนไว้มากเกินไป
ใครใช้วิธีนี้
ChatGPT, Gemini และ Claude อยู่ในกลุ่มโมเดลที่ฝึกด้วย RLHF
มีวิธีแตกแขนง เช่น การปรับให้ตรงความชอบโดยตรง (DPO) และการใช้ความเห็นจาก AI ที่อิงหลักการเป็นลายลักษณ์อักษร (“Constitutional AI”)

วิธีนี้มีจุดอ่อนที่รู้กันอยู่ การให้คะแนนโดยคนมีต้นทุนสูงและอาจไม่สม่ำเสมอหรือมีอคติ และโมเดลอาจเรียนรู้ที่จะเอาใจโมเดลรางวัล เช่น พูดให้ฟังดูมั่นใจ แทนที่จะพูดให้ถูก

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: RLHF; Wikipedia: Large language model

บทที่ VIII · ผิดอย่างมั่นใจ

บทที่ VIII · ความจำ

หน้าต่างบริบท

โมเดลไม่มีความจำของตัวเองระหว่างการสนทนาแต่ละครั้ง มันเห็นได้แค่ข้อความที่อยู่ตรงหน้าเท่านั้น

ทุกอย่างที่โมเดลใช้ได้ระหว่างตอบต้องอยู่ในหน้าต่างบริบท ทั้งข้อความของคุณ คำตอบของมันเอง และเอกสารที่คุณแปะเข้าไป

GPT-3 มองเห็นได้ราวสองพันโทเค็นพร้อมกัน หรือประมาณไม่กี่หน้ากระดาษ

พอถึงปี 2024 บางโมเดลรับได้หนึ่งแสนสองหมื่นแปดพันโทเค็น และ Gemini 1.5 Pro รับได้ถึงหนึ่งล้านโทเค็น เท่ากับนิยายเล่มหนาหลายเล่ม

อะไรที่อยู่นอกหน้าต่าง สำหรับโมเดลก็เหมือนไม่มีอยู่จริง ส่วนความรู้อื่นที่มัน “รู้” ถูกเก็บไว้แบบพร่า ๆ ในน้ำหนักของมัน

บทที่ VIII · ขั้นที่ 10

สิ่งที่โมเดลมองเห็น

หน้าต่างบริบท (context window) คือจำนวนโทเค็นสูงสุดที่โมเดลให้ความสนใจได้ในคราวเดียว แอปแชตมักส่งบทสนทนาทั้งหมดกลับเข้าไปใหม่ทุกรอบ บทสนทนาที่ยาวมากจึงล้นออกนอกหน้าต่างในที่สุด แอปแชตบางตัวเพิ่ม “ความจำ” ด้วยการบันทึกโน้ตไว้แล้วใส่กลับเข้าไปในบริบท

ลองเลย: ขนาดหน้าต่าง
GPT-2 (2019)
~1,000
โทเค็น (“1k”)
GPT-3 (2020)
2,048
โทเค็น
GPT-4 (2023)
8K · 32K
รุ่นปกติ · รุ่นขยาย
Gemini 1.5 Pro (2024)
1,000,000
โทเค็น ในบริการ API จริง
แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Large language model; Wikipedia: GPT-3; Wikipedia: GPT-4; Wikipedia: Llama; Wikipedia: Gemini

บทที่ VIII · อาการหลอน

ผิดอย่างมั่นใจ

โมเดลต้องผลิตคำถัดไปออกมาเสมอ มันไม่มีสัญญาณเตือนในตัวที่ดังขึ้นเมื่อมันไม่รู้

ถามเรื่องที่รู้กันทั่วไป ความน่าจะเป็นเกือบทั้งหมดจะกองอยู่ที่คำตอบที่ถูก

ถามเรื่องที่ไม่ค่อยมีใครรู้ ความน่าจะเป็นจะกระจายบาง ๆ ไปยังคำเดาที่ฟังขึ้นหลายคำ แต่ตัวสุ่มก็ยังต้องเลือกมาหนึ่งคำอยู่ดี

ผลที่ได้อ่านลื่นไหลไม่ต่างจากคำตอบที่ถูกต้อง สิ่งนี้เรียกว่าอาการหลอน (hallucination)

ปี 2023 ทนายความในนิวยอร์กยื่นเอกสารต่อศาลที่อ้างคดีหกคดีซึ่ง ChatGPT แต่งขึ้นเอง ศาลสั่งปรับทนายความ 5,000 ดอลลาร์

บทที่ VIII · ขั้นที่ 11 · 2023

ทำไมโมเดลจึงผิดได้อย่างมั่นใจ

อาการหลอน (hallucination) คือคำตอบที่อ่านลื่นไหลและฟังน่าเชื่อ แต่ไม่จริง มันเป็นผลโดยตรงจากวิธีทำงานของโมเดล ซึ่งถูกฝึกให้สร้างข้อความที่น่าจะเป็น ไม่ได้ถูกฝึกให้ตรวจสอบข้อเท็จจริง และต้องผลิตบางอย่างออกมาในทุกขั้น ในปี 2025 นักวิจัยของ OpenAI เสนอว่าวิธีให้คะแนนที่ใช้กันทั่วไปทั้งตอนฝึกและตอนทดสอบยังให้รางวัลกับการเดามากกว่าการตอบว่า “ไม่ทราบ”

ลองเลย: เรื่องที่รู้กันทั่วไป กับเรื่องที่ไม่ค่อยมีใครรู้ความน่าจะเป็นสมมติ ลองดูแท่งที่สูงที่สุด ถ้าความน่าจะเป็นกระจายตัว นั่นคือสัญญาณเตือน แต่หน้าแชตโดยทั่วไปจะแสดงเฉพาะคำที่ถูกเลือก ไม่ได้แสดงความน่าจะเป็นเบื้องหลัง
คดี Mata v. Avianca (นิวยอร์ก, 2023)
อ้างคดีปลอมหกคดี ทนายความสองคนถูกปรับ 5,000 ดอลลาร์ในเดือนมิถุนายน 2023
ตัวอย่างยุคแรกที่เป็นข่าวดัง

สิ่งที่ช่วยได้: ใส่เอกสารที่เชื่อถือได้ไว้ในบริบท ให้โมเดลค้นหาหรือคำนวณด้วยเครื่องมือ (บทถัดไป) ฝึกให้มันบอกเมื่อไม่แน่ใจ และตรวจสอบคำตอบที่สำคัญด้วยตัวเอง

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Hallucination (AI); Wikipedia: Large language model

บทที่ IX · เครื่องมือและการคิด

บทที่ IX · เครื่องมือและการคิด

คิดก่อนตอบ

โมเดลที่เรียกใช้เครื่องคิดเลขและเครื่องมือค้นหา และโมเดลที่เขียนลำดับความคิดออกมาก่อนจะตอบ

โมเดลภาษาคิดเลขให้แม่นยำทุกครั้งไม่ได้ และไม่รู้ข่าววันนี้ แต่มันเขียนข้อความเพื่อขอให้เครื่องมือช่วยทำได้

แอปจะรันเครื่องมือนั้น ไม่ว่าเครื่องคิดเลข การค้นหา หรือโค้ด แล้วนำผลมาใส่กลับในบริบท โมเดลก็เขียนต่อจากตรงนั้น

ระบบที่ร้อยขั้นตอนแบบนี้หลายขั้นต่อกันเพื่อไปให้ถึงเป้าหมาย เรียกว่าเอเจนต์ (agent)

กันยายน 2024 OpenAI เปิดตัว o1 โมเดลแบบให้เหตุผล ก่อนตอบ มันจะสร้างลำดับขั้นความคิดยาว ๆ แล้วตรวจทานและแก้ไข

โมเดลแบบนี้ฝึกด้วยการเรียนรู้แบบเสริมกำลังกับโจทย์ที่ตรวจคำตอบได้ การคิดนานขึ้นมักช่วยได้ แต่ก็ใช้พลังคำนวณสูงขึ้นมาก

บทที่ IX · ขั้นที่ 12 · 2024 →

เครื่องมือ เอเจนต์ และโมเดลที่คิดก่อนตอบ

การใช้เครื่องมือ: โมเดลถูกฝึกให้เขียนคำขอที่มีรูปแบบชัดเจน (“ค้นหา…” “คำนวณ…”) ซอฟต์แวร์ภายนอกเป็นผู้ทำงานนั้นแล้วส่งผลกลับมาเป็นบริบทเพิ่ม เอเจนต์ (agent) ทำแบบนี้วนเป็นรอบ คือ วางแผน ลงมือ สังเกต แล้วทำซ้ำ ส่วน โมเดลที่คิดก่อนตอบ (reasoning model) ใช้พลังคำนวณเพิ่มตอนตอบ เพื่อเขียนลำดับความคิดก่อนให้คำตอบสุดท้าย

ลองเลย: เรียกใช้เครื่องมือ
o1-preview
ก.ย. 2024
โมเดลให้เหตุผลตัวแรกของ OpenAI
DeepSeek-R1
ม.ค. 2025
โมเดลให้เหตุผลที่ฝึกด้วยการเรียนรู้แบบเสริมกำลัง
สิ่งที่ต้องแลก
งานวิจัยหนึ่งพบว่าโมเดลแบบนี้มีค่าใช้งานแพงกว่า 10 ถึง 74 เท่าบนชุดโจทย์คณิตศาสตร์
และตอบช้ากว่า

“การให้เหตุผล” นั้นก็เป็นข้อความที่ถูกสร้างขึ้นด้วยวิธีเดียวกับคำตอบอื่น ๆ OpenAI เลือกไม่แสดงลำดับความคิดดิบของ o1 ให้ผู้ใช้เห็น แต่ส่งบทสรุปที่โมเดลเขียนให้แทน

แหล่งข้อมูล (ภาษาอังกฤษ): Wikipedia: Reasoning model; Wikipedia: Intelligent agent; Wikipedia: Large language model

บทที่ X · คำถามที่ยังเปิดอยู่

บทที่ X · คำถามที่ยังเปิดอยู่

ต้นทุน สิทธิ์ และความเสี่ยง

เทคโนโลยีนี้ก่อให้เกิดคำถามที่วิศวกรรมเพียงอย่างเดียวตอบไม่ได้

เรื่องพลังงาน ปี 2024 ศูนย์ข้อมูลใช้ไฟฟ้าราวหนึ่งจุดห้าเปอร์เซ็นต์ของทั้งโลก สำนักงานพลังงานระหว่างประเทศคาดว่าภายในปี 2030 จะเพิ่มขึ้นมากกว่าเท่าตัว โดยมี AI เป็นแรงขับสำคัญ

เรื่องข้อมูลและลิขสิทธิ์ โมเดลเรียนรู้จากข้อความที่มนุษย์เขียน นักเขียนและสำนักพิมพ์ฟ้องบริษัท AI หลายราย และศาลยังไม่ได้ให้คำตอบที่เป็นแนวเดียวกัน

เรื่องความปลอดภัยและการกำกับ เราจะมั่นใจได้อย่างไรว่าโมเดลที่ทรงพลังจะทำตามที่มนุษย์ตั้งใจ นักวิจัยบางกลุ่มเห็นความเสี่ยงร้ายแรง อีกกลุ่มมองว่าเป็นความกังวลเกินเหตุ การถกเถียงยังไม่จบ

บทที่ X · ขั้นที่ 13

ข้อจำกัดและคำถามที่ยังเปิดอยู่

คำถามเหล่านี้ยังถกเถียงกันอยู่ในหมู่นักวิทยาศาสตร์ บริษัท รัฐบาล และสาธารณชน ต่อไปนี้คือประเด็นหลัก โดยไม่เข้าข้างฝ่ายใด

พลังงาน

สำนักงานพลังงานระหว่างประเทศ (IEA) ประเมินว่าศูนย์ข้อมูลใช้ไฟฟ้าราว 415 เทราวัตต์-ชั่วโมงในปี 2024 (ราว 1.5% ของทั้งโลก) และคาดว่าจะเพิ่มเป็นราว 945 เทราวัตต์-ชั่วโมงภายในปี 2030 ใกล้เคียงกับที่ญี่ปุ่นใช้ทั้งประเทศในปัจจุบัน พลังงานต่อหนึ่งคำตอบแตกต่างกันมากตามโมเดลและงาน ทั้งบริษัทและนักวิจัยกำลังพัฒนาชิปและโมเดลที่ประหยัดพลังงานขึ้น

ข้อมูลและลิขสิทธิ์

ธันวาคม 2023 หนังสือพิมพ์ The New York Times ฟ้อง Microsoft และ OpenAI กรณีนำบทความไปใช้ฝึกโมเดล มิถุนายน 2025 ศาลรัฐบาลกลางสหรัฐฯ ตัดสินในคดี Bartz v. Anthropic ว่าการนำหนังสือของผู้เขียนไปฝึกโมเดลเข้าข่ายการใช้งานโดยชอบธรรม (fair use) แต่การใช้สำเนาละเมิดลิขสิทธิ์จากห้องสมุดเถื่อนนับล้านเล่มไม่เข้าข่าย ต่อมาในเดือนกันยายน 2025 Anthropic ตกลงจ่าย 1,500 ล้านดอลลาร์เพื่อยุติคดี ขณะที่คดีอื่นยังดำเนินอยู่ และกฎหมายก็แตกต่างกันไปในแต่ละประเทศ

ความปลอดภัยและการกำกับ

การกำกับให้สอดคล้อง (alignment) คือการชี้นำระบบ AI ให้มุ่งไปสู่เป้าหมายและคุณค่าที่มนุษย์ตั้งใจ ปี 2023 นักวิจัยและผู้บริหารบริษัทจำนวนมากร่วมลงนามในแถลงการณ์ประโยคเดียวว่า “การลดความเสี่ยงที่มนุษยชาติจะสูญพันธุ์จาก AI ควรเป็นวาระสำคัญระดับโลก” ขณะที่นักวิจัยคนสำคัญอีกหลายคนเห็นว่าความกังวลนี้เกินจริงหรือยังเร็วเกินไป ส่วนข้อกังวลระยะใกล้ได้แก่ ข้อมูลเท็จ อคติ ความเป็นส่วนตัว และการนำไปใช้ในทางที่ผิด

แหล่งข้อมูล (ภาษาอังกฤษ): Scientific American on the IEA “Energy and AI” report (Apr 2025); Bloomberg Law, 27 Dec 2023; Wikipedia: Bartz v. Anthropic; Wikipedia: AI alignment; Wikipedia: Large language model

บทส่งท้าย

บทส่งท้าย

ระบบเติมคำอัตโนมัติ ในระดับมหาศาล

เป้าหมายง่าย ๆ อย่างการทำนายโทเค็นถัดไป บวกข้อมูลและพลังคำนวณมหาศาล ให้กำเนิดสิ่งที่ไม่มีใครคาดคิดไว้ทั้งหมด

ข้อความกลายเป็นโทเค็น โทเค็นกลายเป็นเวกเตอร์ ความสนใจเชื่อมพวกมันเข้าหากัน ชั้นแล้วชั้นเล่า จนได้ความน่าจะเป็นของทุกโทเค็นที่อาจมาถัดไป

ปุ่มหมุนนับพันล้านถูกปรับด้วยการลดตามความชันบนข้อความนับล้านล้านคำ แล้วถูกขัดเกลาอีกชั้นด้วยความเห็นของมนุษย์

ผลลัพธ์คือสิ่งที่อธิบาย แปลภาษา เขียนโค้ด และไล่เหตุผลแก้โจทย์ได้ แต่ก็ผิดได้อย่างมั่นใจเช่นกัน

การรู้ว่ามันทำงานอย่างไร คือหนทางที่ดีที่สุดในการใช้มันให้เป็น ในฐานะเครื่องมืออันทรงพลัง ที่คำตอบของมันควรได้รับการตรวจสอบ

บทส่งท้าย · 2026 →

แชตบอตคิดอย่างไร ในหน้าเดียว

  • 1 ข้อความถูกหั่นเป็น โทเค็น และแต่ละโทเค็นกลายเป็น เวกเตอร์
  • 2 ชั้นของ ความสนใจ ผสมข้อมูลระหว่างโทเค็น ซ้ำหลายสิบรอบ
  • 3 โมเดลให้ ความน่าจะเป็น กับทุกโทเค็นที่อาจมาถัดไป แล้วสุ่มเลือกหนึ่งตัว
  • 4 น้ำหนักทั้งหมดเรียนรู้ด้วย การลดตามความชัน จากการทำนายโทเค็นถัดไป
  • 5 การปรับจูนด้วยคำสั่ง และ ความเห็นของมนุษย์ เปลี่ยนมันให้เป็นผู้ช่วย
  • 6 เครื่องมือ และ การคิดก่อนตอบ ขยายขีดความสามารถ แต่ อาการหลอน ยังเป็นความเสี่ยง
  • 1986 การแพร่ย้อนกลับเป็นที่รู้จักแพร่หลาย
  • 2013 word2vec: ความหมายในรูปเวกเตอร์
  • 2017 ทรานส์ฟอร์มเมอร์
  • 2020 GPT-3 ขนาด 175,000 ล้านพารามิเตอร์ และกฎการขยายขนาด
  • 2022 InstructGPT ตามด้วย ChatGPT
  • 2024 บริบทหนึ่งล้านโทเค็น และโมเดลที่คิดก่อนตอบรุ่นแรก
  • 2026 GPT-6 เริ่มให้บริการใน ChatGPT (ตุลาคม)

ภาพสามมิติทั้งหมดเป็นภาพอธิบายหลักการ หมายเลขโทเค็น ตำแหน่งเอ็มเบดดิง น้ำหนักความสนใจ และความน่าจะเป็นในขั้นอาการหลอน เป็นค่าสมมติเพื่อประกอบ ยกเว้นตัวเลขที่อ้างอิงจากแหล่งข้อมูล เดโมทำนายคำถัดไปเป็นโมเดลไตรแกรมของจริง (ขนาดจิ๋ว) ที่ฝึกในเบราว์เซอร์ของคุณจากข้อความสาธารณสมบัติ ภาพนิ่งเต็มจอทุกภาพสร้างด้วย AI เพื่อช่วยจินตนาการ ไม่ใช่ภาพถ่ายจริง

แหล่งข้อมูล (ภาษาอังกฤษ)
Wikipedia: Large language model
Wikipedia: ChatGPT
TechCrunch, 7 Oct 2026
OpenAI Help Center: What are tokens
Wikipedia: Byte-pair encoding
Mikolov, Yih & Zweig, NAACL-HLT 2013
Wikipedia: Word2vec
Wikipedia: Word embedding
Wikipedia: Softmax function
Wikipedia: Backpropagation
Wikipedia: Gradient descent
Wikipedia: Attention Is All You Need
Wikipedia: Transformer (deep learning)
Wikipedia: GPT-3
Wikipedia: GPT-4
Kaplan et al., Scaling Laws for Neural Language Models (2020)
Wikipedia: Neural scaling law
Wikipedia: Chinchilla
Wikipedia: Llama
Wikipedia: Hopper / H100
Wikipedia: Mixture of experts
Wikipedia: RLHF
Wikipedia: Gemini
Wikipedia: Hallucination (AI)
Wikipedia: Reasoning model
Wikipedia: Intelligent agent
Scientific American on the IEA “Energy and AI” report (Apr 2025)
Bloomberg Law, 27 Dec 2023
Wikipedia: Bartz v. Anthropic
Wikipedia: AI alignment
Project Gutenberg eBook #11