ทำไมเครือข่ายนโยบายใน AlphaZero จึงทำงาน

chessprogrammer 09/14/2018. 1 answers, 124 views
neural-networks reinforcement-learning ai-design alphazero alphago-zero

ใน AlphaZero policy network (หรือหัวหน้าเครือข่าย) ทำแผนที่เกมเพื่อกระจายโอกาสในการดำเนินการแต่ละอย่าง การกระจายนี้ครอบคลุมการกระทำที่เป็นไปได้ทั้งหมดจากสถานะนั้น

เครือข่ายดังกล่าวเป็นไปได้อย่างไร การกระทำที่เป็นไปได้จากแต่ละรัฐนั้นแตกต่างอย่างมากจากรัฐที่ตามมา ดังนั้นแต่ละการกระทำที่เป็นไปได้จากสถานะที่กำหนดจะแสดงในเอาต์พุตของเครือข่ายอย่างไรและการออกแบบเครือข่ายจะหยุดเครือข่ายจากการพิจารณาการกระทำที่ผิดกฎหมายได้อย่างไร

1 Answers


Neil Slater 09/15/2018.

ผลลัพธ์ของเครือข่ายนโยบายดังที่อธิบายไว้ในเอกสารต้นฉบับ:

การย้ายในหมากรุกอาจอธิบายได้ในสองส่วน: การเลือกชิ้นส่วนที่จะย้ายแล้วเลือกระหว่างการเคลื่อนไหวทางกฎหมายสำหรับชิ้นส่วนนั้น เราเป็นตัวแทนของนโยบายπ (a | s) โดยระนาบ 8 × 8 × 73 ที่เข้ารหัสการกระจายความน่าจะเป็นมากกว่าการเคลื่อนไหวที่เป็นไปได้ 4,672 ครั้ง ตำแหน่ง 8 × 8 แต่ละตำแหน่งจะระบุตารางซึ่งจะ“ หยิบ” ชิ้นส่วน เครื่องบิน 56 ลำแรกเข้ารหัส 'การเคลื่อนไหวของพระราชินีที่เป็นไปได้สำหรับชิ้นส่วนใด ๆ : สี่เหลี่ยมจำนวนหนึ่ง [1..7] ซึ่งชิ้นส่วนนั้นจะถูกเคลื่อนย้ายไปตามทิศทางเข็มทิศหนึ่งในแปดทิศทาง {N, NE, E, SE, S, SW, W, NW} เครื่องบิน 8 ลำถัดไปเข้ารหัสการเคลื่อนที่ของอัศวินที่เป็นไปได้สำหรับชิ้นส่วนนั้น เครื่องบิน 9 ลำสุดท้ายเข้ารหัสภายใต้การเลื่อนตำแหน่งที่เป็นไปได้สำหรับการจำนำหรือจับในสองแนวทแยงมุมที่เป็นไปได้คืออัศวินบิชอปหรือโกงตามลำดับ จำนำย้ายหรือจับจากอันดับที่เจ็ดอื่น ๆ ได้รับการเลื่อนตำแหน่งให้เป็นราชินี

ดังนั้นตัวเลือกการย้ายแต่ละครั้งจะให้คะแนนความน่าจะเป็นสัมพัทธ์ของการเลือกชิ้นส่วนในตารางที่กำหนดและเคลื่อนย้ายในลักษณะที่เฉพาะเจาะจง ตัวอย่างเช่นมีหนึ่งเอาต์พุตที่อุทิศให้กับการยกชิ้นส่วนใน A3 และย้ายไปยัง A6 เสมอ การเป็นตัวแทนนี้รวมถึงการเลือกชิ้นส่วนของฝ่ายตรงข้ามการเลือกสี่เหลี่ยมที่ว่างเปล่าทำให้การเคลื่อนไหวของอัศวินสำหรับ rooks ทำให้การเคลื่อนไหวในแนวทแยงยาวสำหรับเบี้ย นอกจากนี้ยังรวมถึงการเคลื่อนไหวที่นำชิ้นส่วนออกจากกระดานหรือผ่านชิ้นส่วนบล็อกอื่น ๆ

ปัจจัยการแตกแขนงทั่วไปในหมากรุกอยู่ที่ประมาณ 35 เครือข่ายนโยบายที่อธิบายไว้ข้างต้นจะคำนวณความน่าจะเป็นแบบไม่ต่อเนื่องสำหรับการเคลื่อนไหว 4672 ครั้ง

เห็นได้ชัดว่านี่ can เลือกการเคลื่อนไหวที่ไม่ถูกต้องได้หลายอย่างถ้าไม่มีชิ้นส่วนหรือไม่สามารถเคลื่อนที่ได้ตามที่แนะนำ ในความเป็นจริงมันทำเช่นนี้ตลอดเวลาแม้เมื่อได้รับการฝึกฝนอย่างเต็มที่เนื่องจากไม่มีสิ่งใดที่ได้เรียนรู้เกี่ยวกับการหลีกเลี่ยงการเคลื่อนไหวที่ไม่ถูกต้องในระหว่างการฝึกอบรม - พวกเขาไม่ได้รับผลตอบรับเชิงบวกหรือเชิงลบเนื่องจากไม่เคยมีประสบการณ์ใด ๆ อย่างไรก็ตามข้อดีคือโครงสร้างนี้นั้นเรียบง่ายและคงที่ทั้งสองลักษณะที่มีประโยชน์เมื่อสร้างเครือข่ายประสาท

วิธีการทำงานง่ายๆคือการกรองการเคลื่อนไหวที่เป็นไปไม่ได้อย่างมีเหตุผลการตั้งค่าความน่าจะเป็นที่มีประสิทธิภาพให้เป็นศูนย์จากนั้นปรับความน่าจะเป็นปกติสำหรับการย้ายที่ถูกต้องที่เหลืออยู่ ขั้นตอนนั้นเกี่ยวข้องกับการถามเอนจิ้นเกมถึงสิ่งที่การเคลื่อนไหวที่ถูกต้อง - แต่ก็ไม่เป็นไร "การโกง"

ในขณะที่มันอาจเป็นไปได้ที่จะมีตัวแทนเรียนรู้ที่จะหลีกเลี่ยงการเคลื่อนไหวที่ไม่ถูกต้องหรือโครงสร้างการส่งออกที่ฉลาดบางอย่างที่สามารถแสดงการเคลื่อนไหวที่ถูกต้องเท่านั้นทั้งสองจะเบี่ยงเบนความสนใจจากเป้าหมายหลักของการเรียนรู้วิธีการเล่นเกมอย่างดีที่สุด


HighResolutionMusic.com - Download Hi-Res Songs

1 AJR

Birthday Party flac

AJR. 2019. Writer: Adam Met;Jack Met;Ryan Met;Peter Ivers;David Lynch.
2 Loote

Your Side Of The Bed flac

Loote. 2018. Writer: ​Jesse Saint John;Jackson Foote;Emma Lov Block.
3 AJR

100 Bad Days flac

AJR. 2019. Writer: Jack Met;Adam Met;Ryan Met.
4 Joe Jonas

Longer Than I Thought flac

Joe Jonas. 2018. Writer: Patrick Nissley;Jackson Foote;Dave Katz.
5 Loote

Out Of My Head flac

Loote. 2018. Writer: Emma Lov Block;Michael Pollack;Jeremy Dussolliet;Jackson Foote.
6 Iselin Solheim

Anyone Out There flac

Iselin Solheim. 2019. Writer: Iselin Solheim;Max Grahn.
7 Loote

Wish I Never Met You flac

Loote. 2018. Writer: Jackson Foote;Alex Peter Koste;Jeremy Dussolliet;Emma Lov Block.
8 Kim Petras

Heart To Break flac

Kim Petras. 2018. Writer: Cirkut;Aaron Joseph;Dr. Luke;Jacob Kasher;Kim Petras.
9 A L E X

Out On The Trampoline At Night flac

A L E X. 2018. Writer: A L E X.
10 A L E X

I Want To Hold Your Hand flac

A L E X. 2018. Writer: A L E X.
11 A L E X

Field flac

A L E X. 2018. Writer: A L E X.
12 A L E X

Save Me flac

A L E X. 2018. Writer: A L E X.
13 Devin

Summer Lover flac

Devin. 2019. Writer: Tommy Lee James;Stuart Crichton;Oliver Heldens;Nile Rodgers;Devin Guisande.
14 A L E X

9 To 5 flac

A L E X. 2018. Writer: A L E X.
15 A L E X

Skirt flac

A L E X. 2018. Writer: A L E X.
16 Florian Picasso

Midnight Sun (Extended Version) flac

Florian Picasso. 2019.
17 Florian Picasso

Midnight Sun flac

Florian Picasso. 2019.
18 21 Savage

Enzo flac

21 Savage. 2019. Writer: YungLunchBox;Sheck Wes;Offset;Gucci Mane;21 Savage;DJ Snake.
19 Tales Of Ratatösk

Battle Of The Doomed Gods 320kbps

Tales Of Ratatösk. 2019.
20 Tales Of Ratatösk

Andro 320kbps

Tales Of Ratatösk. 2019.

Related questions

Hot questions

Language

Popular Tags