Duplicate payment
request ยิงซ้ำ กับ side effect ที่ตามมา
- 75 นาที
- 4 domain
- ตัวอย่าง: บังคับทำ Defense
สำหรับคนทำงานร่วมกับ AI · เริ่มที่สาย tech
วัดกันที่วิธีคิดและการคุมงานจริง
ลงมือทำภารกิจแบบงานจริงร่วมกับ AI agent แล้วดูผลตรวจแบบละเอียด ทั้งงานที่ส่งและวิธีทำงานตั้งแต่ต้นจนจบ
ฝึกด้วยตัวเอง หรือแชร์ผลให้ทีมเห็นฝีมือจริงก่อนสัมภาษณ์
ทำไมวิธีเดิมไม่พอแล้ว
AI ช่วยขัดให้ดูดีได้
AI ทำงานที่โจทย์ชัดได้หลายแบบ
ผลงานดูดีได้ทั้งนั้น แต่ไม่เห็นว่าใครตัดสินใจอะไร
เราเลยเชื่อว่าดูแค่งานที่ส่งมาไม่พอแล้ว
ที่อยากรู้จริงๆ คือ
คนคนนี้รู้ไหมว่าอะไรถูก
และจับได้ไหม ตอนที่ AI ทำผิด
ผล
บรรทัดแรกบอกกฎในประโยคเดียว เช่น ทุกส่วนงานถึงระดับที่กำหนด 7 จาก 7 หรือบอกว่าส่วนงานไหนยังไม่ถึง และต้องถึงระดับไหน
ระดับของแต่ละส่วนงานอยู่ในช่วง C1 ถึง C5 แต่ไม่จำเป็นต้องมีครบทั้งห้า แต่ละส่วนมีระดับที่ต้องถึงของตัวเอง
เวลาที่ใช้ไปเทียบกับเวลาทั้งหมดที่ให้
Read the request handler and trace the retry path.
bun test requests.test.tsมีจุดแก้ที่บันทึกไว้
Diffไทม์ไลน์แสดงเฉพาะสิ่งที่บันทึกไว้ ข้อมูลที่ไม่ครบระบุแยก
ตัวอย่างหน้าผล: คำตัดสิน ระดับของแต่ละส่วนงาน และรายละเอียดการทำ
บรรทัดแรกบอกกฎในประโยคเดียว เช่น ทุกส่วนงานถึงระดับที่กำหนด 7 จาก 7 หรือบอกว่าส่วนงานไหนยังไม่ถึง และต้องถึงระดับไหน
Read the request handler and trace the retry path.
bun test requests.test.tsมีจุดแก้ที่บันทึกไว้
Diffไทม์ไลน์แสดงเฉพาะสิ่งที่บันทึกไว้ ข้อมูลที่ไม่ครบระบุแยก
ตัวอย่างหน้าผล: คำตัดสิน ระดับของแต่ละส่วนงาน และรายละเอียดการทำ
สิ่งที่เราวัด
งานที่ส่งบอกว่าได้อะไร วิธีทำที่บันทึกไว้ช่วยให้ตามอ่านว่ามาถึงตรงนั้นยังไง ภาพนี้เทียบสิ่งที่บันทึก ไม่ได้ตัดสินจากจังหวะที่เริ่มใช้ AI
เทสที่มองเห็นผ่านทั้งคู่ diff หน้าตาคล้ายกัน
งานที่ระบบรับกับเวอร์ชันที่เริ่ม เป็นที่มาของผล
ข้อความ คำสั่ง และการเปลี่ยนไฟล์ในขอบเขตที่เก็บไว้
คนอ่านใช้ข้อมูลที่มีถามต่อได้ ไม่ต้องเดาทุกอย่างจากไฟล์เดียว
ข้อมูลที่ไม่ได้บันทึกยังเป็นช่องว่าง ไม่ได้พิสูจน์ว่าไม่ได้ทำ ผลตรวจมาจากข้อกำหนดงาน
อ่านโจทย์แบบงานจริง
ตัวอย่างหัวข้อภารกิจ (ไม่ใช่รายการที่เปิดให้ทำจริง) อ่านบรีฟและสิ่งที่ต้องส่งให้ครบก่อนเลือกทำ
request ยิงซ้ำ กับ side effect ที่ตามมา
ยอดเงินไม่ตรงกับบันทึกในระบบ
ปัญหาที่ต้องไล่เช็กข้อมูลจากหลายจุดประกอบกัน
ตัวอย่างสมมติ เวลาและจำนวนส่วนงานใช้เพื่ออธิบายเท่านั้น
แยกอาการของปัญหากับโจทย์จริงให้ออกก่อนลงมือแก้
ดูแค่ปลายเหตุ
เห็น error แค่จุดเดียว → สั่ง AI แก้ทันที
ยังไม่รู้ว่าแก้ตรงโจทย์จริงไหม
ไล่เช็กก่อนตัดสินใจ
เช็กเงื่อนไขและข้อมูลที่มีทั้งหมด
เทียบสิ่งที่แก้กับโจทย์ที่ต้องส่ง
มีเหตุผลและผลตรวจเช็กย้อนหลังได้
จากบรีฟสู่ผลตรวจ
อ่านบรีฟกับกติกาให้ครบ ลงมือทำใน workspace แล้วกดส่งงานให้ตรวจ
อ่านรายละเอียดและเวอร์ชันของภารกิจให้ครบ (การตั้งค่าระบบบางอย่างไม่ได้แสดงในบรีฟ)
brief สถานการณ์และสิ่งที่ต้องส่ง workspace ไฟล์งานตั้งต้น terms เวลา เครดิต และกติกาที่ต้องยอมรับ ในเวอร์ชันและชุดภารกิจเดียวกัน เวลา งบ AI ตัวเลือกโมเดล กติกาเครื่องมือ ไฟล์ตั้งต้น และตัวตรวจจะเหมือนกันหมด ต่างกันแค่โมเดลที่คุณเลือกใช้กับคำตอบที่ได้
สถานการณ์ โจทย์ที่ต้องจัดการ สิ่งที่ต้องส่ง งานที่ต้องส่งให้ครบ ภาษาเนื้อหา ตามภาษาของภารกิจนั้น เช็กจากระดับที่แต่ละส่วนงานต้องผ่าน ทำส่วนหนึ่งดีแค่ไหนก็ใช้กลบอีกส่วนที่ยังไม่ผ่านไม่ได้
ผลผูกกับอะไร
อ่านเวอร์ชัน งานที่ส่ง และระดับของแต่ละส่วนร่วมกัน เพื่อให้เข้าใจขอบเขตของผล
อ่านบรีฟของเวอร์ชันที่เลือก เพื่อรู้ว่างานครั้งนี้ต้องส่งอะไร
อ่านกติกาที่ต้องยอมรับ เพื่อรู้ว่าครั้งนี้ทำอะไรได้บ้าง
อ่านไฟล์ สั่งงาน AI แล้วตรวจสิ่งที่เปลี่ยนตามกติกาของภารกิจ
ทบทวนสิ่งที่จะส่งและดูสถานะตอบรับตามคู่มือภารกิจ
เทียบระดับที่ถึงกับระดับที่ต้องถึงของแต่ละส่วนงาน
กติกาการผ่าน
ทุกส่วน
ส่วนที่ถึงแล้ว ไม่ชดเชยส่วนที่ยังไม่ถึง
C1 คือแกนหลัก ถ้ายังไม่ผ่าน ระดับลึกกว่ายังไม่นับ
ตัวอย่างและคำอธิบายเต็มอยู่หน้าเราวัดยังไง
กติกาผูกไว้ตั้งแต่ตอนเริ่ม ไม่เปลี่ยนตามผลที่ออกมา
ชื่อเดียวกันอาจมีหลายเวอร์ชัน อ่านเวอร์ชันที่อยู่ข้างผล
แต่ละส่วนงานมีระดับที่ต้องถึงของตัวเอง
ผลที่พักไว้ไม่ใช่ไม่ผ่าน ผลที่แก้มีประวัติ
อ่านแต่ละแหล่งให้ตรงเรื่อง
แต่ละวิธีตอบคนละคำถาม ใช้ร่วมกันได้ ตารางนี้อธิบายชนิดข้อมูล ไม่ได้อ้างว่าใครจ้างคนได้ดีกว่า
| ประวัติที่เขียนไว้ | ไฟล์สุดท้าย | บทสนทนา | | |
|---|---|---|---|---|
| สิ่งที่อ่าน | ประสบการณ์ที่เล่า | สิ่งที่ส่งมา | เหตุผลที่อธิบาย | ระดับของแต่ละส่วนงาน |
| บริบทเพิ่ม | ตรวจสอบกับแหล่งอื่น | เทียบกับสิ่งที่ต้องส่ง | อ่านร่วมกับงาน | หลักฐานที่บันทึกและยังเก็บอยู่ |
| คนยังต้องทำอะไร | อ่านความเกี่ยวข้อง | ตรวจคุณภาพ | ตีความคำอธิบาย | อ่านเงื่อนไขและข้อจำกัด |
ผลไม่รับประกันว่าจะได้งาน และไม่แทนการพิจารณาของคน
เห็นว่าส่วนไหนถึงระดับที่กำหนดแล้ว
ส่วนงานบอกขอบเขตที่ผลนี้ครอบคลุม
เปิดไทม์ไลน์และจุดแก้ตามสิทธิ์และข้อมูลที่ยังเก็บ
ไม่ได้วัดกับคะแนนต่ำเป็นคนละเรื่อง
การแก้ไขมีประวัติให้ดู
อ่านร่วมกับหลักฐานอื่นที่เหมาะกับงาน
เอาผลตรวจไปใช้ต่อได้จริง
ดูผลตรวจที่ผู้สมัครแชร์ให้ แล้วใช้ประกอบการคัดคนร่วมกับขั้นตอนอื่น
ในรอบประเมินของทีม เช็กจำนวนคนที่ส่งผลแล้วก่อนตีความกราฟ
ในชั้นเรียน ครูเปิดดูงานที่ผู้เรียนแชร์และเขียน feedback เพิ่มได้ โดยไม่กระทบผลตรวจเดิม
เข้ากับการจ้างที่มีอยู่
เลือกตำแหน่งเพื่อดูตัวอย่าง flow เพิ่มผลภารกิจเป็นข้อมูลประกอบ โดยทีมยังอ่านข้อจำกัดและตัดสินใจเอง
ประกาศงาน → OperatorRank → อ่านเรซูเม่ → interview / live coding → ตัดสินใจ
อ่านผลที่มีสิทธิ์ควบคู่กับใบสมัคร ไม่ใช้เป็นเหตุปฏิเสธอัตโนมัติ
ประกาศงาน → อ่านเรซูเม่ → OperatorRank → interview / live coding → ตัดสินใจ
ถ้าใช้ภารกิจในช่วงประเมิน อ่านบรีฟและเงื่อนไขให้ตรงกับงาน
ประกาศงาน → อ่านเรซูเม่ → take-home → OperatorRank → interview / live coding → ตัดสินใจ
อ่านหลักฐานที่มีสิทธิ์ก่อนคุย เพื่อเข้าใจงานในบริบทของครั้งนั้น
ประกาศงาน → OperatorRank → ตัดสินใจ
ใช้เป็นหลักฐานหนึ่งร่วมกับข้อมูลอื่น แล้วให้คนตัดสินใจ
ฝึกในจังหวะของคุณ
ผลตรวจเก็บบันทึกการทำงานไว้ให้ย้อนดู ช่วยให้เห็นว่าต้องฝึกจุดไหนต่อ ไม่ใช่แค่ดูว่าผ่านหรือไม่ผ่าน
เทียบระดับที่ได้กับเกณฑ์ที่ต้องถึง
ย้อนดู prompt คำสั่ง และจุดที่แก้ไฟล์ไว้
ผลฝึกไปถึงบริษัทก็ต่อเมื่อคุณเลือกแชร์เอง
ยืนยันด้วย Google แล้วเช็กยอดกับวันหมดอายุได้ที่หน้าเครดิต
กติกาและความเป็นส่วนตัว
ผลที่ถูกพักไว้จะยังไม่แสดงคำตัดสิน
เมนูโมเดลและงบ AI ถูกกำหนดไว้ตามชุดภารกิจ
ส่วนที่ไม่ได้วัด ไม่ได้แปลว่าได้คะแนนน้อย
องค์กรจะเห็นข้อมูลได้เฉพาะในขอบเขตที่คุณอนุญาตเท่านั้น
ถ้า log เก็บไม่ครบ ไม่ได้แปลว่าคุณไม่ได้ทำงาน
เช็กวันหมดเขตขอทบทวนได้ที่หน้าผล ทุกการแก้ไขจะมีประวัติบันทึกไว้
ใครใช้
อ่านผลทีละส่วนงาน ไม่ต้องเปิดกล้องคุมสอบ
Read the request handler and trace the retry path.
bun test requests.test.tsมีจุดแก้ที่บันทึกไว้
Diffไทม์ไลน์แสดงเฉพาะสิ่งที่บันทึกไว้ ข้อมูลที่ไม่ครบระบุแยก
ผลฝึกไม่เป็นสาธารณะ ทีมงานและผู้ให้บริการประมวลผลข้อมูลตามนโยบายความเป็นส่วนตัว
ตอนนี้เราเริ่มจากภารกิจสาย software ก่อน (ดูภารกิจที่เปิดอยู่และภาษาของเนื้อหาได้ในหน้าภารกิจ) วิธีวัดแบบเดียวกันนี้ใช้กับงานจริงที่ทำกับ AI สายอื่นได้ด้วย ตั้งแต่จับปัญหา เช็กข้อมูล ตัดสินใจ ไปจนถึงตรวจงานที่ AI ทำ
ใช้ AI ได้ภายในงบและกติกาของภารกิจ แต่ผ่านเมื่อทุกส่วนงานถึงระดับของตัวเอง แก้หลายจุดยังไม่พอ ถ้ามีส่วนงานที่ยังไม่ถึงเกณฑ์
หน้าผลบอกเวลาประมาณถ้ามี ภารกิจใหญ่ใช้เวลาตรวจนานกว่า และคิวอาจทำให้นานขึ้น ปิดหน้าไปได้ ผลออกแล้วมีแจ้งเตือนในแอป
ไม่ ระบบส่งเฉพาะข้อมูลผลงานให้ คนในบริษัทเป็นคนอ่านและตัดสินใจเอง