Practical Reverse Engineering: A Hands-On Starter Guide

Reverse engineering คือกระบวนการสลายส่วนซอฟต์แวร์ที่คอมไพล์แล้วเพื่อทำความเข้าใจตรรกะ พฤติกรรม และเจตนาของมันโดยไม่มีการเข้าถึง source code ไม่ว่าคุณกำลังวิเคราะห์ malware สอบสวน binary ที่เป็นแบบ closed-source หรือศึกษา CTF challenges ขั้นตอนการทำงานหลักเดียวกันใช้ได้: รวบรวมข้อมูลแบบ static ก่อน จากนั้นยืนยันสมมติฐานของคุณแบบ dynamic คู่มือนี้จะสอดส่วนประกอบนั้นด้วยขั้นตอนที่ใช้งานได้จริงและไม่ขึ้นอยู่กับเครื่องมือที่คุณสามารถนำไปใช้ได้ทันที

Setting Up a Safe Analysis Environment

ก่อนสัมผัสไบนารีที่ไม่คุ้นเคยใด ให้แยกเก็บสถานที่ทำงาน ใช้เครื่อง virtual machine ที่เฉพาะเจาะจงโดยไม่มีการเข้าถึงเครือข่ายไปยัง host สร้าง snapshot ก่อนการวิเคราะห์ และปิดการใช้งาน shared folders และ clipboard sync เครื่องมือเช่น Linux VM ที่มี radare2, Ghidra, gdb และ objdump ครอบคลุมความต้องการแบบ static และ dynamic ส่วนใหญ่ ในขณะที่ Windows VM ที่มี x64dbg และ Process Monitor เป็นสิ่งจำเป็นสำหรับไฟล์ PE ไม่ควรวิเคราะห์ตัวอย่างที่น่าสงสัยบนเครื่องหลักของคุณ และควรย้อนกลับ snapshots ระหว่างเซสชันเพื่อหลีกเลี่ยงการปนเปื้อนข้ามกัน

Static Analysis: Reading Without Running

เริ่มต้นด้วยการระบุประเภทไฟล์และสถาปัตยกรรมโดยใช้ file และ readelf -h (Linux) หรือ PE header inspector (Windows) ตรวจสอบการบีบอัด (packing) หรือ obfuscation ด้วย entropy analysis — เครื่องมือเช่น Detect It Easy ทำเครื่องหมายส่วน entropy สูงที่น่าสงสัยซึ่งบ่งชี้การบีบอัดหรือการเข้ารหัส

ถัดไป โหลดไบนารีเข้า disassembler เช่น Ghidra หรือ IDA Free โฟกัสไปที่:

• Imports and exports — การเรียก API เช่น CreateRemoteThread หรือ VirtualAllocEx ให้คำใบ้เกี่ยวกับ process injection; WSAStartup บ่งชี้การทำงานเครือข่าย
• Strings — เรียกใช้ strings -n 8 binary เพื่อแสดง URL ที่เก็บไว้ในโค้ด เส้นทางไฟล์ หรือข้อความแก้จุดบกพร่องที่เปิดเผยฟังก์ชันการทำงาน
• Control flow graphs — มุมมอง decompiler ของ Ghidra เปลี่ยน assembly ดิบเป็น pseudo-C ที่อ่านได้ ทำให้ความเข้าใจเกี่ยวกับลูปและเงื่อนไขเร็วขึ้นอย่างมากมาย

ให้คำอธิบายประกอบชื่อฟังก์ชันขณะที่คุณเข้าใจมัน การเปลี่ยนชื่อ sub_401020 เป็น decrypt_config ทำให้ส่วนที่เหลือของการวิเคราะห์ของคุณตามมาได้ง่ายขึ้นทันที

Dynamic Analysis: Watching It Run

การวิเคราะห์แบบ static เพียงอย่างเดียวไปไม่ได้ไกลนัก โดยเฉพาะอย่างยิ่งกับโค้ดที่เป็น obfuscated หรือบีบอัด โหลดไบนารีใน debugger และตั้ง breakpoints ที่การเรียก API ที่น่าสงสัยซึ่งระบุไว้ก่อนหน้า ใน x64dbg การขัดจังหวะ VirtualAlloc หรือ WriteProcessMemory มักเปิดเผยรูทีนการถอด packing เมื่อมันเขียนโค้ดที่ถูกถอดรหัสลงในหน่วยความจำก่อนการดำเนินการ

ใช้ Process Monitor หรือ strace/ltrace บน Linux เพื่อบันทึกกิจกรรมไฟล์ registry และเครือข่ายแบบเรียลไทม์ มุมมองจากภายนอกนี้เสริมเต็มเต็มมุมมองจากภายในจาก debugger และมักเปิดเผยพฤติกรรมที่ยากต่อการมองเห็นใน disassembly เพียงอย่างเดียว เช่นการสร้างไฟล์ชั่วคราวหรือการค้นหา DNS

สำหรับไบนารีที่สามารถเข้าถึงเครือข่าย ให้เรียกใช้ควบคู่ไปกับ Wireshark หรือตัวจำลองอินเทอร์เน็ตปลอมเช่น INetSim เพื่อสังเกตการค้นหา command-and-control โดยไม่ปล่อยให้ตัวอย่างไปถึงอินเทอร์เน็ตจริงๆ

Dealing With Anti-Analysis Tricks

ไบนารีจำนวนมาก โดยเฉพาะ malware มีการตรวจสอบที่ออกแบบมาเพื่อตรวจจับ debuggers virtual machines หรือ sandboxes เทคนิคทั่วไปรวมถึงการเรียก IsDebuggerPresent ตรวจสอบระบบลงทะเบียน (registry keys) ที่เฉพาะเจาะจงของ VM หรือวัดเวลาการดำเนินการเพื่อตรวจจับ single-stepping เมื่อคุณตรวจสอบการตรวจสอบเหล่านี้ระหว่างการวิเคราะห์แบบ static คุณสามารถแพตช์การข้ามเงื่อนไขใน debugger เพื่อบังคับให้