OpenAI phát hiện các liều lượng nhỏ huấn luyện có lợi giúp tăng cường an toàn AI

Các nhà nghiên cứu tại OpenAI đã phát hiện ra rằng việc huấn luyện các mô hình AI dựa trên các hành vi tích cực cụ thể có thể dẫn đến những cải thiện rộng rãi và bất ngờ về độ an toàn cũng như độ tin cậy trên nhiều lĩnh vực khác nhau. Bước đột phá này cho thấy "hành vi tốt" có khả năng chuyển đổi cao, giúp các mô hình chống lại sự thao túng tốt hơn mà không cần đến các bộ dữ liệu mới khổng lồ.

Sức mạnh của các đặc điểm có lợi có khả năng khái quát hóa

Trong một nghiên cứu gần đây được công bố trên trang alignment của OpenAI, các nhà nghiên cứu đã khám phá liệu việc củng cố các đặc điểm tích cực cụ thể trong quá trình học tăng cường (RL) có thể khái quát hóa sang các kịch bản lạ hay không. Thay vì huấn luyện an toàn trên diện rộng, nhóm nghiên cứu đã tập trung vào một tập hợp các hành vi mong muốn có mục tiêu, bao gồm tính trung thực, sự khiêm tốn về nhận thức (epistemic humility), tính có thể sửa đổi (corrigibility), sự minh bạch trong lập luận, tính công bằng và sự quan tâm đến phúc lợi của con người.

Các đặc điểm này đã được thử nghiệm thông qua các cuộc hội thoại thực tế trong các lĩnh vực quan trọng như y tế, giáo dục, khoa học, luật pháp và kỹ thuật. Phát hiện đáng kinh ngạc nhất là ngay cả một lượng nhỏ dữ liệu "đặc điểm có lợi" này khi được trộn vào quy trình hậu huấn luyện RL thông thường cũng mang lại kết quả to lớn. Mô hình đã cho thấy sự cải thiện trong 44 trên tổng số 53 điểm chuẩn (benchmarks) độc lập, bao gồm các rủi ro quan trọng như sự lừa dối, tính nịnh bợ (sycophancy), tấn công phần thưởng (reward hacking) và các kịch bản sức khỏe tâm thần.

Khả năng chống lại sự điều hướng và thao túng có hại

Một thách thức đáng kể trong việc căn chỉnh AI (AI alignment) là "jailbreaking" hoặc điều hướng có hại, nơi các câu lệnh đối nghịch (adversarial prompts) buộc mô hình phải bỏ qua các rào chắn an toàn. Nghiên cứu của OpenAI chứng minh rằng các mô hình được huấn luyện với các đặc điểm có lợi này thể hiện điều mà các nhà nghiên cứu gọi là "sự kiên định có chọn lọc" (selective persistence).

Hiện tượng này có nghĩa là mô hình trở nên chống lại các câu lệnh đối nghịch và việc tinh chỉnh (fine-tuning) có hại — những thứ thường làm mất ổn định một mô hình cơ sở — một cách đáng kể. Quan trọng là, khả năng chống lại này không làm mất đi tính hữu dụng; các mô hình vẫn giữ nguyên khả năng tuân thủ các hướng dẫn hữu ích và hợp lệ. Khả năng duy trì các giá trị cốt lõi dưới áp lực — trong khi vẫn linh hoạt đáp ứng nhu cầu người dùng — đại diện cho một bước tiến lớn trong việc tạo ra AI mạnh mẽ, sẵn sàng cho môi trường thực tế.

Những con đường khác biệt: OpenAI và Anthropic

The findings highlight a fundamental philosophical split in how the industry approaches AI alignment. OpenAI’s current trajectory leans heavily on empirical, measurable behavioral traits reinforced through RL in realistic, domain-specific scenarios. Their success is measured through rigorous benchmarking across dozens of evaluation methods.

In contrast, Anthropic utilizes "Constitutional AI." This method relies on an explicit, written document—the "Claude constitution"—which serves as a top-level guide for the model to understand the principles behind its behavior. While Anthropic focuses on a principles-based approach where the model understands the why behind its values, OpenAI is proving that a data-driven, behavior-reinforcement approach can achieve high levels of safety and cross-domain generalization.

This research is vital for the broader AI landscape because it provides a more efficient roadmap for safety. If developers can achieve widespread alignment using only "small doses" of specialized training data, the cost and complexity of making frontier models safe could decrease significantly.

Key Takeaways

• Cross-Domain Transferability: Training on specific traits like truthfulness and fairness in one field (e.g., healthcare) improves model performance in entirely unrelated benchmarks like deception detection.
• Selective Persistence: Models trained with beneficial traits become harder to manipulate via adversarial prompts or harmful fine-tuning while remaining highly responsive to helpful user instructions.
• Efficiency in Alignment: OpenAI demonstrated that even small amounts of targeted reinforcement learning data can significantly boost safety across 44 out of 53 tested benchmarks.