Kể từ khi ChatGPT trở thành một cái tên quen thuộc với mọi nhà, một huyền thoại đã dần hình thành xung quanh các công cụ phát hiện AI. Mọi người hình dung chúng như những chú chó săn kỹ thuật số đang đánh hơi dấu vân tay của ChatGPT. Sự thật thì ít mang tính điện ảnh hơn nhiều. Những công cụ này không truy vấn một cơ sở dữ liệu bí mật về tất cả những gì một LLM từng viết. Chúng cũng không có đường dây liên lạc trực tiếp với lịch sử trình duyệt của bạn. Những gì chúng thực sự làm là chạy văn bản của bạn qua các mô hình thống kê và săn tìm các tín hiệu toán học có mối tương quan với văn phong do máy tạo ra. Hiểu được những tín hiệu đó sẽ giúp bạn diễn giải kết quả của chúng một cách khôn ngoan, và bảo vệ bạn khỏi việc đặt niềm tin mù quáng vào một con số phần trăm.

Cách các công cụ này thực sự vận hành

Về cốt lõi, các công cụ phát hiện AI là các công cụ khớp mẫu (pattern-matching engines) được vận hành bởi xác suất. Các mô hình ngôn ngữ lớn hoạt động bằng cách dự đoán token có khả năng xảy ra tiếp theo cao nhất, hết câu này đến câu khác. Qua hàng ngàn từ, thói quen đó để lại một "dư lượng thống kê". Các công cụ phát hiện cố gắng đo lường dư lượng đó.

Hãy nghĩ về nó giống như việc phân tích chữ viết tay. Một chuyên gia không so sánh chữ "g" của bạn với một cơ sở dữ liệu mẫu về mọi chữ "g" từng được viết. Thay vào đó, họ nhìn vào nhịp điệu, độ nghiêng, lực nhấn và khoảng cách. Các công cụ phát hiện áp dụng logic tương tự đối với văn bản. Chúng kiểm tra xem ngôn ngữ có dễ dự đoán hay không, cấu trúc duy trì sự đồng nhất như thế nào, và liệu từ vựng có nằm trong phạm vi thống kê hẹp thường thấy ở các văn bản tổng hợp hay không.

Vì mỗi nhà cung cấp công cụ phát hiện đều huấn luyện mô hình của mình trên các kho ngữ liệu khác nhau và điều chỉnh độ nhạy khác nhau, nên cùng một đoạn văn có thể đạt điểm 12% trên nền tảng này nhưng lại là 87% trên nền tảng khác. Không có một tiêu chuẩn chung nào cho "tính chất AI". Mỗi công cụ về bản chất là một ý kiến được thể hiện dưới dạng toán học.

Bốn tín hiệu mà các công cụ phát hiện săn tìm

Hầu hết các nền tảng phát hiện đều tìm kiếm một vài dấu hiệu cụ thể. Biết được chúng là gì sẽ giúp xóa tan nhiều sự nhầm lẫn.

Tính có thể dự đoán được (Predictability) Ngôn ngữ của con người thường thất thường. Một người đang mô tả một quán cà phê có thể đề cập đến mùi espresso cháy, sau đó lạc vào một ký ức về căn bếp của bà họ, rồi quay lại với những tấm ván sàn bị ố. AI có xu hướng đi theo con đường có xác suất cao nhất. Nó chọn những từ mà dữ liệu huấn luyện đã cho thấy là sự kết hợp an toàn và dễ đoán nhất. Các công cụ phát hiện đo lường điều này thông qua các biến số như độ rối (perplexity). Nếu văn bản của bạn hiếm khi gây bất ngờ cho mô hình ngôn ngữ nội bộ của chính công cụ đó, nó sẽ nghi ngờ có sự tham gia của AI. Văn phong càng dễ đoán, mức độ cảnh báo càng cao.

Sự biến đổi câu (Sentence variation) Nếu đọc thành tiếng một ngàn từ đầu ra của AI chưa qua chỉnh sửa, bạn có thể nhận thấy hiệu ứng của một máy đập nhịp (metronome). Các câu thường rơi vào một phạm vi số lượng từ tương tự nhau, thường là các cấu trúc câu ghép được nối với nhau bằng các liên từ. Người viết là con người "thở" trên trang giấy theo cách khác. Họ viết những câu vụn. Họ để một câu ngắn duy nhất tạo điểm nhấn sau một câu dài, uốn lượn. Họ chèn thêm các câu hỏi. Họ cố tình phá vỡ nhịp điệu. Các công cụ phát hiện tìm kiếm sự bất thường này, thường được gọi là "tính bùng nổ" (burstiness). Nhịp điệu mượt mà, đồng nhất trông giống như thống kê. Nhịp điệu giật cục, không đều trông giống con người.

Sự nhất quán về tông giọng và góc nhìn Đầu ra của AI có xu hướng bị khóa chặt trong cùng một văn phong từ câu đầu tiên đến câu cuối cùng. Nếu nó bắt đầu bằng giọng văn ngôi thứ ba trang trọng, nó thường sẽ duy trì như vậy. Con người thì hay thay đổi. Họ bắt đầu với một quan sát chuyên nghiệp, sau đó nhớ lại một giai thoại cá nhân, rồi đùa một câu, rồi lại trở nên nghiêm túc. Họ sử dụng các câu phụ, thay đổi từ vựng, hoặc mâu thuẫn với một ý trước đó sau khi suy ngẫm lại. Những sự dao động về tông giọng này rất khó để các mô hình ngôn ngữ hiện tại có thể mô phỏng một cách thuyết phục trong các đoạn văn dài. Các công cụ phát hiện coi sự thiếu nhất quán này là bằng chứng của một người thật đang ngồi sau bàn phím.

Cách chọn từ và văn phong (Word choice and register) Văn bản tổng hợp thường chiếm một vùng trung gian trang trọng một cách kỳ lạ. Nó ưu tiên các danh từ trừu tượng phổ biến và các động từ được sử dụng rộng rãi thay vì các từ lóng cụ thể, thành ngữ địa phương hoặc thuật ngữ chuyên ngành viết tắt. Một lập trình viên là con người có thể viết rằng họ "viết vội một đoạn mã" (hacked together a script) hoặc "vật lộn với quy trình build" (wrestled with the build pipeline). Một AI sẽ có khả năng cao hơn là nói họ "đã phát triển một giải pháp" (developed a solution) hoặc "đã giải quyết vấn đề triển khai" (addressed the deployment issue). Các công cụ phát hiện sẽ nhận ra khi văn bản nằm trong một phạm vi từ vựng hẹp, có tần suất cao và hiếm khi mạo hiểm sử dụng một cách diễn đạt lạ lẫm hoặc một sự biến tấu ngữ pháp có chủ đích.

Tại sao điểm số của bạn thay đổi giữa các nền tảng

Nếu bạn dán cùng một bài luận vào ba công cụ phát hiện khác nhau, bạn có thể nhận được ba kết luận không đồng nhất. Điều này xảy ra vì bộ máy vận hành bên dưới có những sự khác biệt đáng kể.

Một số công cụ được huấn luyện chủ yếu dựa trên kết quả đầu ra của GPT-3.5 cũ hơn. Những công cụ khác nạp dữ liệu từ các thế hệ GPT-4 mới hơn hoặc trộn lẫn văn bản tổng hợp từ nhiều mô hình khác nhau. Trọng số các đặc trưng của chúng cũng khác nhau. Một nền tảng có thể chú trọng mạnh vào sự đồng nhất về độ dài câu, trong khi nền tảng khác lại ưu tiên chỉ số perplexity. Các ngưỡng là những lựa chọn nội bộ tùy ý. Một nhà cung cấp có thể dán nhãn bất cứ thứ gì trên 60% độ tin cậy là "có khả năng là AI", trong khi đối thủ cạnh tranh lại chỉ dành nhãn đó cho mức 90%.

Không có cơ quan quản lý nào chứng nhận các công cụ này. Chúng là những công cụ thử nghiệm được tiếp thị dưới lớp vỏ bọc của sự chắc chắn. Việc coi phán quyết của chúng là bằng chứng pháp lý hoặc căn cứ để xử phạt học thuật cũng giống như việc sử dụng một trạm thời tiết cầm tay để dự báo năng suất cây trồng cho cả một mùa vụ.

Vấn đề Dương tính giả

Vì các công cụ phát hiện dựa trên sự tương quan thống kê thay vì bằng chứng trực tiếp, chúng thường xuyên nhận diện sai văn bản của con người là văn bản tổng hợp. Một số loại văn xuôi chính thống đặc biệt dễ bị tổn thương.

Các bài báo học thuật tuân theo những quy ước khắt khe. Thể bị động, các cụm từ dè dặt và các tiêu đề mục chuẩn hóa tạo ra một hồ sơ thống kê cực kỳ quy luật, tương đồng với dữ liệu huấn luyện từ các mô hình AI. Các hướng dẫn kỹ thuật cũng gặp vấn đề tương tự. Chúng sử dụng thuật ngữ nhất quán, các câu trần thuật ngắn và sự biến đổi cảm xúc tối thiểu, tất cả đều kích hoạt sự nghi ngờ dựa trên khuôn mẫu. Các văn bản pháp lý về bản chất là các mẫu có cấu trúc, và sự chính xác lặp đi lặp lại của chúng trông giống như thuật toán đối với một bộ phân loại.

Những người không nói tiếng Anh là tiếng mẹ đẻ thường tạo ra các bài viết đúng ngữ pháp nhưng có cấu trúc cú pháp đơn giản hơn. Cách xây dựng câu cẩn thận của họ — chính vì nó tránh được sự hỗn loạn về thành ngữ của người bản ngữ — có thể rơi vào cùng một vùng thống kê với văn bản máy tính. Một sinh viên đã nỗ lực hàng giờ để viết một bài luận có thể bị cáo buộc sai lầm chỉ vì những câu văn kỷ luật, rõ ràng của họ trông quá ngăn nắp đối với công cụ phát hiện.

Sử dụng các công cụ phát hiện mà không để chúng thao túng bạn

Cách lành mạnh nhất để tiếp cận các công cụ này là coi chúng như một bộ lọc sơ bộ, chứ không phải một phán quyết của bồi thẩm đoàn. Nếu bạn là biên tập viên, giáo viên hoặc quản lý tuyển dụng, hãy để một điểm số cao gợi mở một cuộc đối thoại thay vì một lời buộc tội. Hãy hỏi người viết về quy trình của họ. Yêu cầu một dàn ý hoặc bản thảo thô. Hãy tìm kiếm tư duy nguyên bản ẩn sau những dòng văn xuôi.

Nếu bạn là một người viết, đừng tối ưu hóa tác phẩm của mình để "qua mặt" công cụ phát hiện. Khoảnh khắc bạn bắt đầu chèn các lỗi đánh máy ngẫu nhiên, cắt vụn câu một cách nhân tạo, hoặc thay thế các từ chính xác bằng các từ đồng nghĩa kỳ quặc để tỏ ra "người hơn", bạn đã hy sinh sự rõ ràng để đổi lấy sự hoang tưởng. Bạn không còn viết cho người đọc nữa. Bạn đang biểu diễn cho một thuật toán.

Hãy viết theo cách bạn tư duy. Thay đổi nhịp điệu một cách tự nhiên. Sử dụng từ vựng chuyên ngành của bạn. Đưa vào những quan sát mà chỉ bạn mới có thể đưa ra. Chính chất liệu đó là sự phòng vệ tốt nhất của bạn trước bất kỳ công cụ phát hiện nào, và quan trọng hơn, đó là điều khiến bài viết của bạn đáng đọc ngay từ đầu.

Bài học thực sự

Các công cụ phát hiện AI là những trợ thủ phân tích, không phải là người cầm lái. Chúng có thể gợi ý khi văn bản trông có vẻ mượt mà về mặt thống kê, nhưng chúng không thể đo lường sự thấu hiểu, tính sáng tạo hay trải nghiệm sống. Một điểm số đầy tự tin không thể cho bạn biết liệu một lập luận có nguyên bản hay không, một câu chuyện có thật hay không, hoặc một lời giải thích kỹ thuật có chính xác hay không.

Hãy tập trung vào sự rõ ràng. Hãy ưu tiên con người ở phía bên kia màn hình. Những ý tưởng nguyên bản có một chất liệu mà không bộ phân loại nào có thể nắm bắt trọn vẹn, và không có tỷ lệ phần trăm nào có thể thay thế được sự đánh giá của một độc giả cẩn trọng.