Rule-Based Rewards của OpenAI và quản trị an toàn thương hiệu

Tổng quan

Các nhóm tiếp thị áp dụng Phần thưởng dựa trên quy tắc OpenAI làm mô hình quản trị có nguy cơ nhầm lẫn giữa kỹ thuật đào tạo mô hình năm 2024 về hành vi an toàn với một công cụ kiểm tra sự tuân thủ của thương hiệu hoặc độ chính xác thực tế. Nếu không được giải quyết, sự nhầm lẫn đó sẽ biểu hiện dưới dạng đánh giá thương hiệu thủ công, chậm chạp và vẫn bỏ lỡ bản sao không có thương hiệu hoặc không tuân thủ khi nội dung AI mở rộng quy mô. Bài viết này giải thích những gì RBR thực sự làm, sau đó chuyển mô hình quy tắc và chấm điểm của nó thành một cổng thực tế trước khi xuất bản với các biện pháp kiểm soát kiểm tra thực tế và đánh giá của con người riêng biệt. Tại Van Data Team, chúng tôi tiếp cận công việc đó bằng cách biến chính sách thành các quy tắc có thể kiểm chứng, các quyết định được ghi lại và đường dẫn báo cáo rõ ràng.

Phần thưởng dựa trên quy tắc OpenAI là phương pháp đào tạo an toàn năm 2024 biến các quy tắc an toàn bằng ngôn ngữ tự nhiên thành điểm số LLM dành cho học sinh lớp được sử dụng làm phần thưởng học tập củng cố, trong khi vẫn duy trì sự giám sát của con người. Đối với các nhóm tiếp thị B2B mở rộng quy mô sao chép AI và tương tác với khách hàng, thực tiễn tiêu chuẩn ngành không thể hiện sự tương tự này như đào tạo mô hình. Nó thể hiện chính sách dưới dạng các quy tắc có thể kiểm tra, chấm điểm các bản nháp trước khi phát hành, định tuyến các lỗi và giữ việc xác minh thực tế dưới sự kiểm soát riêng biệt.

Sự khác biệt đó rất quan trọng vì nội dung phù hợp với thương hiệu vẫn có thể sai. Vanaxity, tác nhân nội dung AI của Van Data Team cho SEO, GEO và AEO, nghiên cứu, viết, minh họa, xuất bản và cung cấp nội dung sẵn sàng trả lời. Nhóm đằng sau Vanaxity vận hành hoạt động quản trị thông qua các đường dẫn dữ liệu nhận biết chính sách, cổng đánh giá tự động, lập bản đồ nguồn, báo cáo quyết định của con người và báo cáo quyết định.

Hướng dẫn này giải thích RBR thực sự là gì, điểm dừng tương tự tiếp thị và cách triển khai theo tiêu chuẩn ngành cấu trúc một cổng an toàn thương hiệu có thể kiểm tra mà không giả vờ tự động hóa để loại bỏ rủi ro.

Những điểm chính

RBR là một phương pháp huấn luyện an toàn. Việc triển khai tiếp thị theo tiêu chuẩn ngành là một mô hình đánh giá với các biện pháp kiểm soát thực tế và con người riêng biệt.

• RBR sử dụng các quy tắc rõ ràng và trình chấm điểm LLM để định hình hành vi an toàn của mô hình trong quá trình tinh chỉnh học tăng cường.
• Các nhóm tiếp thị thường không nên chạy RBR; họ nên điều chỉnh mẫu đánh giá dựa trên quy tắc trước khi xuất bản.
• Thẻ quy tắc thương hiệu xác nhận việc tuân thủ chính sách chứ không phải độ chính xác thực tế hoặc hỗ trợ nguồn.
• Các quyết định không rõ ràng, theo ngữ cảnh, pháp lý và có rủi ro cao vẫn đòi hỏi chủ sở hữu là con người phải chịu trách nhiệm.
• Quản trị sản xuất cần có các quy tắc được phiên bản hóa, các quyết định của học sinh chấm điểm được chứng minh bằng bằng chứng, bộ đánh giá và nhật ký quyết định.

Bạn cần biến các tài liệu chính sách thành một quy trình xem xét có thể thực thi được? Khám phá cách Vanaxity hoạt động trong quá trình tạo nội dung, kiểm tra tự động, xác minh nguồn, phê duyệt và phân phối.

Phần thưởng dựa trên quy tắc OpenAI là gì?

Phương pháp RBR của OpenAI chuyển đổi chính sách an toàn rõ ràng thành tín hiệu khen thưởng giúp kiểm soát cách mô hình phản hồi trong quá trình tinh chỉnh học tăng cường.

Bài viết đi kèm của OpenAI, "Phần thưởng dựa trên quy tắc cho sự an toàn của mô hình ngôn ngữ", mô tả một phương pháp đào tạo theo mô hình. Các khía cạnh mong muốn hoặc không mong muốn của đầu ra trở thành các mệnh đề ngôn ngữ tự nhiên. Các quy tắc kết hợp các mệnh đề đó thành các đánh giá về hành vi phù hợp và trình chấm điểm theo mô hình ngôn ngữ cố định sẽ chấm điểm kết quả đầu ra của ứng viên.

OpenAI cho biết RBR "sắp xếp các mô hình để hoạt động an toàn mà không cần thu thập nhiều dữ liệu về con người" trong tổng quan về phương pháp.

Bằng tiếng Anh đơn giản, quy trình làm việc RBR được báo cáo trông như thế này:

• Chính sách an toàn xác định hành vi phản hồi mà mô hình sẽ thể hiện.
• Các mệnh đề ngôn ngữ tự nhiên xác định các thuộc tính có liên quan của phản hồi.
• Quy tắc chỉ định những kết hợp nào thể hiện hành vi lý tưởng, yếu hơn hoặc không thể chấp nhận được.
• Một học sinh chấm LLM đánh giá kết quả đầu ra theo các quy tắc đó.
• Điểm thu được đóng góp một tín hiệu khen thưởng bổ sung trong quá trình tinh chỉnh học tăng cường.

Phần thưởng thay đổi mô hình đào tạo. Nó không chỉ đơn thuần là một nhãn đánh giá nội dung được gắn sau thế hệ.

Địa chỉ RBR của vấn đề RLHF

Phản hồi của con người vẫn quan trọng nhưng việc thu thập liên tục các nhãn ưu tiên có thể khiến việc cập nhật chính sách an toàn định kỳ trở nên chậm chạp và nặng nề. Các nhãn hiện tại cũng có thể ngừng phản ánh hành vi dự kiến ​​sau khi chính sách thay đổi.

Theo OpenAI, các quy tắc có thể được sửa đổi hoặc bổ sung khi chính sách an toàn thay đổi, giảm nhu cầu thu thập dữ liệu mới về con người trên diện rộng. Điều này mang lại cho các nhóm an toàn một cách trực tiếp hơn để thể hiện hành vi chi tiết trong khi vẫn duy trì sự giám sát của con người trong hệ thống.

RBR do đó bổ sung cho RLHF. Nó không chứng minh rằng tất cả các phán đoán của mô hình có thể hoặc nên được tự động hóa.

Hành vi RBR được thiết kế để kiểm soát

RBR tập trung vào hành vi an toàn: liệu mô hình nên từ chối, phản hồi an toàn hay tuân thủ. OpenAI phân biệt từ chối cứng, từ chối mềm và tuân thủ dưới dạng các loại phản hồi, tùy thuộc vào yêu cầu và chính sách quản lý an toàn.

Các quy tắc có thể khen thưởng một lời từ chối ngắn gọn khi việc từ chối là phù hợp, một phản hồi an toàn đồng cảm hơn khi bối cảnh yêu cầu hoặc tuân thủ một cách hữu ích với một yêu cầu ôn hòa. Họ cũng có thể ngăn cản nội dung không được phép, cách diễn đạt mang tính phán xét và sự thận trọng quá mức.

Không có chức năng nào trong số đó xác định liệu câu trả lời có đúng về mặt thực tế hay không.

Kỹ thuật đào tạo không phải là một sản phẩm tiếp thị

Hình minh họa sau đây tóm tắt một mẫu, hai hệ thống khác nhau:

Hình 1. RBR đưa điểm số bắt nguồn từ quy tắc trở lại hoạt động đào tạo về an toàn, trong khi cách tương tự về tiếp thị sử dụng việc phân loại quy tắc để định tuyến các bản nháp trước khi xuất bản và tách biệt việc xác minh thực tế.

RBR hoạt động bên trong chương trình đào tạo mô hình, trong khi quản trị tiếp thị thường hoạt động trên nội dung được tạo trước khi nội dung đó đến tay khách hàng hoặc kênh xuất bản.

Sự thật được báo cáo, OpenAI: RBR sử dụng điểm số bắt nguồn từ quy tắc làm phần thưởng học tập củng cố để định hình hành vi an toàn của mô hình.

Phân tích Vanaxity: Quản trị tiếp thị theo tiêu chuẩn ngành mượn mô hình phân loại chính sách theo quy tắc và LLM mà không yêu cầu chạy RBR. Trình chấm điểm của nó sẽ đánh giá một nội dung và kích hoạt một hành động trong quy trình làm việc. Nó không cập nhật mô hình thông qua học tăng cường.

Nếu một hoạt động nội dung thêm trình chấm điểm quy tắc vào quy trình xuất bản của mình, thì hệ thống đó phải gọi hệ thống là cổng đánh giá dựa trên quy tắc, trình chấm điểm chính sách hoặc lớp quản trị LLM-với tư cách là người đánh giá. Gọi nó là RBR sẽ làm mờ đi sự khác biệt giữa đào tạo và đánh giá.

Trong khuôn khổ tiêu chuẩn ngành, các làn đường kiểm soát này vẫn có sự khác biệt:

• Sự an toàn của mô hình sẽ chi phối liệu mô hình cơ bản có phản hồi phù hợp với các yêu cầu an toàn và không an toàn hay không.
• Tiếp thị an toàn thương hiệu chi phối các tuyên bố, giọng điệu, ngôn ngữ bị cấm, tính bảo mật, phê duyệt và chính sách dành riêng cho chiến dịch.
• Tính xác thực kiểm tra xem các tuyên bố có thể kiểm chứng bên ngoài có được hỗ trợ bởi bằng chứng đã được phê duyệt hay không.

Một bản nháp có thể vượt qua một làn đường và thất bại ở một làn khác. Quyết định thực tế không chỉ đơn giản là kiểm tra tự động so với xem xét thủ công; nó đang quyết định xem máy móc nào có thể đánh giá một cách nhất quán và trách nhiệm phán xét của con người thuộc về đâu.

Phân tích Vanaxity: Biến chính sách thành cánh cổng an toàn cho thương hiệu

Thực tiễn theo tiêu chuẩn ngành điều chỉnh mẫu đánh giá dựa trên quy tắc bằng cách chuyển đổi tài liệu chính sách thành thử nghiệm nguyên tử và đính kèm hành động quy trình làm việc rõ ràng vào mọi kết quả.

Tại Van Data Team, chúng tôi bắt đầu bằng cách tách chính sách khỏi lời nhắc văn xuôi. Sai lầm mà chúng tôi thấy là coi một hướng dẫn thương hiệu dài như thể việc đặt nó vào một lời nhắc sẽ tự động tạo ra khả năng quản trị đáng tin cậy. Một quy tắc hữu dụng phải cho người chấm điểm biết cần kiểm tra cái gì, trả lại bằng chứng nào và điều gì sẽ xảy ra khi câu trả lời không chắc chắn.

Mỗi quy tắc phải xác định:

• Loại nội dung, kênh và đối tượng mà nó bao gồm.
• Hành vi hoặc lời nói diễn ra.
• Điều kiện không thành công hoặc tạo ra sự không chắc chắn.
• Các bằng chứng mà người chấm điểm phải trích dẫn từ bản nháp.
• Kết quả là hành động và con người chịu trách nhiệm.
• Phiên bản chính sách đã ủy quyền cho quy tắc.

Cấu phần phần mềm minh họa về chính sách theo quy tắc

Sau đây là tạo phẩm phân tích Vanaxity, không phải là một phần trong quá trình triển khai RBR của OpenAI.

Các phím ít quan trọng hơn độ chính xác. “Âm thanh chuyên nghiệp” rất khó kiểm tra. "Không sử dụng những lời lăng mạ, chế giễu, tiếng lóng hoặc so sánh đối thủ cạnh tranh không được chấp thuận" cung cấp cho người chấm những điều kiện có thể quan sát được.

Cổng xử lý nội dung thực như thế nào

Trang đích giả định: Phần anh hùng được tạo ra hứa hẹn mang lại kết quả kinh doanh được đảm bảo. Quy tắc xác nhận tuyệt đối xác định câu và gửi bản nháp để sửa đổi hoặc chặn nó nếu cách diễn đạt bị cấm.

Email giả định: Tin nhắn khớp với giọng nói đã được phê duyệt nhưng bao gồm tuyên bố về sản phẩm không được hỗ trợ. Người chấm điểm thương hiệu sẽ vượt qua giai điệu. Cổng thực tế riêng biệt sẽ chặn yêu cầu bồi thường cho đến khi đính kèm bằng chứng được phê duyệt.

Bài đăng mang tính giả định trên mạng xã hội: Nội dung đáp ứng các quy tắc ngôn ngữ viết nhưng sử dụng tính hài hước có thể không phù hợp với bối cảnh chiến dịch. Trình chấm điểm sẽ trả lời đánh giá của con người thay vì buộc phải đạt hoặc trượt sai.

Trong thiết kế này, những quyết định này có thể giải thích được vì cổng trả về một quy tắc, bằng chứng, cơ sở lý luận và hành động thay vì điểm chất lượng không giải thích được.

Triển khai: Xây dựng quy trình làm việc trước khi xuất bản có thể kiểm tra

Cổng đánh giá sẵn sàng sản xuất cần có các ví dụ đã được hiệu chỉnh, kết quả đầu ra được chứng minh bằng bằng chứng, định tuyến xác định, báo cáo của con người và hồ sơ quyết định có thể quan sát được.

Bắt đầu với quyền sở hữu chính sách

Xác định tài liệu nào chi phối tiếng nói thương hiệu, khiếu nại pháp lý, quyền riêng tư, chủ đề được quản lý, thông tin liên lạc với khách hàng và các yêu cầu dành riêng cho kênh. Chỉ định chủ sở hữu cho từng chính sách và ghi lại phiên bản hoạt động.

Giải quyết mâu thuẫn trước khi tự động hóa. Một học sinh chấm điểm không thể dung hòa một cách đáng tin cậy hai chính sách cho phép các kết quả khác nhau mà không có quy tắc ưu tiên rõ ràng.

Chuyển đổi chính sách thành quy tắc nguyên tử

Giữ mỗi quy tắc tập trung vào một hành vi. Xác định các điều kiện đạt, không đạt và không chắc chắn. Bao gồm bối cảnh bắt buộc, các trường hợp ngoại lệ được chấp nhận, yêu cầu bằng chứng, mức độ nghiêm trọng và người hoặc nhóm chịu trách nhiệm về các trường hợp không rõ ràng.

Các quy tắc phải mô tả mục đích cũng như cách diễn đạt theo nghĩa đen của chính sách. Nếu không, bản sao được tạo có thể đáp ứng nội dung của quy tắc trong khi vi phạm mục đích của quy tắc đó.

Xây dựng bộ đánh giá do con người đánh giá

Tạo một bộ tham chiếu nhỏ gọn chứa các ví dụ rõ ràng được chấp nhận, rõ ràng không được chấp nhận và thực sự mơ hồ. Thêm các quyết định dự kiến ​​và lý do ngắn gọn.

Bao gồm các ví dụ đối nghịch sử dụng uyển ngữ, lời hứa ngụ ý, thiếu ngữ cảnh hoặc ngôn ngữ tuân thủ kỹ thuật. Mục đích là để khám phá xem người chấm hiểu sai quy tắc ở đâu trước khi cổng kiểm soát việc xuất bản trực tiếp.

Yêu cầu đầu ra của học sinh chấm điểm có cấu trúc

Một hợp đồng đầu ra minh họa có thể trông như thế này:

bash git status --short python -m pytest -q git diff --check # chỉ gửi hàng sau khi đánh giá xác nhận thay đổi trong phạm vi

Các hành động tổng thể được phép là vượt qua, sửa đổi, chặn và human_review. Thẻ phân loại thương hiệu không bao giờ được tự động đặt Factuality_status thành đã xác minh.

Định tuyến từng kết quả một cách rõ ràng

Quy trình làm việc sẽ gửi lỗi quy tắc rõ ràng tới việc sửa đổi hoặc chặn. Sự không chắc chắn, thiếu bối cảnh, xung đột chính sách và các danh mục rủi ro cao sẽ đến tay chủ sở hữu con người được nêu tên.

Sau khi phân loại thương hiệu và tuân thủ, một quy trình riêng biệt sẽ trích xuất các tuyên bố thực tế, liên kết chúng với các nguồn đã được phê duyệt và so sánh từng tuyên bố với đoạn hỗ trợ của nó. Sau đó, sự chấp thuận bắt buộc của con người sẽ diễn ra trước khi xuất bản, giao hàng cho khách hàng hoặc phân phối.

Ghi lại mọi quyết định quan trọng

Ghi lại phiên bản nội dung, phiên bản chính sách, kết quả quy tắc, phạm vi bằng chứng, cơ sở lý luận, ghi đè của con người, nguồn thực tế và quyết định cuối cùng. Nhật ký giúp hiển thị các lỗi lặp lại và giúp nhóm quản trị quyết định xem liệu lời nhắc, quy tắc, bối cảnh hoặc hướng dẫn dành cho người đánh giá có cần thay đổi hay không.

Lập kế hoạch sản xuất cũng phải bao gồm các khía cạnh hoạt động sau:

Phạm vi triển khai hữu ích phải bao gồm bản đồ chính sách theo quy tắc, các quyết định mẫu có chú thích, đánh giá khoảng cách thực tế, quyền sở hữu leo thang, yêu cầu ghi nhật ký và kế hoạch phân phối. Điều đó khả thi hơn một hội thảo quản trị AI chung chung.

Kết quả

Bằng chứng được trích dẫn của OpenAI định lượng kết quả đào tạo về an toàn, chứ không phải hiệu suất quy trình làm việc tuân thủ thương hiệu. Báo cáo của RBR điểm F1 là 97,1 về sự cân bằng giữa tính an toàn và tính hữu ích, so với 91,7 về mức cơ bản do phản hồi của con người.

Bài viết cũng báo cáo rằng độ chính xác của máy chấm điểm khi áp dụng các quy tắc được cải thiện đáng kể khi mô hình máy chấm điểm lớn hơn, được đo dựa trên bộ Vàng do con người gắn nhãn và sự đồng thuận giữa máy chấm điểm tự động và nhãn do con người gắn nhãn là cao, mặc dù không hoàn hảo, trên các danh mục tuân thủ, từ chối cứng và từ chối mềm. Bài học có thể chuyển tải là hình dạng chứ không phải những con số chính xác: sự lựa chọn của người chấm điểm rất quan trọng và bất kỳ người chấm điểm thương hiệu nào cũng phải được xác nhận dựa trên các ví dụ được gắn nhãn của riêng bạn.

Những số liệu trong phạm vi an toàn này không được dán nhãn lại là kết quả tuân thủ thương hiệu. Nghiên cứu được trích dẫn không xác định độ chính xác của trình phân loại mô hình, độ chính xác của con người-tác nhân hoặc việc giảm thời gian xem xét thủ công đối với các nhiệm vụ quản trị tiếp thị.

Nguyên tắc chung khi chọn phương pháp tiếp cận: đào tạo theo phong cách RBR là tốt nhất cho những người xây dựng mô hình định hình hành vi an toàn; cổng đánh giá dựa trên quy tắc phù hợp hơn với các nhóm tiếp thị, những người nên chọn mô hình đánh giá thay vì đào tạo lại; và bạn vẫn nên sử dụng đánh giá của con người khi quyết định không rõ ràng, hợp pháp, nhạy cảm với thương hiệu hoặc có rủi ro cao. Trước tiên, hãy kiểm tra cổng trên một mẫu được gắn nhãn trước khi bạn định tuyến nội dung trực tiếp qua mẫu đó và xác minh hành vi của học sinh dựa trên các ví dụ của chính bạn thay vì tin tưởng vào các số liệu trên giấy an toàn chính thức làm tiêu chuẩn thương hiệu.

Do đó, một chương trình thí điểm tuân thủ thương hiệu nên đo lường cả hiệu suất của mô hình và con người dựa trên cùng một bộ tham chiếu được xét xử. Nó phải báo cáo độ chính xác của người chấm điểm theo quy tắc, thỏa thuận giữa con người và tác nhân, tỷ lệ vượt qua sai và chặn sai, tỷ lệ leo thang, số phút đánh giá trung bình trên mỗi nội dung và phần trăm thay đổi so với đường cơ sở trước khi tự động hóa. Cho đến khi các phép đo đó tồn tại, việc tuyên bố rằng quy trình làm việc “giảm thời gian xem xét thủ công xuống X%” sẽ không được hỗ trợ.

Giới hạn và Chế độ Thất bại

Trong quá trình sử dụng sản xuất, việc chấm điểm dựa trên quy tắc không loại bỏ khả năng phán đoán theo ngữ cảnh, lỗi của người chấm điểm, lỗ hổng chính sách hoặc thông tin không được hỗ trợ.

Đường chuyền sai và chặn sai có những hậu quả khác nhau. Thẻ sai có thể tiết lộ nội dung bị cấm hoặc gây hiểu lầm. Một khối sai sẽ lãng phí thời gian của người xem xét và làm chậm quá trình phân phối. Các đội nên kiểm tra cả hai mẫu theo quy tắc thay vì dựa vào một điểm tổng hợp.

Các tài sản có rủi ro cao vẫn phải được con người phê duyệt ngay cả khi quá trình kiểm tra tự động đã vượt qua. Ví dụ bao gồm thông tin liên lạc nhạy cảm của khách hàng, tuyên bố về hiệu suất chưa được phê duyệt, tài liệu nhạy cảm về quyền riêng tư và nội dung được quản lý bởi chính sách pháp lý hoặc quy định do nhóm xác định.

Dự đoán tương lai

Việc đảm bảo tương lai cho quy trình làm việc GEO ở kỷ nguyên 2026 đòi hỏi khả năng quản trị vượt qua sự chuyển giao của nhiều tác nhân, thay đổi mô hình, cập nhật chính sách và các kênh xuất bản mới.

Việc phối hợp nhiều tác nhân có thể tách riêng hoạt động nghiên cứu, soạn thảo, phân loại chính sách thương hiệu, xác minh tính xác thực, sản xuất trực quan, phê duyệt và xuất bản thành các tác nhân chuyên biệt. Người điều phối phải coi mỗi tác nhân là một thành phần quy trình làm việc được giới hạn chứ không phải là người phê duyệt cuối cùng độc lập.

Việc điều phối theo tiêu chuẩn ngành phải thực thi các biện pháp kiểm soát sau:

• Mọi nhân viên hỗ trợ đều nhận được cùng một mã nhận dạng nội dung, phiên bản chính sách đang hoạt động, đối tượng, kênh và bối cảnh chiến dịch.
• Các tác nhân nghiên cứu trả lại các mã định danh nguồn đã được phê duyệt và các đoạn văn hỗ trợ thay vì các bản tóm tắt không thể theo dõi được.
• Tác nhân viết lưu giữ ánh xạ xác nhận quyền sở hữu nguồn khi soạn thảo hoặc sửa đổi nội dung.
• Thương hiệu và các tác nhân tuân thủ chấm điểm các quy tắc chính sách nguyên tử mà không đặt trạng thái thực tế.
• Cơ quan xác minh sự thật xác minh các tuyên bố bên ngoài mà không ghi đè các quyết định về thương hiệu, pháp lý hoặc quyền riêng tư.
• Người điều phối sẽ chặn xuất bản cho đến khi mọi làn điều khiển được yêu cầu trả về trạng thái có thể chấp nhận được.
• Sự mơ hồ, xung đột chính sách, thiếu bối cảnh và lộ trình tài liệu có rủi ro cao đến chủ sở hữu con người được nêu tên.
• Các thay đổi về mô hình, lời nhắc, quy tắc hoặc chính sách sẽ kích hoạt tính năng phát lại dựa trên bộ đánh giá do con người đánh giá.
• Nhật ký quyết định lưu giữ kết quả đầu ra của tác nhân, bằng chứng, ghi đè và phê duyệt cuối cùng trong toàn bộ vòng đời nội dung.

Đó là vai trò của sự điều phối đa tác nhân trong các tiêu chuẩn GEO thời kỳ 2026: duy trì nguồn gốc, tính nhất quán của chính sách và phê duyệt có trách nhiệm trong khi nhiều hệ thống tạo và chuyển đổi nội dung sẵn sàng trả lời. Kiến trúc đa tác nhân không đảm bảo trích dẫn bởi công cụ trả lời. Nó làm cho mối quan hệ giữa nguồn xác nhận quyền sở hữu dễ dàng hơn trong việc kiểm tra, cập nhật và bảo vệ mà không cho phép một đường chuyền tự động ghi đè lên một làn đường kiểm soát khác.

Nhóm Van Data thực hiện hoạt động này như thế nào

Tại Van Data Team, chúng tôi biến ý tưởng có thể chuyển nhượng đằng sau Phần thưởng dựa trên quy tắc OpenAI thành một quy trình vận hành. Chúng tôi không coi đó là đào tạo mô hình tiếp thị. Chúng tôi lập bản đồ các bước chuyển giao hiện tại, hệ thống nguồn, quyết định chính sách, cổng đánh giá, bảng thông tin và đường dẫn khôi phục trước khi đề xuất tự động hóa.

Tạo phẩm thu được là một kế hoạch kiểm soát có phạm vi:

• Tín hiệu: rủi ro nội dung, phiên bản chính sách, trạng thái nguồn được phê duyệt, cơ sở lý luận của người chấm điểm và kết quả kiểm tra tính xác thực.
• Gates: trả lại các lỗi có thể sửa được, cho phép xác định các trường hợp có rủi ro thấp và gửi nội dung không rõ ràng, hợp pháp hoặc có rủi ro cao cho người đánh giá có trách nhiệm.
• Kiểm soát: xếp loại các quy tắc tuân thủ và thương hiệu tách biệt với các tuyên bố và trích dẫn thực tế; lỗi đăng nhập, ghi đè và phê duyệt.
• Hoạt động: sử dụng trang tổng quan cho các hàng đợi và vi phạm định kỳ, cùng với sổ quản lý để chuyển lên cấp cao, sửa chữa, khôi phục và cập nhật quy tắc.

Sự tách biệt này là cần thiết. Việc vượt qua quy tắc an toàn thương hiệu không chứng minh được rằng tuyên bố đó là đúng và người chấm điểm LLM có thể bỏ sót ngữ cảnh hoặc bị lừa. Do đó, sự chấp thuận của con người vẫn là một phần của quy trình làm việc có rủi ro cao.

Phân phối cũng bao gồm một tập hợp đánh giá nhỏ gồm các ví dụ tốt và xấu, các quy tắc được phiên bản, chủ sở hữu được đặt tên và nhịp đánh giá. Khi chính sách thay đổi, nhóm sẽ cập nhật các quy tắc, chạy lại đánh giá và chỉ thúc đẩy thay đổi sau khi xem xét kết quả và đường dẫn ngoại lệ.

Câu hỏi thường gặp

Nguồn tham khảo