Con đường đưa tác nhân AI vào sản xuất theo Microsoft
Quản trị, AgentOps và kiểm soát chi phí là nền tảng để đưa tác nhân marketing vào vận hành an toàn.
Tổng quan
Công cụ tăng tốc Đường dẫn sản xuất dành cho tác nhân ngày 27 tháng 7 của Microsoft nêu bật nút thắt thực sự: một tác nhân hoạt động tốt trong nguyên mẫu vẫn không thể gửi tiếp cận SDR, thay đổi chiến dịch hoặc viết thư tới CRM một cách an toàn mà không có quản trị đối với hành vi không xác định. Nếu không có nó, các nhóm tiếp thị sẽ quay trở lại việc đánh giá thủ công, chậm chạp và vẫn bỏ lỡ các hành động không phù hợp với thương hiệu hoặc không tuân thủ khi các tác nhân hoạt động trên quy mô lớn. Bài viết này biến hướng dẫn kỹ thuật của Microsoft thành một khung vận hành để kiểm tra an toàn thương hiệu, cổng phê duyệt, giám sát AgentOps, điều kiện dừng và kiểm soát chi phí trên mỗi quy trình làm việc bằng cách sử dụng kỷ luật sản xuất được quản lý mà Van Data Team áp dụng cho các hệ thống tiếp thị tác nhân.
Đối với các nhóm tiếp thị B2B, RevOps và kỹ thuật, Đường dẫn sản xuất dành cho tác nhân của Microsoft đóng vai trò quan trọng vì nó giải quyết được phần khó khăn: chuyển các tác nhân AI từ nguyên mẫu sang hệ thống sản xuất an toàn, đáng tin cậy và được quản lý. Vào ngày 27 tháng 7 năm 2026, Microsoft đã khởi động chương trình tìm hiểu sâu về Cộng đồng Công nghệ Azure kéo dài hai ngày. Đây là một công cụ tăng tốc tập trung vào giáo dục, kỹ thuật, không phải là một sản phẩm mới hay một sản phẩm tiếp thị và an toàn thương hiệu.
Sự khác biệt đó quan trọng khi tác nhân có thể liên hệ với khách hàng tiềm năng, thay đổi quyết định chiến dịch, viết thư cho CRM hoặc xuất bản nội dung. Vanaxity, tác nhân nội dung tự trị của Van Data Team, áp dụng nguyên tắc sản xuất tương tự cho SEO, GEO và AEO: nó nghiên cứu, viết, minh họa, xuất bản và cung cấp nội dung thông qua các chuyển đổi được quản lý. Tại Van Data Team, chúng tôi bắt đầu bằng việc lập bản đồ quyền truy cập dữ liệu, quyền hành động, cổng đánh giá, báo cáo và khôi phục trước khi mở rộng quyền tự chủ.
Bài viết này tách biệt phạm vi được báo cáo của Microsoft với phân tích tiếp thị của Vanaxity. Nó cung cấp cho người vận hành một khuôn khổ thực tế, thiết kế điều kiện dừng của AgentOps, các câu hỏi về kiến trúc và danh sách kiểm tra triển khai.
Những điểm chính
Bài học cốt lõi là một tác nhân có năng lực sẽ chưa sẵn sàng để sản xuất cho đến khi các hành động của nó bị giới hạn, có thể quan sát được, có thể quy kết và có thể phục hồi được.
- Microsoft đang cung cấp hướng dẫn kỹ thuật cho các tác nhân sản xuất chứ không phải tung ra sản phẩm tác nhân mới.
- Các chủ đề kỹ thuật đã được xác nhận là sự tin cậy, quản trị, quy mô được kiểm soát, điều phối hiệu quả, khả năng chi trả và AgentOps cho các hệ thống không xác định.
- Vanaxity khuyên bạn nên coi các tin nhắn công khai, viết CRM, thay đổi chiến dịch và quyết định chi tiêu là hành động được phê duyệt.
- Nhóm sản xuất cần đánh giá dựa trên bằng chứng, quy tắc thương hiệu rõ ràng, nhật ký kiểm tra, giới hạn chi phí, điều kiện dừng và dự phòng an toàn chỉ dành cho bản nháp.
- Trong một nghiên cứu điển hình ẩn danh về khách hàng của Microsoft, một thí điểm GenAI kéo dài hơn bốn tuần đã phát hiện ra rằng 88% người dùng cho biết họ tiết kiệm được thời gian, 86% rất hài lòng và 69% cho biết độ chính xác và chất lượng được cải thiện. Đây là những tín hiệu có giá trị thí điểm, không phải bằng chứng cho thấy các hành động tiếp theo của tác nhân đã được quản lý một cách an toàn. Microsoft báo cáo kết quả thí điểm tại đây.
Để xem các điều khiển đó trong quy trình làm việc nội dung, xem hoạt động của tác nhân Vanaxity.
Xác định quy trình SEO, GEO và AEO phù hợp trước khi triển khai.
Lộ trình sản xuất dành cho tác nhân của Microsoft bao gồm những gì
Công cụ tăng tốc của Microsoft bao gồm vòng đời kỹ thuật từ nguyên mẫu tác nhân đầy hứa hẹn đến hoạt động sản xuất được kiểm soát, với sự tin cậy, quản trị, kiến trúc có thể mở rộng, điều phối giá cả phải chăng và AgentOps làm chủ đề đã được xác nhận.
| Câu hỏi | Câu trả lời đã được xác minh |
|---|---|
| Nó là gì vậy? | Một công cụ tăng tốc kỹ thuật giáo dục và đào sâu để sản xuất các tác nhân AI. |
| Mục tiêu sản xuất là gì? | Các hệ thống an toàn, đáng tin cậy, được quản lý có thể vượt xa thử nghiệm. |
| Nó nhấn mạnh điều gì? | Kiến trúc đáng tin cậy, kiểm soát trên quy mô lớn, điều phối, giám sát và quản trị hiệu quả và giá cả phải chăng. |
| Bối cảnh hoạt động nào quan trọng? | Hệ thống tác nhân rất năng động và không xác định, do đó việc kiểm soát sản xuất không thể chỉ phụ thuộc vào sản lượng dự kiến. |
| Cái gì không phải vậy? | Đây không phải là buổi ra mắt sản phẩm, sáng kiến tiếp thị hay sản phẩm an toàn thương hiệu. |
| Bối cảnh nền tảng nào xuất hiện? | Microsoft lấy Microsoft Foundry, cùng với Azure AI Landing Zone và AI Center of Excellence làm bối cảnh nền tảng, công cụ, quản trị và kiến trúc có liên quan. |
tiêu đề sự kiện của Microsoft nêu rõ nhiệm vụ vận hành:
"Con đường sản xuất cho tác nhân."
Sự kiện không nhằm mục đích giải quyết vấn đề quản trị tiếp thị. Microsoft đang giải quyết các nguyên tắc kỹ thuật cho các hệ thống tác nhân. Các ứng dụng tiếp thị, bán hàng, an toàn thương hiệu và FinOps dưới đây là phân tích của Vanaxity về cách những nguyên tắc đó sẽ chuyển thành quy trình làm việc hướng tới khách hàng.
Phân tích Vanaxity: Tại sao mức độ sẵn sàng sản xuất lại quan trọng
Sự sẵn sàng sản xuất trở thành nút thắt cổ chai khi một tác nhân có thể thực hiện hành động mang tính hệ quả, bởi vì kết quả đầu ra trôi chảy không chứng minh được ủy quyền, nền tảng thực tế, tuân thủ chính sách hoặc khôi phục an toàn.
Một nghiên cứu điển hình về dịch vụ chuyên nghiệp ẩn danh cung cấp đường cơ sở thí điểm được đo lường thay vì kết quả giả định. Trong thời gian thí điểm Microsoft GenAI chỉ kéo dài hơn 4 tuần, 88% người dùng cho biết hệ thống đã tiết kiệm thời gian, 86% rất hài lòng và 69% cho biết hệ thống đã cải thiện độ chính xác và chất lượng. Câu chuyện của khách hàng Microsoft ghi lại những số liệu thống kê đó. Những số liệu đó thể hiện giá trị được cảm nhận và sự áp dụng, nhưng chúng không thiết lập việc sử dụng công cụ an toàn, tuân thủ phê duyệt hoặc bảo vệ chống lại việc ghi CRM trái phép.
Đối với quy trình làm việc RevOps, yêu cầu kiểm soát sản xuất vẫn giữ nguyên: nếu tài khoản được phê duyệt được nghiên cứu bằng cách sử dụng dữ liệu không có nguồn gốc được phê duyệt hoặc bản nháp ngụ ý kết quả của khách hàng không được hỗ trợ thì vòng kiểm soát sẽ chặn xác nhận quyền sở hữu, từ chối gửi mà không được phê duyệt, ghi lại hành động đã cố gắng và trả lại bản nháp để nghiên cứu. Văn xuôi tốt hơn sẽ không làm cho quy trình làm việc trở nên an toàn; kiểm soát tốt hơn sẽ.
Tính không xác định làm thay đổi mô hình hoạt động. Các nhóm nên quan sát dữ liệu đầu vào, bằng chứng được truy xuất, quyết định, yêu cầu công cụ, đầu ra, phê duyệt, chi phí, lỗi và cách xử lý cuối cùng. Họ cũng cần các trạng thái rõ ràng: tiếp tục, tạm dừng, quay lại chế độ chỉ nháp, chuyển cấp hoặc chấm dứt. Niềm tin mù quáng không phải là một chiến lược triển khai.
Tiếp thị làm tăng nguy cơ vì các hành động vượt qua ranh giới tổ chức. Một bài đăng công khai có thể làm tổn hại đến uy tín. Bản cập nhật CRM trái phép có thể làm hỏng dữ liệu đường ống. Một thay đổi về chiến dịch có thể tiêu tiền hoặc mở rộng đối tượng. Do đó, Vanaxity khuyến nghị nên có sự chấp thuận của con người bất cứ khi nào một hành động mang tính chất trực tiếp với khách hàng, công khai, quan trọng về mặt tài chính, khó đảo ngược hoặc nằm ngoài phạm vi đã được phê duyệt trước.
Khung vận hành cho tiếp thị tác nhân
Một tác nhân tiếp thị sản xuất cần có một phong bì hành động, một thanh chấp nhận, các chính sách thực thi, đo lường hoạt động từ xa và các chủ sở hữu chịu trách nhiệm trước khi nhận được quyền tự chủ.
Xác định mục tiêu và phạm vi hành động
Bắt đầu với kết quả kinh doanh, sau đó xác định ranh giới xung quanh nó. Ghi lại các nguồn dữ liệu, đối tượng, kênh, công cụ và hành động được phép. Nêu rõ các hành động bị cấm. Chỉ định chủ sở hữu doanh nghiệp về kết quả và chủ sở hữu kỹ thuật về độ tin cậy và sự cố.
Tại Van Data Team, chúng tôi bắt đầu bằng việc hỏi: Nhân viên có thể đọc những gì? Nó có thể đề xuất điều gì? Nó có thể thực hiện những gì? Điều gì luôn cần sự chấp thuận? Bằng chứng nào phải tồn tại sau cuộc chạy trốn? Điều này biến một hướng dẫn mơ hồ như "phát triển đường ống" thành một quy trình làm việc có thể quản lý được.
Tạo thanh đánh giá và chấp nhận
Hoàn thành nhiệm vụ kiểm thử, căn cứ thực tế, tuân thủ chính sách, xử lý dữ liệu, lựa chọn công cụ và khắc phục lỗi. Bộ đánh giá phải bao gồm các trường hợp bình thường, không rõ ràng, đối nghịch và đầu vào không đầy đủ. Một cuộc trình diễn bóng bẩy là bằng chứng về khả năng chứ không phải bằng chứng về khả năng sản xuất.
Tiêu chí phát hành phải bao gồm chất lượng và hoạt động. Đo lường xem liệu tác nhân có chọn đúng công cụ, nằm trong ngân sách token của mình, đáp ứng dung sai về độ trễ của quy trình làm việc hay không, hiển thị các dấu vết hữu ích, chứa gánh nặng xem xét và khôi phục một cách an toàn. Các mục tiêu về chi phí và độ trễ không ổn định phải được đo lường trong môi trường của bạn, không được mượn từ điểm chuẩn không liên quan.
Biến sự an toàn của thương hiệu thành những bước kiểm tra có thể thực hiện được
An toàn thương hiệu phải là một lớp chính sách chứ không phải một câu trong lời nhắc hệ thống. Một bộ quy tắc thực tế nên:
- Yêu cầu bằng chứng được phê duyệt cho các tuyên bố thực tế và bằng chứng liên quan cho các số liệu cụ thể.
- Chặn các kết quả, giá cả, bảo đảm, liên kết và cam kết pháp lý do khách hàng phát minh.
- Thực thi các quy tắc về đối tượng, giai điệu, kênh và mục đích dữ liệu đã được phê duyệt.
- Từ chối gửi, xuất bản, thay đổi chi tiêu chiến dịch và ghi hệ thống khách hàng mà không cần phê duyệt.
- Dừng khi không xác định được nguồn gốc, độ mới, nguồn gốc dữ liệu hoặc ủy quyền của dữ liệu.
- Bảo quản dự thảo, bằng chứng, kết quả chính sách và quyết định của con người để kiểm tra.
Áp dụng AgentOps và FinOps theo quy trình làm việc
Giám sát theo kiểu AgentOps sẽ kết nối từng quyết định và lệnh gọi công cụ với đầu vào, phiên bản chính sách, phê duyệt, kết quả và đường dẫn khôi phục của nó. Các biện pháp kiểm soát kiểu FinOps sẽ quy việc sử dụng cho tác nhân, quy trình làm việc, chiến dịch và kết quả kinh doanh, sau đó thực thi các giới hạn đã định cấu hình. Việc đạt đến giới hạn sẽ tạm dừng, hạ cấp hoặc yêu cầu ủy quyền thay vì gây ra tình trạng bội chi thầm lặng.
Nếu nhóm của bạn muốn vận hành mô hình này, hãy yêu cầu đánh giá quy trình làm việc miễn phí thông qua cách Vanaxity hoạt động. Đầu ra hữu ích không phải là một cuộc gọi chung chung: nó là bản đồ nguồn và quyền, thiết kế cổng xem xét, danh sách khoảng cách giám sát, quy trình xử lý rủi ro và kế hoạch phân phối trong phạm vi.
Điều kiện tiên quyết về kiến trúc và dữ liệu
Kiến trúc phải được chọn theo yêu cầu kiểm soát và phục hồi của quy trình làm việc, trong khi chất lượng dữ liệu và quyền của công cụ vẫn là một phần của cùng một ranh giới sản xuất.
Bối cảnh liền kề bao gồm LangGraph, LangChain, CrewAI, gọi hàm gốc, Lập kế hoạch và thực thi và ngăn xếp tác nhân Microsoft Foundry. Đây là các tùy chọn triển khai, không phải xác nhận của Vanaxity hoặc khuyến nghị của Microsoft trong bối cảnh tiếp thị.
| Tùy chọn hoặc mẫu | Câu hỏi kiểm tra trước khi lựa chọn |
|---|---|
| LangGraph hoặc LangChain | Thiết kế của bạn có thể hiển thị rõ ràng trạng thái, dấu vết quyết định, điểm kiểm tra, phê duyệt và hành vi khôi phục không? |
| Phi hành đoànAI | Các ranh giới ủy quyền, bối cảnh chung, quyền sử dụng công cụ và trách nhiệm đối với các lỗi có rõ ràng không? |
| Gọi hàm gốc | Các lược đồ có bị thu hẹp, các tham số đã được xác thực, các hoạt động có được đưa vào danh sách cho phép và các cuộc gọi tiếp theo có bị kiểm soát phê duyệt không? |
| Lập kế hoạch và thực hiện | Kế hoạch có thể được kiểm tra, hạn chế, sửa đổi và dừng lại trước khi thực hiện không an toàn không? |
| Ngăn xếp tác nhân Microsoft Foundry | Bối cảnh nền tảng có phù hợp với các yêu cầu quản trị, khả năng quan sát, triển khai và vận hành của bạn không? |
Giao diện công cụ và MCP phải được coi là ranh giới được quản lý. Sử dụng các lược đồ rõ ràng, các quyền ít cần thiết nhất, các tham số đã xác thực, hết thời gian chờ, tạm thời trong đó các hành động có thể lặp lại và kiểm tra phê duyệt trước các lệnh gọi không thể đảo ngược. Một tác nhân không bao giờ nên kế thừa quyền truy cập rộng rãi chỉ vì việc tích hợp thuận tiện.
Kỹ thuật dữ liệu cũng quan trọng không kém. Tác nhân kế thừa chất lượng, nguồn gốc dữ liệu, tính mới, quy tắc truy cập và kỳ vọng dịch vụ của hệ thống mà họ đọc và viết. Luồng khí, dbt, Kafka và kho dữ liệu là những ví dụ về cơ sở hạ tầng có thể nằm trong ranh giới đó. Nếu một quy trình không đáp ứng được yêu cầu về độ mới của nó, thì tác nhân phụ thuộc nên tạm dừng thay vì ứng biến. Vòng kiểm soát liên tục này là trọng tâm của lợi thế của Vanaxity so với danh sách kiểm tra SEO thủ công.
Giám sát AgentOps và thiết kế điều kiện dừng
Hình minh họa sau đây tóm tắt đường dẫn an toàn đến hành động của tác nhân:
Hình 1. Vanaxity khuyến nghị định tuyến mọi hành động tiếp theo của tác nhân tiếp thị thông qua bằng chứng, sự cho phép, chính sách thương hiệu, ngân sách và kiểm tra phê duyệt của con người, với các kiểm tra không thành công được chuyển hướng.
Một thiết kế AgentOps hữu ích sẽ ánh xạ mọi rủi ro trọng yếu thành bằng chứng có thể quan sát được, điều kiện dừng, chủ sở hữu và phản hồi an toàn.
Cấu phần phần mềm sau đây là thiết kế vận hành được Vanaxity đề xuất chứ không phải hướng dẫn của Microsoft. Điều chỉnh nó cho phù hợp với chính sách, hệ thống và mức độ rủi ro của bạn.
| Khu vực kiểm soát | Bằng chứng cần ghi lại | Tình trạng dừng hoặc leo thang | Yêu cầu phản hồi |
|---|---|---|---|
| Mục tiêu và phạm vi | Mục tiêu, đối tượng, kênh, công cụ và hành động được phê duyệt | Một hành động được yêu cầu nằm ngoài phạm vi được phê duyệt | Chặn và định tuyến đến chủ sở hữu chịu trách nhiệm |
| Quyền của công cụ | Nhận dạng công cụ, hoạt động, tham số và ủy quyền | Công cụ hoặc quyền này không nằm trong danh sách cho phép | Từ chối cuộc gọi và ghi lại nỗ lực |
| Tính sẵn sàng của dữ liệu | Nguồn, dòng, độ mới, trạng thái truy cập và SLA quy trình | Dữ liệu cũ, bị thiếu, xung đột hoặc trái phép | Tạm dừng và yêu cầu dữ liệu được xác thực |
| Căn cứ thực tế | Bằng chứng kèm theo yêu cầu bồi thường vật chất | Một khiếu nại không thể được truy tìm bằng chứng đã được phê duyệt | Chặn sử dụng bên ngoài và hoàn trả cho nghiên cứu |
| An toàn thương hiệu | Kết quả chính sách cho các tuyên bố, giọng điệu, đối tượng và cam kết | Nội dung vi phạm quy tắc rõ ràng | Chặn gửi hoặc xuất bản và yêu cầu xem xét |
| Sự chấp thuận của con người | Người phê duyệt, quyết định, tạo phẩm được phê duyệt và thời điểm quyết định | Một hành động bên ngoài hoặc không thể đảo ngược thiếu sự chấp thuận hợp lệ | Không thực thi |
| Hành vi thời gian chạy | Theo dõi quyết định, trình tự công cụ, số lần thử, lỗi và tiến trình | Tác nhân lặp lại, lặp lại lỗi hoặc ngừng thực hiện | Chấm dứt và mở một sự cố |
| Kiểm soát chi phí | Mức sử dụng theo tác nhân, quy trình làm việc, chiến dịch và kết quả | Đã đạt đến giới hạn được định cấu hình | Tạm dừng, hạ cấp hoặc xin phép |
| Kiểm tra và phục hồi | Dấu vết hoàn chỉnh, trạng thái trước đó, kế hoạch khôi phục và chủ sở hữu | Việc ghi nhật ký không thành công hoặc một hành động được thực hiện tạo ra tác động không mong muốn | Tạm dừng các hành động mang tính hệ quả, sau đó quay lại và chuyển tiếp nếu có thể |
Một cảnh báo yêu cầu sự chú ý trong khi công việc có thể tiếp tục. Việc tạm dừng sẽ đóng băng tiến trình đang chờ bằng chứng hoặc phê duyệt. Một khối từ chối một hành động cụ thể. Rollback cố gắng khôi phục trạng thái trước đó sau khi thực thi. Những trạng thái này không nên được coi là có thể hoán đổi cho nhau.
Dự phòng chỉ ở dạng bản nháp đặc biệt hữu ích. Nếu việc phê duyệt, ghi nhật ký, tính sẵn sàng của dữ liệu hoặc phạm vi chi phí không còn nữa, tác nhân chỉ có thể tiếp tục chuẩn bị công việc không công khai khi chính sách cho phép. Nó không được gửi, xuất bản, chi tiêu hoặc ghi vào hệ thống của khách hàng.
Các chỉ số hiệu suất chính (KPI)
Mức độ sẵn sàng sản xuất tác nhân AI phải được đo lường bằng các KPI riêng biệt về giá trị thử nghiệm, chất lượng đánh giá, hiệu quả kiểm soát, độ ổn định trong hoạt động và chi phí. Một điểm hài lòng duy nhất hoặc một bản trình diễn thành công không phải là tiêu chuẩn về mức độ sẵn sàng sản xuất.
Bằng chứng điểm chuẩn thí điểm
Một nghiên cứu điển hình ẩn danh về khách hàng của Microsoft báo cáo các kết quả sau đây từ một chương trình thí điểm GenAI chỉ kéo dài hơn bốn tuần. Đây là những điểm chuẩn thí điểm dựa trên bằng chứng, không phải là ngưỡng phát hành phổ biến.
| Chỉ số Đánh giá Hiệu suất Chính | Điểm chuẩn thí điểm được báo cáo | Số liệu thiết lập điều gì |
|---|---|---|
| Thời gian thử nghiệm | Chỉ hơn bốn tuần | Khoảng thời gian đo lường được sử dụng để thu thập phản hồi ban đầu của người dùng |
| Người dùng báo cáo tiết kiệm thời gian | 88% | Giá trị năng suất được cảm nhận |
| Người dùng rất hài lòng | 86% | Sự chấp nhận của phi công và sự hài lòng của người dùng |
| Người dùng báo cáo độ chính xác và chất lượng được cải thiện | 69% | Nhận thấy sự cải thiện về chất lượng công việc |
Số liệu thống kê đến từ câu chuyện của khách hàng Microsoft về việc triển khai GenAI an toàn và có thể mở rộng. Nguồn không báo cáo mức giảm ghi CRM trái phép, bỏ qua phê duyệt, vi phạm chính sách hoặc lệnh gọi công cụ không an toàn. Do đó, những kết quả quản trị đó phải được đo lường riêng biệt thay vì được suy ra từ kết quả thí điểm.
Ngưỡng sẵn sàng sản xuất
Hướng dẫn sẵn sàng cho Copilot Studio của Microsoft cung cấp mẫu các điểm bắt đầu dựa trên rủi ro và cảnh báo rõ ràng rằng chúng không phải là tiêu chuẩn chung. Các nhóm nên hiệu chỉnh chúng theo hậu quả của lỗi, tần suất sử dụng, dự phòng sẵn có, đối tượng và mức độ tiếp xúc với quy định.
| Chỉ số Đánh giá Hiệu suất Chính | Ngưỡng bắt đầu mẫu | Giải thích bản phát hành |
|---|---|---|
| Công cụ nội bộ có rủi ro thấp | An toàn và tuân thủ 90%+; kinh doanh cốt lõi 75%+; khả năng 65%+ | Ví dụ về điểm bắt đầu cho các công cụ chỉ dành cho nội bộ, có mức đầu tư thấp với sự đánh giá của con người |
| Tác nhân tiếp xúc với khách hàng có rủi ro trung bình | An toàn và tuân thủ 95%+; kinh doanh cốt lõi 85%+; khả năng 75%+ | Ví dụ về điểm bắt đầu để sử dụng bên ngoài với các lỗi có thể phục hồi |
| Tác nhân tài chính hoặc được quản lý có rủi ro cao | An toàn và tuân thủ 98%+; kinh doanh cốt lõi 92%+; khả năng 85%+ | Ví dụ về điểm bắt đầu cho các quyết định mang tính hệ quả hoặc rủi ro pháp lý |
| Tác nhân quan trọng về an toàn | An toàn và tuân thủ 99%+; kinh doanh cốt lõi 95%+; khả năng 90%+ | Ví dụ về điểm khởi đầu cho lời khuyên về sức khỏe, pháp lý hoặc tài chính với sự giám sát hạn chế của con người |
| Đánh giá an toàn và dữ liệu cá nhân | 95,100% cho ví dụ rủi ro trung bình | Dưới 95% chặn vận chuyển |
| Đánh giá độ chính xác thực tế | 85,95% đối với ví dụ có rủi ro trung bình | Dưới 80% chặn vận chuyển |
| Đánh giá dựa trên kiến thức | 85,95% đối với ví dụ có rủi ro trung bình | Dưới 80% chặn vận chuyển |
| Đánh giá việc gọi công cụ | 90,95% cho ví dụ có rủi ro trung bình | Dưới 85% chặn vận chuyển |
| Đánh giá leo thang và thất bại nhẹ nhàng | 90,95% cho ví dụ có rủi ro trung bình | Dưới 85% chặn vận chuyển |
| Đánh giá độ ổn định | Trung bình ít nhất ba lần đánh giá đầy đủ; việc hoàn thành lặp lại yêu cầu chênh lệch ít hơn 5% giữa các lần chạy lại | Là một ngưỡng cảnh báo minh họa, phương sai lớn hơn 10% sẽ kích hoạt việc điều tra độ tin cậy của học sinh trước khi chẩn đoán tác nhân |
Quá trình lặp lại chỉ hoàn tất khi mọi bộ đánh giá đều vượt quá ngưỡng đã hiệu chỉnh, các khoảng trống đã biết có chủ sở hữu và mốc thời gian, các lần chạy lại vẫn nhất quán và không còn vấn đề về cấu hình chặn nào.
KPI kiểm soát quy trình làm việc
Theo dõi các số liệu này cho từng tác nhân và quy trình làm việc ngay cả khi không tồn tại ngưỡng phổ quát có nguồn gốc:
- Tỷ lệ thực hiện hành động trái phép: Các hành động do hậu quả trái phép được thực hiện chia cho tất cả các yêu cầu hành động do hậu quả.
- Tỷ lệ bỏ qua phê duyệt: Các hành động tiếp theo được thực hiện mà không có phê duyệt hợp lệ chia cho tất cả các hành động tiếp theo được thực hiện.
- Tính đầy đủ của dấu vết: Các lần chạy chứa mọi thông tin đầu vào, bằng chứng, quyết định, lệnh gọi công cụ, phê duyệt, kết quả và bản ghi lỗi được yêu cầu chia cho tổng số lần chạy.
- Tỷ lệ khôi phục thành công: Số lần đảo ngược thành công chia cho số lần khôi phục.
- Tỷ lệ thử lại: Số lần thử công cụ hoặc mô hình lặp lại chia cho tổng số lần thực hiện.
- Gánh nặng của người đánh giá: Số phút đánh giá của con người chia cho kết quả đầu ra được chấp nhận.
- Chi phí đầu ra được chấp nhận: Chi phí mô hình, công cụ, dữ liệu, cơ sở hạ tầng và người đánh giá chia cho các đầu ra vượt qua thanh chấp nhận.
- Thời gian khôi phục: Thời gian đã trôi qua kể từ khi xảy ra sự cố hoặc lỗi chặn cho đến khi khôi phục an toàn hoặc dự phòng được ghi lại.
Không chỉ định tỷ lệ phần trăm không có bằng chứng cho các biện pháp kiểm soát này. Thiết lập đường cơ sở được đo lường trong quá trình thí điểm, xác định các ngưỡng theo rủi ro trong quy trình làm việc và chỉ báo cáo cải thiện sau khi tồn tại các quan sát trước và sau kiểm soát tương đương.
JSON-LD sau đây xác định rõ ràng các bảng hiển thị của bài viết dưới dạng thực thể ItemList của lược đồ.org. Các mục trong Vùng kiểm soát lặp lại bằng chứng, điều kiện dừng và phản hồi bắt buộc của mỗi hàng để việc trích xuất không chỉ phụ thuộc vào phân tích bảng trực quan.
Danh sách kiểm tra áp dụng và các chế độ lỗi thường gặp
Các nhóm nên thí điểm các tác nhân ở chế độ khuyến nghị hoặc chỉ phác thảo, sau đó chỉ mở rộng quyền tự chủ khi có bằng chứng cho thấy các biện pháp kiểm soát và phục hồi hoạt động trong điều kiện thực tế.
Danh sách kiểm tra triển khai
- Chỉ định các chủ sở hữu doanh nghiệp và kỹ thuật chịu trách nhiệm.
- Xác định các hành động, công cụ, đối tượng và kênh được phép và bị cấm.
- Nguồn dữ liệu kiểm kê, quyền, dòng, độ mới và SLA quy trình.
- Thiết lập các trường hợp đánh giá và tiêu chí phát hành.
- Mã hóa các quy tắc thực tế, thương hiệu, đối tượng, quyền riêng tư và tuân thủ dưới dạng kiểm tra.
- Cổng phê duyệt bên ngoài, các hành động không thể đảo ngược và vật chất về mặt tài chính.
- Định cấu hình dấu vết, nhật ký kiểm tra, định tuyến sự cố và khôi phục lỗi.
- Xác định các điều kiện cảnh báo, tạm dừng, chặn, leo thang, chấm dứt và khôi phục.
- Mức sử dụng thuộc tính và chi phí theo tác nhân và quy trình làm việc, với giới hạn được phê duyệt.
- Kiểm tra đường dẫn dự phòng trước khi bật thực thi tự động.
Một nghiên cứu điển hình về dữ liệu và thông tin chuyên sâu ẩn danh của Microsoft minh họa sự phụ thuộc với thang đo được đo lường. Một nhóm gồm 10 đặc vụ đã dọn dẹp, gắn thẻ và sắp xếp 4.000 hiện vật thành 400 tài liệu chính sách trong sáu tuần, với quy trình làm việc được chia thành các nhiệm vụ phụ riêng biệt và dựa trên kiến thức về tổ chức. Microsoft ghi lại nghiên cứu điển hình và số liệu thống kê của nó.
Bằng chứng đó củng cố quy tắc sẵn sàng dữ liệu mà không tạo ra kết quả lỗi: nếu một quá trình chuyển đổi ngược dòng không đáp ứng được yêu cầu về độ mới của nó thì hệ thống an toàn không được đoán hoặc âm thầm sử dụng lại dữ liệu cũ. Nó sẽ tạm dừng hành động phụ thuộc, đánh dấu phần phụ thuộc không thành công, cảnh báo cho chủ sở hữu và lưu giữ thay đổi được đề xuất để xem xét.
Cần loại bỏ các chế độ lỗi trước khi khởi chạy
- Coi bản demo thành công là quá trình xác thực sản phẩm.
- Sử dụng lời nhắc rộng rãi làm toàn bộ lớp quản trị.
- Cấp nhiều quyền truy cập vào công cụ hoặc dữ liệu hơn mức nhiệm vụ yêu cầu.
- Giám sát văn bản cuối cùng trong khi bỏ qua các quyết định và lệnh gọi công cụ.
- Cho phép thử lại không giới hạn hoặc tiếp tục im lặng sau một điều kiện dừng.
- Theo dõi tổng chi tiêu AI mà không cần phân bổ quy trình công việc.
- Trình bày phân tích tiếp thị của Vanaxity dưới dạng hướng dẫn của Microsoft.
Nhóm Van Data thực hiện hoạt động này như thế nào
Tại Van Data Team, chúng tôi coi Microsoft Path to production dành cho tác nhân là một quy trình vận hành chứ không phải bài tập lý thuyết. Microsoft cung cấp khung kỹ thuật, sự tin cậy, quy mô được quản lý, điều phối hiệu quả và AgentOps cho các hệ thống không xác định. Việc áp dụng những nguyên tắc đó vào hoạt động chiến dịch và tiếp cận SDR là phân tích của Vanaxity, không phải tuyên bố của Microsoft.
Chúng tôi bắt đầu bằng cách ánh xạ quá trình chuyển giao hiện tại: hệ thống nguồn, dòng dữ liệu và mức độ mới, quyết định của tác nhân, quyền của công cụ, cổng xem xét, bảng điều khiển và đường dẫn khôi phục. Kế hoạch phân phối kết quả chỉ định:
- Các tín hiệu cần nắm bắt, bao gồm đầu vào, bằng chứng, lệnh gọi công cụ, phê duyệt, kết quả, lỗi và chi phí.
- Các lỗ hổng trong quy trình làm việc cần được thu hẹp, chẳng hạn như thiếu quyền sở hữu, kiểm tra dữ liệu cũ, ngưỡng đánh giá hoặc quy trình khôi phục.
- Các hành động cần có sự chấp thuận của con người, đặc biệt là các thông báo bên ngoài, viết CRM, thay đổi chiến dịch, xuất bản và chi tiêu.
- Trang tổng quan và sổ sách xác định cảnh báo, giới hạn chi phí, điều kiện dừng, chủ sở hữu báo cáo và trạng thái dự phòng an toàn chỉ ở dạng bản nháp.
Điều này chuyển đổi việc quản trị thành thứ mà người vận hành có thể thực thi. Thay vì tin tưởng vào một tác nhân vì cuộc thử nghiệm đã hiệu quả, nhóm nhận được các tiêu chí chấp nhận rõ ràng, kiểm tra an toàn thương hiệu, khả năng kiểm tra và lộ trình khôi phục khi hành vi hoặc dữ liệu ngược dòng khác với mong đợi.
Ngân sách hoạt động
Microsoft Path to production dành cho công cụ tăng tốc tác nhân đưa tính kinh tế vận hành vào chương trình nghị sự về mức độ sẵn sàng sản xuất thông qua sự nhấn mạnh đã được khẳng định vào việc điều phối hiệu quả, giá cả phải chăng. Phân tích của Vanaxity cho thấy việc định giá token của nhà cung cấp chỉ là điểm khởi đầu. Một mô hình giá rẻ có thể trở nên đắt đỏ sau khi thử lại, gọi công cụ, đánh giá của con người và công việc khôi phục.
Chạy mọi ứng cử viên với các nhiệm vụ và hồ sơ tiêu biểu giống nhau:
- Chi phí đầu ra được chấp nhận: Chi phí mô hình, công cụ, dữ liệu, cơ sở hạ tầng và người đánh giá chia cho kết quả vượt qua ngưỡng chấp nhận.
- Hồ sơ thực thi: Độ trễ từ đầu đến cuối, mức tiêu thụ token so với ngân sách, tốc độ thử lại và số phút đánh giá cho mỗi kết quả được chấp nhận.
- Chất lượng và khả năng phục hồi: Kết quả đánh giá về thành công của nhiệm vụ, nền tảng thực tế, tuân thủ chính sách và an toàn thương hiệu, cộng với thời gian phục hồi, khôi phục thành công và làm lại sau thất bại.
Đặt giới hạn chi phí và token cho mỗi tác nhân và quy trình làm việc. Xác định các điều kiện dừng đối với bội chi, thử lại nhiều lần, vi phạm độ trễ, lỗi đánh giá hoặc yêu cầu công cụ không an toàn. Khi vượt qua một ngưỡng, hãy tạm dừng các hành động bên ngoài hoặc không thể đảo ngược và quay trở lại hoạt động chỉ ở chế độ nháp.
Ứng viên sản xuất phù hợp không phải là người có mức giá nhanh chóng thấp nhất. Đây là kết quả mang lại kết quả đã được phê duyệt, có thể kiểm tra được trong các giới hạn về chất lượng, rủi ro, độ trễ và khả năng phục hồi.
Câu hỏi thường gặp
Công cụ tăng tốc lộ trình sản xuất dành cho tác nhân của Microsoft là gì?
Đây là một công cụ tăng tốc kỹ thuật Microsoft Azure AI mang tính giáo dục, tập trung vào việc chuyển các hệ thống tác tử từ nguyên mẫu sang hoạt động sản xuất an toàn, đáng tin cậy và được quản lý. Các chủ đề đã được xác nhận của nó bao gồm kiến trúc đáng tin cậy, kiểm soát trên quy mô lớn, điều phối hiệu quả và giá cả phải chăng cũng như AgentOps cho các hệ thống năng động, không xác định.
Đây có phải là sản phẩm mới của Microsoft không?
Không. Đây là một sự kiện và sáng kiến kỹ thuật, không phải buổi ra mắt sản phẩm. Các sản phẩm và cấu trúc quản trị của Microsoft xuất hiện dưới dạng bối cảnh nền tảng, nhưng bản thân sự kiện này không được mô tả như một công cụ mới được phát hành.
AgentOps có ý nghĩa gì đối với tác nhân tiếp thị hoặc bán hàng?
Trong phân tích của Vanaxity, AgentOps có nghĩa là truy tìm dữ liệu, quyết định, lệnh gọi công cụ, đầu ra, phê duyệt, lỗi, chi phí và cách xử lý cuối cùng của một lần chạy. Điều đó cũng có nghĩa là xác định ai sẽ phản hồi khi tác nhân tạm dừng, không thành công, vi phạm chính sách hoặc gây ra tác động không mong muốn.
Những hành động nào của tác nhân cần có sự phê duyệt của con người?
Yêu cầu phê duyệt các tin nhắn gửi tới khách hàng, xuất bản công khai, thay đổi chi tiêu cho chiến dịch, mở rộng đối tượng, viết CRM, cam kết pháp lý hoặc giá cả cũng như các hành động khó đảo ngược. Việc soạn thảo và đề xuất có rủi ro thấp hơn có thể vẫn tự chủ trong một phạm vi xác định.
Chi phí của một tác nhân kiểm soát nhóm sẽ như thế nào?
Phân bổ mô hình, công cụ, cơ sở hạ tầng và đánh giá việc sử dụng cho tác nhân chịu trách nhiệm và quy trình làm việc. Đặt ngân sách và giới hạn được đo lường, hiển thị chúng trong quá trình giám sát và xác định điều gì xảy ra ở ngưỡng: hạ cấp, tạm dừng hoặc xin phép. Đừng chỉ dựa vào hóa đơn AI tổng hợp.
Khung, MCP và nền tảng dữ liệu phù hợp ở đâu?
Các khung giúp các nhóm cấu trúc việc thực thi tác nhân; Giao diện MCP và công cụ xác định ranh giới hành động; nền tảng dữ liệu cung cấp và nhận dữ liệu vận hành. Việc lựa chọn phải tuân theo nhu cầu quản trị. Bất kể ngăn xếp, các nhóm vẫn cần có quyền rõ ràng, đầu vào được xác thực, khả năng quan sát, dòng dữ liệu, kiểm soát độ mới và khả năng phục hồi.




