Cách chọn nền tảng agent AI

Đánh giá bằng quy trình của bạn, không phải bằng bản demo

Thị trường ồn ào: cứ công cụ nào có ô chat là giờ đều tự xưng nền tảng agent. Bản demo không giúp bạn phân biệt được, vì demo là một cuộc trò chuyện đã tập dượt trên dữ liệu của chính nhà cung cấp. Phép thử duy nhất đáng kể là nền tảng đó có chạy nổi một trong những quy trình của bạn không - trên kênh của bạn, theo quy tắc phê duyệt của bạn, trong ngân sách của bạn.

Vậy nên trước khi nhận bất kỳ cuộc gọi nào, hãy viết ra hai hoặc ba quy trình bạn thật sự muốn giao đi. Với phần lớn doanh nghiệp nhỏ, chúng trông giống trả lời các câu hỏi trên WhatsApp về giá và tồn kho, phân loại hộp thư dùng chung và soạn nháp trả lời, hoặc làm ra một bản tóm tắt nghiên cứu hằng tuần. Rồi chấm điểm từng nhà cung cấp dựa trên đó, theo danh sách kiểm tra bên dưới.

Một lưu ý về thiên vị, vì trang này nằm trên website của một nhà cung cấp: chúng tôi cũng làm một nền tảng như thế, và danh sách này phản ánh những gì chúng tôi chọn để xây. Nó không trung lập. Nhưng mỗi mục đều là một kiểu hỏng hóc có thật mà chúng tôi từng thấy doanh nghiệp gặp phải, và mọi câu hỏi đều dùng được với bất kỳ nhà cung cấp nào - kể cả chúng tôi.

1. Kênh: agent có sống được ở nơi khách hàng của bạn đang ở không?

Một agent chỉ tồn tại trong widget trên web thì chỉ là chatbot với ngữ pháp khá hơn. Yêu cầu của bạn đến qua WhatsApp, email, Telegram và Slack, còn sự kiện thì bay tới từ hệ thống của bạn dưới dạng webhook - nếu nền tảng không ra tận nơi đón chúng, đội của bạn sẽ trở thành lớp sao chép và dán.

• Hôm nay hỗ trợ những kênh nào - WhatsApp, Telegram, email, Slack, SMS - và những kênh nào mới chỉ nằm trên lộ trình?
• Sự kiện đến (một email mới, một webhook từ cửa hàng của bạn) có tự khởi động công việc được không, hay phải có người mở cuộc trò chuyện trước?
• Một agent có thể phục vụ khách trên kênh này và báo cáo cho nhân viên trên kênh khác không?

2. Quyền kiểm soát của con người: ai duyệt cái gì, và duyệt ở đâu?

Khác biệt giữa một agent hữu ích và một mối rủi ro nằm ở chỗ nó được làm gì khi không ai giám sát. Hãy tìm quyền tự quyết theo cấp bậc thay vì một công tắc bật tắt: nghiên cứu và soạn nháp cứ chạy tự do, còn tin nhắn gửi ra ngoài, tiền bạc và thay đổi hệ thống thì phải chờ người, cho tới khi niềm tin được xây đủ. Cẩm nang đặt phê duyệt lên trước trình bày sâu về thiết kế này.

• Quyền tự quyết có phân cấp không - theo mức hay theo phạm vi cho từng agent - hay chỉ có tất cả hoặc không gì cả?
• Theo mặc định thì những gì phải chờ duyệt, và có đặt được cổng duyệt theo từng nhóm không: hành động tài chính, gửi ra ngoài, ghi tệp?
• Yêu cầu phê duyệt đến ở đâu - trong những công cụ đội bạn vốn đã dùng, hay một bảng điều khiển mà ai đó phải nhớ mà vào xem?

3. Kiểm toán: mọi hành động có được ghi lại và soi lại được không?

Khi một khách hàng cãi lại về điều họ đã được nói, hoặc khi bạn đang cân nhắc nới quyền tự quyết cho agent, thứ bạn cần là bản ghi - không phải một bản dựng lại. Có log mới chỉ là điều kiện tối thiểu; thứ thật sự kết thúc tranh cãi là một dấu vết không thể sửa, bao trùm mọi thứ agent đã đọc, đã soạn và đã gửi.

• Dấu vết đó có thật sự không thể sửa, hay các mục có thể bị chỉnh sửa, xóa đi?
• Nó bao trùm mọi hành động, hay chỉ những tin nhắn gửi ra ngoài?
• Bạn có thấy được ai đã duyệt từng hành động, và duyệt lúc nào không?

4. Kiểm soát chi phí: trần, đo lường và BYOK

Việc dùng mô hình là chi phí biến đổi, mà chi phí biến đổi thì hay làm người ta giật mình. Cảnh báo không phải là kiểm soát - một cái trần cứng mới là. Cũng để ý cách tính giá theo đầu người: nó đánh thuế đúng vào mức độ phổ biến mà bạn đang mong muốn.

• Có trần chi tiêu cứng thống nhất trước khi chạy không, hay chỉ có cảnh báo sử dụng sau khi đã tiêu?
• Việc dùng AI có chạy trên một đồng hồ minh bạch mà bạn xem được không, hay bị gói vào một khoản phí mờ mịt?
• Giá tính theo đầu người không? Bạn có mang khóa mô hình của mình vào được không (BYOK) - và điều đó có tốn thêm tiền không?

5. Cô lập và quyền riêng tư: hạ tầng của ai, dữ liệu của ai?

Agent nắm giữ lịch sử hội thoại, tài liệu của bạn và thông tin đăng nhập vào các hệ thống đã kết nối, nên hãy đánh giá nền tảng đó như bất kỳ bên xử lý dữ liệu khách hàng nào khác. Hãy nghi ngờ những lời hứa tuyệt đối - bảo đảm chung chung là marketing, không phải kiến trúc - và thay vào đó, đòi hỏi cụ thể về những điều cơ bản có thể kiểm chứng.

• Không gian làm việc của mỗi khách hàng là tách biệt hay dùng chung?
• Token kết nối và khóa API được lưu ra sao, và ai truy cập được? Có phân quyền theo vai trò không?
• Dữ liệu có được mã hóa khi lưu trữ và khi truyền không, và có sẵn các vùng đám mây cụ thể cho yêu cầu lưu trú dữ liệu không?

6. Trí nhớ và căn cứ: nó có hiểu doanh nghiệp của bạn không?

Một nền tảng quên sạch giữa các phiên sẽ bắt đội của bạn lặp lại mãi; một nền tảng trả lời từ dữ liệu huấn luyện chung của mô hình sẽ đoán mò giá của bạn. Bạn cần cả hai: trí nhớ bền và căn cứ từ chính tài liệu của bạn.

• Trí nhớ của agent có bền qua các phiên không, hay reset lại sau mỗi cuộc trò chuyện?
• Câu trả lời có bám được vào kho tri thức dựng từ tài liệu của bạn không - bảng giá, chính sách, quy trình?
• Khi một tài liệu thay đổi, câu trả lời đổi theo nhanh đến đâu?

7. Vận hành: ai lo hosting, giám sát và bảo trì?

Câu hỏi này tách nền tảng khỏi bộ công cụ. Phải có ai đó lo hosting cho runtime, canh nó ban đêm, cài bản cập nhật, và sửa cái connector bị hỏng - nếu người đó là đội của bạn, hãy tính luôn số giờ của họ vào phép so sánh. Các đánh đổi được trình bày trong bài so sánh agent được vận hành sẵn so với tự động hóa tự dựng của chúng tôi.

• Ai lo hosting và giám sát agent - nhà cung cấp hay bạn?
• Những gì được bao gồm: thiết lập, bảo trì, giám sát? Thời gian thiết lập là bao nhiêu ngày làm việc?
• Khi có thứ hỏng lúc 2 giờ sáng, đó là vấn đề của ai?

8. Lối ra: những gì đi cùng bạn?

Hãy giả định rằng một ngày nào đó bạn sẽ muốn rời đi, và nhìn kỹ cái cửa trước khi bước vào. Hợp đồng, khóa và tri thức là ba thứ cần lần theo.

• Thời hạn hợp đồng có được quy định rõ không, kèm lối ra rõ ràng và khả năng mang dữ liệu đi?
• Nếu bạn mang khóa mô hình của mình vào, các tài khoản đó và lịch sử của chúng có còn là của bạn không?
• Nếu rời đi, bạn giữ lại được gì - tài liệu của bạn, quy trình của bạn, bản ghi hội thoại của bạn?

Olano trả lời những câu này ra sao

Nói ngắn gọn, và đúng tinh thần của danh sách này - hãy đặt những câu hỏi đó cho chúng tôi trong một cuộc gọi, thay vì tin lời một trang web:

• Kênh: Hơn 15 kênh nhắn tin - WhatsApp, Telegram, Slack, Discord, email, SMS, Signal và nhiều nữa - cộng thêm webhook gửi đến, phía sau là hơn 75 tích hợp sẵn có và hơn 450 công cụ kết nối.
• Quyền kiểm soát của con người: mức tin cậy 0-4 (Observer, Assistant, Collaborator, Autonomous, Developer) kèm cổng phê duyệt theo từng nhóm; mọi thứ gửi ra ngoài mặc định chờ duyệt.
• Kiểm toán: nhật ký kiểm toán không thể sửa cho mọi hành động.
• Chi phí: một đồng hồ minh bạch với trần chi tiêu cứng thống nhất trước khi chạy; không tính giá theo đầu người; BYOK không tính thêm phí, điều phối qua hơn 18 nhà cung cấp LLM.
• Cô lập: không gian làm việc tách biệt cho từng khách hàng; token kết nối và khóa API được mã hóa; phân quyền theo vai trò; mã hóa khi lưu trữ và khi truyền; vùng AWS/GCP tùy chọn cho yêu cầu lưu trú dữ liệu.
• Trí nhớ: trí nhớ bền theo từng agent, cộng thêm căn cứ từ kho tri thức dựng trên tài liệu bạn tải lên.
• Vận hành: được vận hành sẵn và quản lý trọn gói - bao gồm thiết lập, hosting, bảo trì và giám sát; một quy trình thường chạy được trong 1-2 ngày làm việc kể từ lúc khởi động, triển khai lớn hơn mất 1-3 tuần, và mọi thứ đều được báo giá và duyệt trước khi bắt tay làm.
• Lối ra: thời hạn hợp đồng rõ ràng, dữ liệu mang đi được, và với BYOK thì tài khoản mô hình vẫn là của bạn.

Và chỗ mà nói thật thì chúng tôi không phải câu trả lời: nếu nhu cầu của bạn là công việc cá nhân - soạn thảo lẻ tẻ, hỏi đáp chung chung, một đội nhỏ không có kênh khách hàng - thì một không gian làm việc AI phổ thông như ChatGPT hay Claude có thể đã đủ. Nền tảng agent chỉ đáng đồng tiền khi agent phải sống trong các kênh của bạn, phản ứng với các sự kiện kinh doanh, và hoạt động dưới phê duyệt, lịch sử kiểm toán và kiểm soát chi tiêu.