Bên trong nền tảng
Agent AI ghi nhớ ra sao: trí nhớ, tri thức và kỹ năng
Bản thân một mô hình ngôn ngữ chẳng nhớ gì: đóng cửa sổ chat là ngữ cảnh biến mất. Một hệ thống nghiệp vụ dựng trên nền đó buộc phải giải bài toán trí nhớ một cách có chủ đích. Đây là cách Olano làm - bốn tầng, mỗi tầng một nhiệm vụ khác nhau, tất cả nằm trong môi trường tách biệt của riêng bạn.
Vấn đề mất trí nhớ
Mọi mô hình ngôn ngữ lớn đều không giữ trạng thái. Nó trả lời dựa trên những gì đang ở trước mặt ngay lúc đó - cuộc trò chuyện tới thời điểm này, và bất cứ thứ gì được đặt kèm. Chẳng có gì tồn tại qua các phiên, trừ khi hệ thống bao quanh mô hình làm cho nó tồn tại.
Với chuyện trò tán gẫu thì không sao. Với công việc vận hành thì đó là điểm loại. Một quầy lễ tân hỏi khách quen số đơn hàng mỗi lần thì không phải là quầy lễ tân. Một trợ lý vận hành quên mất quyết định tuần trước sẽ đem nó ra bàn lại hằng tuần. Trí nhớ không phải thứ có thì hay đắp thêm vào một hệ thống AI cho doanh nghiệp - nó chính là khác biệt giữa một nhân viên và một người lạ lịch sự.
Vậy nên câu hỏi sòng phẳng cần đặt ra với bất kỳ nền tảng agent AI nào không phải "mô hình có thông minh không?" mà là "nó cất những gì nó biết về doanh nghiệp tôi ở đâu - và còn ai chạm được vào đó?"
Tầng trí nhớ, từng lớp một
1. Trí nhớ hội thoại sống sót qua phiên làm việc
Agent của Olano giữ trí nhớ bền qua các phiên. Khách đã nhắn tháng trước sẽ được nhận ra trong đúng ngữ cảnh vào tháng này; chỉnh sửa mà đội bạn làm hôm thứ Ba vẫn còn hiệu lực vào thứ Sáu. Thứ agent dựa vào là mạch của mối quan hệ - không chỉ mạch của một cuộc trò chuyện.
2. Trí nhớ dài hạn, được chắt lọc - không phải chất đống
Bản ghi thô mau cũ: sự thật hữu ích bị vùi dưới bốn mươi dòng xã giao. Đó là lý do Olano Cortex định kỳ đọc lại công việc đã qua và chắt lọc những gì quan trọng vào trí nhớ dài hạn - các quyết định, sở thích, sự kiện đáng giữ - rồi trong chu kỳ dọn dẹp, nó chăm sóc kho trí nhớ ấy cho luôn tươi mới: mục cũ bị tỉa đi, phần trùng lặp được gộp lại. Trí nhớ chỉ biết phình ra sẽ thành nhiễu; trí nhớ được vun vén thì sinh lãi kép.
3. Kho tri thức: tài liệu của bạn là chuẩn đối chiếu
Có những thứ chẳng nên "nhớ" chút nào - chúng nên được tra cứu. Giá, chính sách, thông số sản phẩm và quy trình nằm trong một kho tri thức dựng từ chính tài liệu của bạn, và agent bám vào đó để trả lời. Khi bảng giá đổi, bạn cập nhật tài liệu và agent trả lời theo bản mới. Không huấn luyện lại, không mổ xẻ prompt - chuẩn đối chiếu vẫn là tệp mà đội bạn vốn đã duy trì.
Đây cũng là tầng giữ cho câu trả lời trung thực: một agent có căn cứ sẽ trích đúng chính sách hoàn tiền thật của bạn, thay vì bịa ra một cái nghe có vẻ hợp lý.
4. Kỹ năng: trí nhớ quy trình
Biết các sự kiện là một loại trí nhớ; còn biết cách bạn làm việc lại là một loại khác. Kỹ năng ghi lại quy trình - dạy một lần, agent lặp lại y hệt mỗi lần. Cortex cũng có thể tự soạn kỹ năng khi nhận ra cùng một loại việc cứ tái diễn. Báo cáo hằng tháng, cách bạn sàng lọc một khách tiềm năng, các bước chính xác để chuyển một khiếu nại lên trên: viết ra một lần, sau đó được thực hiện nhất quán.
Trí nhớ là hạ tầng riêng
Tất cả những gì ở trên đều nằm trong môi trường tách biệt của riêng bạn. Agent, trí nhớ, tệp, ứng dụng đã kết nối và lịch sử của bạn không bao giờ bị trộn với dữ liệu của khách hàng khác, và mọi thứ đều được mã hóa cả khi lưu trữ lẫn khi truyền. Điều đó quan trọng với trí nhớ hơn gần như bất cứ thứ gì khác: đây là tầng tích tụ quan hệ khách hàng, logic định giá và quy trình nội bộ của bạn. Đây đúng là loại dữ liệu bạn nên đặt những câu hỏi thẳng thắn - bài hướng dẫn PDPA của chúng tôi liệt kê những câu đáng hỏi bất kỳ nhà cung cấp nào, kể cả chúng tôi.
Bộ tầng này trông thế nào khi vận hành
Mỗi tầng trả lời một câu hỏi khác nhau. Trí nhớ: đây là ai và ta biết những gì? Kho tri thức: ngay lúc này điều gì là đúng? Kỹ năng: ta xử lý việc này thế nào? Và các cổng phê duyệt phủ lên toàn bộ những tầng đó, nên những gì agent biết không bao giờ vượt quá những gì nó được phép làm - kiến trúc này được trình bày trong cẩm nang đặt phê duyệt lên trước của chúng tôi..
Hiệu ứng cộng dồn mới là điều đáng nói. Một chatbot ngày đầu và ngày thứ ba trăm giống hệt nhau. Một hệ thống Olano đến ngày thứ ba trăm đã biết khách quen của bạn, danh mục của bạn, quy trình của bạn và giọng điệu của bạn - vì việc ghi nhớ không bị phó mặc cho mô hình. Nó được xây thẳng vào nền tảng.
Đọc thêm
Phần còn lại của loạt bài "Bên trong nền tảng", và những hướng dẫn mà bài này dựa vào.
Bên trong Olano Cortex
Cỗ máy chắt lọc, dọn dẹp và cải thiện bộ tầng trí nhớ này - với phê duyệt của bạn cho mọi thay đổi.
Agent AI đa mô hình
Trí nhớ và kỹ năng nằm ở nền tảng, không nằm trong mô hình - đó là lý do mô hình bên dưới có thể thay tự do.
PDPA và agent AI
Nơi trí nhớ của doanh nghiệp gặp dữ liệu cá nhân: sự đồng ý, thời gian lưu trữ, và những câu đáng hỏi nhà cung cấp.
Agent AI là gì?
Nền tảng bằng ngôn ngữ đời thường: agent khác chatbot ở đâu, và vì sao phần đường ống bên dưới mới là sản phẩm.
Câu hỏi thường gặp
Agent AI có thật sự nhớ các cuộc trò chuyện trước không?
Agent của Olano thì có - trí nhớ được thiết kế để bền qua các phiên. Khách quay lại không phải tự giới thiệu lại, và những chỉnh sửa cùng sở thích mà đội bạn đặt ra vẫn tiếp tục có hiệu lực. Ngoài lịch sử hội thoại thô, Olano Cortex còn định kỳ chắt lọc những gì quan trọng vào trí nhớ dài hạn, để các sự kiện then chốt vẫn còn ngay cả khi từng cuộc trò chuyện đã cũ.
Chuyện gì xảy ra khi giá hoặc chính sách của tôi thay đổi?
Agent bám vào kho tri thức dựng từ chính tài liệu của bạn - bảng giá, chính sách, thông số sản phẩm, quy trình - để trả lời. Cập nhật tài liệu là agent trả lời theo bản mới; không có mô hình nào phải huấn luyện lại và không có prompt nào phải viết lại chỉ vì một thay đổi kinh doanh thường ngày.
Trí nhớ của agent bên tôi có bị dùng chung với doanh nghiệp khác không?
Không bao giờ. Mỗi hệ thống Olano chạy trong môi trường tách biệt của riêng nó - agent, trí nhớ, tệp, ứng dụng đã kết nối và lịch sử của bạn không bao giờ bị trộn với dữ liệu của bất kỳ ai khác, và mọi thứ đều được mã hóa khi lưu trữ lẫn khi truyền.
Trí nhớ, kho tri thức và kỹ năng khác nhau ra sao?
Trí nhớ là những gì agent học được từ việc làm thật - khách hàng, quyết định, sở thích. Kho tri thức là những gì bạn đưa cho nó - tài liệu để nó bám vào mà trả lời. Kỹ năng là quy trình - được dạy một lần, hoặc do Cortex soạn ra từ công việc lặp lại, rồi sau đó lặp lại y hệt mỗi lần. Gộp lại, chúng bao trùm sự thật học được, sự thật được cung cấp, và cách làm việc.
Triển khai một hệ thống hiểu doanh nghiệp của bạn
Đặt một buổi tư vấn và chúng tôi sẽ phác ra quy trình đáng giá nhất của bạn, đưa một đề xuất cố định, và chỉ bắt tay làm khi bạn đồng ý - dựa trên tài liệu của bạn ngay từ ngày đầu.