Để Bảo Mật Thông Tin Khách Hàng, Trang Web Quà Tặng Trực Tuyến Sử Dụng Mô Hình Ngôn Ngữ Lớn Llama

Để Bảo Mật Thông Tin Khách Hàng, Trang Web Quà Tặng Trực Tuyến Sử Dụng Mô Hình Ngôn Ngữ Lớn Llama

Mục lục:

1. Giới thiệu về Untukmu.AI và thách thức bảo mật dữ liệu
2. Tại sao Llama là lựa chọn phù hợp?
3. Phương pháp suy luận phân tách (Split Inference)
4. Minh bạch dữ liệu và chính sách bảo mật của Untukmu.AI
5. Hướng đi trong tương lai

1. Giới thiệu về Untukmu.AI và thách thức bảo mật dữ liệu

Trong kỷ nguyên số, việc bảo mật thông tin cá nhân là mối quan tâm hàng đầu của người dùng. Untukmu.AI, một nền tảng của Indonesia chuyên cung cấp các đề xuất quà tặng cá nhân hóa cho sinh nhật, kỷ niệm và các ngày lễ doanh nghiệp, đã nhận thức được điều này. Họ đối mặt với một thách thức lớn: tận dụng sức mạnh của mô hình ngôn ngữ lớn (LLM) để cá nhân hóa trải nghiệm người dùng mà không xâm phạm quyền riêng tư của họ. Việc sử dụng LLM thường đòi hỏi việc cung cấp dữ liệu người dùng, tạo ra rủi ro về bảo mật thông tin. Để giải quyết vấn đề này, Untukmu.AI đã tìm đến một giải pháp sáng tạo.

2. Tại sao Llama là lựa chọn phù hợp?

Các mô hình ngôn ngữ lớn (LLM) như Llama nổi bật với khả năng trích xuất thông tin giá trị từ văn bản không cấu trúc. Tuy nhiên, việc này đòi hỏi dữ liệu phải được đưa vào mô hình, gây ra rủi ro bảo mật nếu dữ liệu đó nhạy cảm. Triển khai các mô hình trọng số mở (open weight models) tại chỗ (on-premises) có thể giảm thiểu rủi ro, nhưng chi phí tài nguyên cao thường khiến giải pháp này không khả thi, đặc biệt là cho các ứng dụng biên (edge applications).

Sau khi đánh giá nhiều lựa chọn khác nhau cho các nhiệm vụ trích xuất thực thể và đề xuất sản phẩm, nhóm phát triển của Untukmu.AI đã chọn Llama 3.1 8B. Lựa chọn này dựa trên sự cân bằng lý tưởng giữa chất lượng đầu ra và hiệu quả sử dụng tài nguyên. Llama 3.1 8B hoạt động hiệu quả mà không cần tinh chỉnh (fine-tuning), một lợi thế đáng kể về mặt kỹ thuật. Thêm vào đó, lộ trình phát triển của Llama với các phiên bản đa phương thức (multimodal) trong tương lai, như phiên bản 405B được đồn đại (chưa được phát hành tại thời điểm đó), đã củng cố quyết định của họ.

3. Phương pháp suy luận phân tách (Split Inference)

Giải pháp then chốt của Untukmu.AI là sử dụng phương pháp suy luận phân tách (split inference). Trong phương pháp này, 32 lớp biến áp (transformer layers) của mô hình Llama được chia thành hai điểm kiểm tra (checkpoints). Điểm kiểm tra đầu tiên xử lý lớp biến áp đầu tiên, trong khi điểm kiểm tra thứ hai xử lý 31 lớp còn lại và lớp đầu ra. Hai điểm kiểm tra này hoạt động riêng biệt trên thiết bị biên (edge device) của người dùng và trên máy chủ (cloud) của Untukmu.AI.

Quá trình hoạt động như sau:

• Một lời nhắc (prompt) được gửi đến người dùng, thường là các câu hỏi được định nghĩa trước.
• Lời nhắc này được kết hợp với dữ liệu người dùng và được làm sạch (sanitize) trước khi xử lý.
• Phần đầu của lời nhắc được xử lý trên thiết bị biên để tạo ra tensor lớp đầu tiên.
• Tensor này được gửi đến máy chủ, nơi các phép tính còn lại dự đoán token tiếp theo, sau đó được gửi lại thiết bị biên.
• Quá trình này lặp lại cho đến khi phát hiện token dừng (stop token).
• Máy chủ chuyển đổi danh sách token thành văn bản đầy đủ và gửi lại cho cả người dùng và bên thứ ba.

4. Minh bạch dữ liệu và chính sách bảo mật của Untukmu.AI

Để đảm bảo minh bạch, giao diện người dùng của Untukmu.AI hiển thị ba bản tóm tắt tin nhắn: lời nhắc của hệ thống, hồ sơ khách hàng và đề xuất sản phẩm. Điều này cho phép người dùng theo dõi cách dữ liệu của họ được sử dụng. Chính sách bảo mật của công ty khẳng định người dùng có quyền truy cập đầy đủ vào tất cả thông tin của mình. Untukmu.AI với tư cách là nhà cung cấp dịch vụ chỉ có quyền truy cập vào mọi thứ ngoại trừ dữ liệu cá nhân của khách hàng. Các nhà cung cấp bên thứ ba không thể xem dữ liệu cá nhân của khách hàng hoặc lời nhắc của Untukmu.AI, nhưng họ có thể xem lời nhắc của riêng họ và đầu ra kết quả.

5. Hướng đi trong tương lai

Phương pháp suy luận phân tách, đặc biệt khi sử dụng các mô hình Llama lớn hơn, hứa hẹn giải pháp bảo mật dữ liệu hiệu quả cho các ngành cần xử lý lượng lớn dữ liệu không cấu trúc. Trong bối cảnh kết thúc thời đại cookie và lo ngại ngày càng tăng về quyền riêng tư, việc triển khai trên thiết bị biên đang chuyển từ một giải pháp nhỏ lẻ thành một nhu cầu thiết yếu. Ưu tiên hiện tại của Untukmu.AI là tối ưu hóa phương pháp suy luận phân tách để đảm bảo chất lượng đầu ra cao, đồng thời ngăn chặn việc dữ liệu khách hàng bị lộ hoàn toàn cho nhà cung cấp dịch vụ hoặc hệ thống bên thứ ba. Tuy nhiên, công ty luôn nghiên cứu các cách thức đổi mới để bảo vệ dữ liệu khách hàng tốt hơn nữa.