Agent.ai.vn

Chatbot AI cần phải học cách "cầu cứu"! - Lời khuyên từ Phó chủ tịch Microsoft

<h2 id="section-0">Chatbot AI cần phải học cách "cầu cứu"! - Lời khuyên từ Phó chủ tịch Microsoft</h2>
Từ việc mơ mộng hão huyền đến khả năng tự nhận thức giới hạn của bản thân, Chatbot AI đang trên đà tiến hóa để trở nên hữu ích hơn cho doanh nghiệp.
Vik Singh, Phó chủ tịch Microsoft, khẳng định rằng các công cụ AI tạo sinh (Generative AI) sẽ tiết kiệm rất nhiều thời gian và tiền bạc cho doanh nghiệp, ngay cả khi chúng phải học cách thừa nhận những lúc "bí" và cần sự trợ giúp từ con người.
Trong một cuộc phỏng vấn với AFP, Singh thẳng thắn chia sẻ: "Điều thực sự còn thiếu sót ở các mô hình AI hiện nay là chúng không biết giơ tay lên và nói 'Này, tôi không chắc lắm, tôi cần giúp đỡ'."
Kể từ năm ngoái, Microsoft, Google và các đối thủ cạnh tranh đã nhanh chóng triển khai các ứng dụng AI tạo sinh như ChatGPT, có khả năng tạo ra nội dung theo yêu cầu và mang đến cho người dùng cảm giác chúng biết tất cả mọi thứ. 
Tuy nhiên, bất chấp những tiến bộ vượt bậc, các chatbot vẫn còn gặp phải hiện tượng "ảo giác", hay nói cách khác là bịa đặt ra câu trả lời. 
Đây là một vấn đề quan trọng mà Singh - người đứng đầu dự án Copilot - cần giải quyết. Bởi vì các khách hàng doanh nghiệp của ông không thể chấp nhận rủi ro chatbot AI của họ "lệch đường ray", dù chỉ là thỉnh thoảng.
Marc Benioff, Giám đốc điều hành của Salesforce, gần đây cho biết ông nhận thấy nhiều khách hàng của mình ngày càng thất vọng với những "lời nói dông dài" của Copilot do Microsoft phát triển.
Singh khẳng định rằng các chuyên gia đang nỗ lực tìm cách để chatbot có thể tự nhận biết "khi nào nó không biết câu trả lời chính xác và yêu cầu trợ giúp".
<h3 id="section-1">Lợi ích từ sự khiêm tốn</h3>
Một mô hình AI khiêm tốn hơn sẽ không kém phần hữu ích, theo quan điểm của Singh. Ngay cả khi chatbot phải "cầu cứu" con người trong 50% trường hợp, nó vẫn giúp doanh nghiệp "tiết kiệm rất nhiều tiền".
Ông chia sẻ ví dụ về một khách hàng của Microsoft: "Mỗi khi có yêu cầu mới, họ phải trả 8 đô la để nhân viên dịch vụ khách hàng trả lời, do đó chatbot AI vẫn mang lại khoản tiết kiệm đáng kể, đồng thời mang đến trải nghiệm tốt hơn cho khách hàng vì họ nhận được phản hồi nhanh hơn."
Singh gia nhập Microsoft vào tháng 1 và trong mùa hè này, ông đã tiếp quản vị trí lãnh đạo các nhóm phát triển "Copilot", trợ lý AI của Microsoft chuyên về bán hàng, kế toán và dịch vụ trực tuyến.
Các ứng dụng này có nhiệm vụ to lớn là tạo ra doanh thu và chứng minh cho khoản đầu tư khổng lồ vào AI tạo sinh.
Ở đỉnh cao của cơn sốt AI, các công ty khởi nghiệp thúc đẩy công nghệ này đã hứa hẹn những hệ thống tiên tiến đến mức chúng sẽ "nâng cao nhân loại", theo lời của Sam Altman, người đứng đầu OpenAI - công ty được Microsoft tài trợ chính.
Nhưng hiện tại, công nghệ mới chủ yếu được sử dụng để tăng năng suất lao động, và hy vọng là lợi nhuận.
Theo Microsoft, Copilot có thể thực hiện nghiên cứu thị trường cho nhân viên bán hàng, giải phóng thời gian để họ gọi điện cho khách hàng. Lumen, một công ty viễn thông, đã "tiết kiệm khoảng 50 triệu đô la mỗi năm" nhờ sử dụng Copilot, Singh cho biết.
Các nhóm của Singh đang nỗ lực tích hợp Copilot trực tiếp vào phần mềm của Microsoft và giúp nó hoạt động tự động hơn.
"Giả sử tôi là một nhân viên bán hàng và tôi có một cuộc gọi với khách hàng", ông lấy ví dụ. Hai tuần sau, mô hình AI có thể "nhắc nhở nhân viên bán hàng tiếp tục theo dõi khách hàng, hoặc thậm chí tự động gửi email thay mặt nhân viên bán hàng vì chatbot đã được cấp quyền thực hiện việc đó."
<h3 id="section-2">Ván đầu tiên trong cuộc chơi dài</h3>
Nói cách khác, trước khi tìm ra giải pháp cho vấn đề nóng lên toàn cầu, AI được kỳ vọng sẽ giải phóng con người khỏi những công việc nhàm chán, lặp đi lặp lại.
"Chúng ta đang ở ván đầu tiên", Singh nhận định. "Rất nhiều ứng dụng AI hiện nay tập trung vào việc nâng cao năng suất, nhưng rõ ràng chúng mang lại lợi ích to lớn."
Liệu tất cả những lợi ích về năng suất này có dẫn đến tình trạng mất việc làm?
Các nhà lãnh đạo của các công ty lớn, như K Krithivasan, ông chủ của gã khổng lồ CNTT Ấn Độ TCS, đã tuyên bố rằng AI tạo sinh sẽ xóa sổ các trung tâm cuộc gọi.
Nhưng Singh, giống như nhiều giám đốc điều hành ở Thung lũng Silicon, tin tưởng rằng công nghệ sẽ giúp con người trở nên sáng tạo hơn và thậm chí tạo ra những công việc mới.
Ông nhớ lại kinh nghiệm của mình tại Yahoo vào năm 2008, khi có 12 biên tập viên chịu trách nhiệm lựa chọn bài viết cho trang chủ.
"Chúng tôi đã nảy ra ý tưởng sử dụng AI để tối ưu hóa quy trình này, và một số người đã hỏi 'Ôi trời ơi, điều gì sẽ xảy ra với các nhân viên?'", Singh kể lại.
Hệ thống tự động cho phép cập nhật nội dung nhanh hơn, do đó làm tăng số lần nhấp vào liên kết, đồng thời làm tăng nhu cầu về các bài viết mới.
"Cuối cùng", vị giám đốc điều hành cho biết, "chúng tôi đã phải tuyển dụng thêm biên tập viên." <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Chatbot AI cần phải học cách "cầu cứu"! - Lời khuyên từ Phó chủ tịch Microsoft

Chatbot AI cần phải học cách "cầu cứu"! - Lời khuyên từ Phó chủ tịch Microsoft Từ việc mơ mộng hão huyền đến khả năng tự nhận thứ...

tháng 9 01, 2024

Cuộc Chiến Chip AI: Những Đối Thủ Đáng Gờm Của Nvidia

<h2 id="section-0">Cuộc Chiến Chip AI: Những Đối Thủ Đáng Gờm Của Nvidia</h2>
Nvidia đã ghi tên mình vào câu lạc bộ những công ty có giá trị thị trường 3 nghìn tỷ USD vào tháng 6 năm nay, vượt qua cả Apple và Microsoft. Sự tăng trưởng ngoạn mục này đến từ vị thế thống trị của Nvidia trong lĩnh vực GPU và phần cứng AI. Tuy nhiên, Nvidia không phải là công ty duy nhất sản xuất chip cho khối lượng công việc AI ngày càng tăng. Nhiều ông lớn như Intel, Google, Amazon và các công ty khác đang nỗ lực phát triển chip tùy chỉnh cho việc huấn luyện và suy luận mô hình AI. Hãy cùng điểm qua những đối thủ tiềm năng của Nvidia trong cuộc chiến phần cứng AI.
<h3 id="section-1">AMD - Kẻ Thách Thức Mạnh Mẽ</h3>
Trong lĩnh vực bộ tăng tốc AI hiệu năng cao, AMD đang cạnh tranh trực tiếp với Nvidia, cả về huấn luyện và suy luận. Mặc dù các nhà phân tích cho rằng Nvidia chiếm 70% đến 90% thị phần phần cứng AI, AMD đã bắt đầu củng cố vị thế của mình.
Vào tháng 12 năm 2023, AMD đã giới thiệu bộ tăng tốc Instinct MI300X dành cho khối lượng công việc AI và HPC (Điện toán hiệu năng cao). AMD tuyên bố rằng MI300X mang lại hiệu suất suy luận tốt hơn 1,6 lần so với Nvidia H100 và hiệu suất huấn luyện gần tương đương. 
Không chỉ vậy, MI300X còn cung cấp dung lượng bộ nhớ HBM3 (Bộ nhớ băng thông cao) lên đến 192GB, cao hơn nhiều so với 80GB của Nvidia H100. Băng thông bộ nhớ của MI300X lên đến 5,3 TBps, cũng vượt trội hơn 3,4 TBps của H100.
AMD đang thực sự tạo ra một cuộc cạnh tranh gay gắt với Nvidia. Tuy nhiên, AMD vẫn còn một chặng đường dài để khẳng định mình là đối thủ lớn của Nvidia. Chìa khóa nằm ở phần mềm. Lợi thế cạnh tranh của Nvidia là CUDA, nền tảng điện toán cho phép các nhà phát triển tương tác trực tiếp với GPU Nvidia để xử lý song song tăng tốc.
Nền tảng CUDA sở hữu một lượng lớn thư viện, SDK, bộ công cụ, trình biên dịch và công cụ gỡ lỗi, đồng thời được hỗ trợ bởi các framework học sâu phổ biến như PyTorch và TensorFlow. Hơn nữa, CUDA đã tồn tại gần hai thập kỷ, các nhà phát triển quen thuộc hơn với GPU Nvidia và cách thức hoạt động của chúng, đặc biệt trong lĩnh vực học máy. Nvidia đã tạo ra một cộng đồng lớn xung quanh CUDA với tài liệu và tài nguyên đào tạo tốt hơn.
Mặc dù vậy, AMD đang đầu tư mạnh vào nền tảng phần mềm ROCm (Radeon Open Compute), hỗ trợ PyTorch, TensorFlow và các framework mở khác. Công ty cũng đã quyết định mở mã nguồn một phần của ROCm. Tuy nhiên, các nhà phát triển đã chỉ trích ROCm vì cung cấp trải nghiệm rời rạc và thiếu tài liệu toàn diện. 
AMD cần phải thống nhất nền tảng phần mềm của mình và thu hút các nhà nghiên cứu và phát triển ML bằng cách cải thiện tài liệu và hỗ trợ ROCm. Việc các ông lớn như Microsoft, Meta, OpenAI và Databricks đang triển khai bộ tăng tốc MI300X trên ROCm là một tín hiệu đáng mừng.
<h3 id="section-2">Intel - Nỗ Lực Vươn Lên</h3>
Nhiều nhà phân tích đang loại Intel khỏi cuộc đua chip AI, nhưng Intel đã từng là một trong những công ty dẫn đầu về suy luận với các máy chủ Xeon dựa trên CPU. Gần đây, Intel đã ra mắt bộ tăng tốc AI Gaudi 3, một chip ASIC (Mạch tích hợp dành riêng cho ứng dụng) không dựa trên thiết kế CPU hoặc GPU truyền thống. Nó cung cấp cả khả năng huấn luyện và suy luận cho khối lượng công việc AI tạo sinh.
Intel tuyên bố rằng Gaudi 3 nhanh hơn 1,5 lần so với Nvidia H100 về cả huấn luyện và suy luận. Tensor Processor Cores (TPC) và MME Engines của nó được chuyên biệt hóa cho các phép toán ma trận, cần thiết cho khối lượng công việc học sâu.
Về phần mềm, Intel đang đi theo hướng mã nguồn mở với OpenVINO và bộ phần mềm riêng của mình. Bộ phần mềm Gaudi tích hợp các framework, công cụ, trình điều khiển và thư viện, hỗ trợ các framework mở như PyTorch và TensorFlow. Về CUDA của Nvidia, Giám đốc điều hành Intel, Pat Gelsinger, gần đây đã tuyên bố:
<blockquote>
 "Bạn biết đấy, toàn bộ ngành công nghiệp đều muốn loại bỏ thị trường CUDA. Chúng tôi cho rằng con hào CUDA nông và nhỏ."
</blockquote>
Intel cùng với Google, Arm, Qualcomm, Samsung và các công ty khác đã thành lập một nhóm có tên là Unified Acceleration Foundation (UXL). Nhóm này đặt mục tiêu tạo ra một nền tảng mã nguồn mở thay thế cho nền tảng phần mềm CUDA độc quyền của Nvidia. Nhiệm vụ là tạo ra một nền tảng độc lập với silicon để huấn luyện và chạy mô hình trên bất kỳ chip nào. Điều này sẽ ngăn các nhà phát triển bị khóa vào nền tảng CUDA của Nvidia.
Tương lai sẽ ra sao, chỉ có thời gian mới trả lời được. Nhưng nỗ lực của Intel nhằm lật đổ CUDA đã bắt đầu.
<h3 id="section-3">Google - Gã Khổng Lồ Tự Cung Tự Cấp</h3>
Nếu có một gã khổng lồ AI không phụ thuộc vào Nvidia, đó chính là Google. Google đã phát triển TPU (Tensor Processing Unit) nội bộ của riêng mình từ năm 2015 dựa trên thiết kế ASIC. TPU v5p mạnh mẽ của Google nhanh hơn 2,8 lần so với Nvidia H100 trong việc huấn luyện mô hình AI và có hiệu suất suy luận cao. Và Trillium TPU thế hệ thứ sáu thậm chí còn mạnh mẽ hơn. Google sử dụng TPU cho huấn luyện, tinh chỉnh và suy luận.
Tại sự kiện Google Cloud Next 2024, Patrick Moorhead, Người sáng lập và Giám đốc điều hành của Moor Insights & Strategy, đã nhận được xác nhận từ Google rằng mô hình Gemini của họ đã được huấn luyện hoàn toàn trên TPU. Google cung cấp TPU thông qua Google Cloud cho nhiều loại khối lượng công việc AI. Trên thực tế, các mô hình AI của Apple đã được huấn luyện trên TPU của Google. Theo nghĩa đó, Google là một đối thủ thực sự của Nvidia, và với chip tùy chỉnh của mình, Google đánh bại các nhà sản xuất chip khác cả về huấn luyện và suy luận.
Không giống như Microsoft, Google không quá phụ thuộc vào Nvidia. Gần đây, Google đã giới thiệu bộ xử lý Axion dựa trên Arm. Nó mang lại hiệu quả vượt trội cho trung tâm dữ liệu và có thể xử lý huấn luyện và suy luận AI dựa trên CPU.
Cuối cùng, về hỗ trợ phần mềm, Google cũng chiếm ưu thế. Google hỗ trợ các framework như JAX, Keras, PyTorch và TensorFlow ngay lập tức.
<h3 id="section-4">Amazon - Tham Vọng Trên Mây</h3>
Amazon điều hành AWS (Amazon Web Services), cung cấp nền tảng điện toán đám mây cho các doanh nghiệp. Để phục vụ các công ty cho khối lượng công việc AI, Amazon đã phát triển hai chip ASIC tùy chỉnh cho huấn luyện và suy luận. AWS Trainium có thể xử lý huấn luyện học sâu cho các mô hình lên đến 100 tỷ tham số. Và AWS Inferentia được sử dụng cho suy luận AI.
Mục tiêu của chip tùy chỉnh AWS là cung cấp chi phí thấp và hiệu suất cao. Amazon đang nỗ lực mở rộng quy mô nội bộ để khẳng định vị thế trong lĩnh vực phần cứng AI. Công ty cũng có AWS Neuron SDK riêng của mình, tích hợp các framework phổ biến như PyTorch và TensorFlow.
<h3 id="section-5">Microsoft - Nỗ Lực Giảm Sự Phụ Thuộc</h3>
Tương tự như Google, Microsoft cũng đang đẩy mạnh nỗ lực phát triển chip tùy chỉnh trong nội bộ công ty. Vào tháng 11 năm 2023, Microsoft đã giới thiệu chip MAIA 100 dành cho khối lượng công việc AI và Cobalt 100 (CPU dựa trên Arm) cho cơ sở hạ tầng đám mây Azure của mình. Gã khổng lồ Redmond đang cố gắng tránh sự phụ thuộc quá mức vào Nvidia cho nhu cầu điện toán AI của mình.
Chip MAIA 100 được phát triển trên thiết kế ASIC, được sử dụng riêng cho suy luận và huấn luyện AI. Theo báo cáo, chip MAIA 100 hiện đang được thử nghiệm cho suy luận GPT-3.5 Turbo. Microsoft có quan hệ đối tác sâu rộng với Nvidia và AMD cho nhu cầu cơ sở hạ tầng đám mây của mình. 
Chúng ta chưa biết mối quan hệ này sẽ diễn biến như thế nào khi Microsoft và các công ty khác bắt đầu triển khai chip tùy chỉnh của họ một cách rộng rãi.
<h3 id="section-6">Qualcomm - Tập Trung Vào Hiệu Quả Năng Lượng</h3>
Qualcomm đã phát hành bộ tăng tốc Cloud AI 100 vào năm 2020 cho suy luận AI, nhưng nó đã không thành công như mong đợi. Công ty đã làm mới nó với Cloud AI 100 Ultra vào tháng 11 năm 2023. Qualcomm tuyên bố rằng Cloud AI 100 Ultra được chế tạo tùy chỉnh (ASIC) cho các ứng dụng AI tạo sinh. Nó có thể xử lý mô hình 100 tỷ tham số trên một card duy nhất với TDP chỉ 150W.
Qualcomm đã phát triển bộ AI stack và SDK AI đám mây của riêng mình. Công ty chủ yếu quan tâm đến suy luận hơn là huấn luyện. Lời hứa của Qualcomm Cloud AI 100 Ultra là hiệu quả năng lượng vượt trội. Nó cung cấp lên đến 870 TOPS trong khi thực hiện các phép toán INT8.
Hewlett Packard Enterprise (HPE) đang sử dụng Qualcomm Cloud AI 100 Ultra để cung cấp năng lượng cho khối lượng công việc AI tạo sinh trên các máy chủ của mình. Qualcomm cũng đã hợp tác với Cerebras để cung cấp huấn luyện và suy luận mô hình đầu cuối trên một nền tảng duy nhất.
<h3 id="section-7">Cerebras - Khởi Nghiệp Tham Vọng</h3>
Ngoài các ông lớn, Cerebras là một công ty khởi nghiệp đang nghiên cứu huấn luyện các hệ thống AI quy mô lớn. Wafer-Scale Engine 3 (WSE-3) của họ thực sự là một bộ xử lý quy mô wafer lớn có thể xử lý các mô hình lên đến 24 nghìn tỷ tham số, gấp 10 lần kích thước của GPT-4. 
Nó có 4 nghìn tỷ bóng bán dẫn đáng kinh ngạc vì nó là một con chip khổng lồ sử dụng gần như toàn bộ wafer. Không cần kết nối nhiều chip và bộ nhớ. Nó cũng giúp giảm điện năng vì dữ liệu di chuyển ít hơn giữa các thành phần khác nhau. Nó đánh bại GPU Blackwell tiên tiến nhất của Nvidia về petaflop trên mỗi watt.
Chip Cerebras WSE-3 nhắm mục tiêu vào các tập đoàn lớn muốn xây dựng các hệ thống AI lớn và mạnh mẽ bằng cách loại bỏ điện toán phân tán. Cerebras đã có được các khách hàng như AstraZeneca, GSK, The Mayo Clinic và các tổ chức tài chính lớn của Hoa Kỳ.
Hơn nữa, công ty gần đây đã ra mắt API cho Cerebras Inference, cung cấp hiệu suất vượt trội trên các mô hình Llama 3.1 8B và 70B.
<h3 id="section-8">Groq - Hiệu Năng Suy Luận Ấn Tượng</h3>
Groq đã gây bão trong ngành AI vào đầu năm nay với bộ tăng tốc LPU (Language Processing Unit) của mình. Nó tạo ra 300 đến 400 token mỗi giây khi chạy mô hình Llama 3 70B. Sau Cerebras, đây là giải pháp suy luận AI nhanh thứ hai mà các nhà phát triển có thể sử dụng trong các ứng dụng và dịch vụ sản xuất của họ.
Groq là một chip ASIC, được chế tạo riêng cho các ứng dụng AI tạo sinh bởi các kỹ sư TPU cũ của Google. Nó mở khóa tính song song ở quy mô lớn. Và về chi phí, chạy mô hình AI trên LPU của Groq rẻ hơn so với GPU Nvidia. Đối với các mô hình tương đối nhỏ hơn, LPU của Groq hoạt động tốt. Chúng ta cần xem nó hoạt động như thế nào khi chạy các mô hình 500B+ hoặc quy mô nghìn tỷ.
<h3 id="section-9">Kết Luận</h3>
Trên đây là những nhà sản xuất chip cạnh tranh với Nvidia trong lĩnh vực phần cứng AI. SambaNova cũng đang cung cấp dịch vụ huấn luyện, nhưng chúng ta chưa thấy bất kỳ điểm chuẩn định lượng nào của bộ tăng tốc AI để đưa ra đánh giá. Ngoài ra, Tenstorrent hiện đang chuyển sang cấp phép IP dựa trên RISC-V cho các thiết kế chip của mình.
Nhìn chung, ngành công nghiệp AI đang hướng tới chip tùy chỉnh và phát triển bộ tăng tốc AI nội bộ được chế tạo riêng. Mặc dù đối với huấn luyện, Nvidia vẫn là lựa chọn ưa thích do CUDA được áp dụng rộng rãi, nhưng trong những năm tới, xu hướng này có thể thay đổi khi các bộ tăng tốc chuyên dụng hơn trưởng thành. Đối với suy luận, đã có nhiều giải pháp vượt trội hơn Nvidia vào lúc này.
Cảnh quan AI về mặt phần mềm đang thay đổi nhanh chóng. Giờ là lúc để bộ tăng tốc AI đánh dấu một bước chuyển đổi mô hình. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Cuộc Chiến Chip AI: Những Đối Thủ Đáng Gờm Của Nvidia

Cuộc Chiến Chip AI: Những Đối Thủ Đáng Gờm Của Nvidia Nvidia đã ghi tên mình vào câu lạc bộ những công ty có giá trị thị trường 3 nghìn tỷ ...

tháng 9 01, 2024

Google Gemini: Hành trình khắc phục lỗi "Woke" trong tạo ảnh AI

<h2 id="section-0">Google Gemini: Hành trình khắc phục lỗi "Woke" trong tạo ảnh AI</h2>
Google vừa công bố bản cập nhật mới cho chatbot AI Gemini, cho phép người dùng tạo ảnh AI của con người sau nhiều tháng gây tranh cãi và phải thay đổi mô hình Gemini hoàn toàn. Trước đó, tính năng này đã bị gỡ bỏ do chatbot tạo ra những hình ảnh lịch sử thiếu chính xác, bị chỉ trích là mang tính "Woke".
Sự cố "Nazi đa văn hóa" và nỗ lực khắc phục
Nguyên nhân trực tiếp dẫn đến việc Google gỡ bỏ tính năng này là do AI đã tạo ra những hình ảnh "Nazi đa văn hóa", gây phản ứng dữ dội từ cộng đồng người dùng.
Trong thông cáo báo chí mới nhất, Google cho biết tính năng tạo ảnh AI của con người sẽ được triển khai cho người dùng Gemini Advanced, Business và Enterprise sử dụng tiếng Anh.
Imagen 3: Nền tảng mới cho tạo ảnh AI của Gemini
Hình ảnh do Gemini AI tạo ra sẽ được hỗ trợ bởi Imagen 3, mô hình AI mà Google đã giới thiệu thông qua AI Test Kitchen vào đầu tháng 8. Bản cập nhật này cho phép Gemini tạo ra những bức tranh phong cảnh chân thực như ảnh chụp và tranh vẽ kết cấu, đồng thời sẽ sớm hỗ trợ tất cả các ngôn ngữ.
Google cũng khẳng định Imagen 3 được trang bị các biện pháp bảo vệ và hoạt động hiệu quả hơn so với các mô hình tạo ảnh khác.
Google nghiêm túc xử lý vấn đề tạo ảnh AI
Vấn đề tạo ảnh AI gây tranh cãi trong thời gian gần đây, điển hình là chatbot Grok của X đã tạo ra những kết quả bất ngờ vào đầu tháng.
Nhận thức được tính nhạy cảm của vấn đề, Google đã áp dụng các biện pháp nghiêm ngặt để kiểm soát việc tạo ảnh AI. Gemini sẽ không cho phép người dùng tạo ảnh chân thực của nhân vật của công chúng, trẻ vị thành niên, cảnh máu me, bạo lực hoặc khiêu dâm.
Tuy nhiên, vẫn còn phải xem liệu người dùng có thể tìm ra cách để "bẻ khóa" các biện pháp bảo vệ này hay không.
Từ "Woke" đến lịch sử thiếu chính xác
Vào tháng 2/2024, Gemini đã vấp phải làn sóng chỉ trích vì bị cho là mang tính "Woke" và thiếu chính xác về mặt lịch sử. AI đã tạo ra những hình ảnh mô tả các vị cha đẻ của Hoa Kỳ với một người da đen, cũng như các Giáo hoàng Công giáo là phụ nữ.
Ian Miles Cheong, một người dùng X nổi tiếng với quan điểm cực hữu, đã chia sẻ một ví dụ điển hình trên tài khoản X của mình.
Lời xin lỗi và cam kết của Google
Sự cố nghiêm trọng nhất xảy ra khi AI tạo ra hình ảnh mô tả lính Nazi là một người da đen và một phụ nữ châu Á. Google đã phải đưa ra lời xin lỗi chính thức qua bài đăng trên blog với tiêu đề "Gemini tạo ảnh sai. Chúng tôi sẽ làm tốt hơn", do Phó chủ tịch cấp cao Prabhakar Raghavan viết.
Trong bài đăng, Raghavan thừa nhận sai lầm và giải thích chi tiết nguyên nhân. Ông cho biết AI nên tạo ra hình ảnh theo yêu cầu cụ thể của người dùng, ví dụ như yêu cầu tạo ảnh người thuộc một sắc tộc cụ thể. Tuy nhiên, điều này đã không xảy ra.
Raghavan giải thích: "Vậy điều gì đã xảy ra? Nói một cách ngắn gọn, có hai điều. Thứ nhất, việc điều chỉnh của chúng tôi để đảm bảo Gemini hiển thị nhiều người khác nhau đã không tính đến những trường hợp rõ ràng là không nên hiển thị nhiều người khác nhau. Thứ hai, theo thời gian, mô hình trở nên thận trọng hơn so với dự định của chúng tôi và từ chối trả lời hoàn toàn một số yêu cầu nhất định – hiểu sai một số yêu cầu rất ẩn danh là nhạy cảm."
Google khẳng định đã khắc phục được sự cố và tự tin vào khả năng hoạt động của AI cũng như khả năng đáp ứng tiêu chuẩn của các đối thủ cạnh tranh như DALL-E, Midjourney và Grok.
Kết luận
Google Gemini đang trên hành trình khắc phục lỗi và nâng cao hiệu quả hoạt động. Liệu những nỗ lực của Google có đủ để lấy lại niềm tin của người dùng và khẳng định vị thế của mình trong lĩnh vực tạo ảnh AI? Câu trả lời sẽ nằm ở những bản cập nhật tiếp theo của Gemini. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg">

Google Gemini: Hành trình khắc phục lỗi "Woke" trong tạo ảnh AI

Google Gemini: Hành trình khắc phục lỗi "Woke" trong tạo ảnh AI Google vừa công bố bản cập nhật mới cho chatbot AI Gemini, cho ph...

tháng 9 01, 2024

Google Gemini: Làn sóng tính năng AI mới đổ bộ lên Android và hơn thế nữa

<h2 id="section-0">Google Gemini: Làn sóng tính năng AI mới đổ bộ lên Android và hơn thế nữa</h2>
Google đang tích cực triển khai Gemini, mô hình AI mạnh mẽ của mình, trên nhiều nền tảng và dịch vụ khác nhau, mang đến những trải nghiệm mới mẻ và tiện lợi cho người dùng. Dưới đây là tổng hợp những cập nhật đáng chú ý về Gemini trong thời gian gần đây:
Gemini trên Gmail cho Android: Tính năng Hỏi & Đáp (Q&A) được hỗ trợ bởi Gemini đã chính thức ra mắt trên Gmail dành cho Android. Người dùng giờ đây có thể trò chuyện trực tiếp với Gemini ngay trong ứng dụng Gmail để nhận được câu trả lời nhanh chóng và thông minh cho các câu hỏi liên quan đến nội dung email.
Mở rộng Gemini trên Google Keep và Google Tasks: Người dùng Google Pixel 9 series sẽ được trải nghiệm Gemini trên Google Keep và Google Tasks. Việc tích hợp AI sẽ giúp người dùng tổ chức ghi chú, quản lý nhiệm vụ hiệu quả hơn thông qua các gợi ý thông minh và tính năng tự động hóa.
Gemini Agent Gems và Imagen 3: Google đang tung ra Gemini Agent Gems, trợ lý AI cá nhân hóa, cùng với khả năng tạo ảnh AI từ Imagen 3. Gems sẽ đóng vai trò như một người bạn đồng hành ảo, hỗ trợ người dùng trong nhiều tác vụ khác nhau. Imagen 3 cho phép người dùng tạo ra những hình ảnh chất lượng cao chỉ bằng mô tả văn bản.
"Ask About This Screen" trên Youtube: Tính năng "Ask About This Screen" và tóm tắt video Youtube dựa trên Gemini cũng đang được triển khai. Người dùng có thể tương tác với Gemini để tìm hiểu thêm về nội dung hiển thị trên màn hình hoặc nhận được tóm tắt nhanh chóng về nội dung video.
"Take notes for me" trên Google Meet: Google Meet được bổ sung tính năng "Take notes for me", cho phép AI tự động ghi chú trong cuộc họp. Tính năng này đặc biệt hữu ích cho người dùng Workspace, giúp tiết kiệm thời gian và tập trung hơn vào nội dung cuộc họp.
Noam Shazeer gia nhập Google: Google đã bổ nhiệm Noam Shazeer, cựu lãnh đạo của Character.AI, làm đồng lãnh đạo nhóm phát triển mô hình AI. Việc chiêu mộ nhân tài này cho thấy tham vọng của Google trong việc đẩy mạnh phát triển AI và cạnh tranh với các đối thủ khác.
Những cập nhật trên cho thấy Google đang quyết tâm đưa Gemini trở thành trung tâm trong hệ sinh thái của mình. Việc tích hợp AI vào nhiều sản phẩm và dịch vụ khác nhau sẽ mang lại những lợi ích đáng kể cho người dùng, từ việc tăng năng suất làm việc đến việc trải nghiệm giải trí phong phú hơn. <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Google Gemini: Làn sóng tính năng AI mới đổ bộ lên Android và hơn thế nữa

Google Gemini: Làn sóng tính năng AI mới đổ bộ lên Android và hơn thế nữa Google đang tích cực triển khai Gemini, mô hình AI mạnh mẽ của mì...

tháng 9 01, 2024

Gemini AI: Nâng cấp khả năng tải lên nhiều loại tài liệu

<h2 id="section-0">Gemini AI: Nâng cấp khả năng tải lên nhiều loại tài liệu</h2>
Google Workspace vừa công bố bản cập nhật đáng chú ý cho nền tảng Gemini AI, cho phép người dùng tải lên nhiều loại tài liệu hơn, hứa hẹn nâng cao năng suất làm việc cho người dùng văn phòng.
Theo thông báo mới nhất từ Google Workspace, nền tảng trí tuệ nhân tạo Gemini AI sẽ hỗ trợ nhiều định dạng tài liệu hơn, bao gồm:
<ul>
<li>Tệp văn bản: TXT, DOC, DOCX, PDF, RTF, DOT, DOTX, HWP, HWPX.</li>
<li>Tệp dữ liệu: XLS, XLSX, CSV, TSV.</li>
<li>Định dạng Google: Google Docs, Google Sheets.</li></ul>
Bản cập nhật này hiện dành cho người dùng trả phí với giấy phép Gemini Business, Enterprise, Education hoặc Education Premium. Google chưa tiết lộ liệu phiên bản Gemini miễn phí có được hỗ trợ tính năng này trong tương lai hay không.
Mở rộng khả năng tương tác với AI
Việc tải lên tài liệu hỗ trợ cho các yêu cầu (prompt) sẽ cung cấp thêm ngữ cảnh cho chatbot AI, từ đó đưa ra câu trả lời được cá nhân hóa hơn. Mặc dù đối thủ chính của Gemini là ChatGPT đã hỗ trợ nhiều định dạng tệp tải lên, Gemini hiện chỉ cho phép người dùng miễn phí tải lên hình ảnh.
Đối với các tệp được tải lên trực tiếp từ Google Drive, người dùng phải là chủ sở hữu hoặc có quyền truy cập phù hợp để sử dụng chúng trong Gemini.
Quản trị viên CNTT cần bật hỗ trợ tích hợp Google Drive bằng cách bật tiện ích mở rộng Workspace trong cài đặt Gemini. Tuy nhiên, tính năng tải lên tệp cục bộ sẽ được hỗ trợ mặc định cho các tài khoản đủ điều kiện.
Lưu ý, mỗi tệp phải có dung lượng dưới 100MB và người dùng chỉ được tải lên tối đa 10 tệp trong một yêu cầu.
Triển khai rộng rãi và lợi ích của tài khoản trả phí
Việc triển khai bản cập nhật bắt đầu từ ngày 27 tháng 8, và hiện tại, tất cả các tài khoản đủ điều kiện đều có thể sử dụng tính năng hữu ích này.
Ngoài ra, khi trả phí cho các gói Gemini nâng cao như Gemini Business, nhân viên sẽ được trải nghiệm các tính năng AI tạo sinh của Google trên nhiều giao diện hơn, bao gồm cả trong các ứng dụng Workspace cốt lõi như Gmail, Docs, Slides, Sheets và Meet. Các gói trả phí cũng mở khóa quyền truy cập vào các mô hình AI tiên tiến hơn, trong khi phiên bản miễn phí dành cho người tiêu dùng bị giới hạn ở mô hình 1.5 Flash.
Kết luận:
Việc Gemini AI hỗ trợ thêm nhiều loại tài liệu tải lên là một bước tiến quan trọng, giúp nâng cao khả năng tương tác và cá nhân hóa trải nghiệm người dùng. Điều này hứa hẹn sẽ mang lại nhiều lợi ích cho người dùng văn phòng, đặc biệt là những người đang tìm kiếm giải pháp nâng cao năng suất làm việc thông qua AI.<ul>
</ul> <img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Gemini AI: Nâng cấp khả năng tải lên nhiều loại tài liệu

Gemini AI: Nâng cấp khả năng tải lên nhiều loại tài liệu Google Workspace vừa công bố bản cập nhật đáng chú ý cho nền tảng Gemini AI, cho p...

tháng 9 01, 2024

Kỹ thuật Prompt Engineering với Meta Llama 3 cho các trường hợp sử dụng Text-to-SQL trên AWS

<h2 id="section-0">Kỹ thuật Prompt Engineering với Meta Llama 3 cho các trường hợp sử dụng Text-to-SQL trên AWS</h2>
Giới thiệu
Sự phát triển nhanh chóng của trí tuệ nhân tạo (AI) tạo sinh đã thúc đẩy nhiều khách hàng AWS tìm kiếm cách tận dụng các mô hình nền tảng (FM) và công nghệ có sẵn công khai. Điều này bao gồm Meta Llama 3, mô hình ngôn ngữ lớn (LLM) có sẵn công khai của Meta. Sự hợp tác giữa Meta và Amazon thể hiện sự đổi mới tập thể trong lĩnh vực AI tạo sinh, và cả hai đang cùng nhau nỗ lực để mở rộng ranh giới của những gì có thể.
Bài viết này cung cấp cái nhìn tổng quan về các mô hình Meta Llama 3 có sẵn trên AWS tại thời điểm viết bài, đồng thời chia sẻ các phương pháp hay nhất về phát triển các trường hợp sử dụng Text-to-SQL bằng cách sử dụng mô hình Meta Llama 3. Tất cả mã được sử dụng trong bài viết này đều có sẵn công khai trong kho lưu trữ Github kèm theo.
Meta Llama 3: Nền tảng
Meta Llama 3, kế thừa Meta Llama 2, vẫn duy trì dung lượng 70 tỷ tham số nhưng đạt được hiệu suất vượt trội nhờ các kỹ thuật huấn luyện nâng cao thay vì chỉ đơn thuần tăng kích thước mô hình. Cách tiếp cận này nhấn mạnh chiến lược của Meta trong việc tối ưu hóa việc sử dụng dữ liệu và phương pháp luận để thúc đẩy khả năng AI. Bản phát hành bao gồm các mô hình mới dựa trên kiến trúc của Meta Llama 2, có sẵn ở các biến thể 8 tỷ và 70 tỷ tham số, mỗi biến thể cung cấp phiên bản cơ bản và phiên bản hướng dẫn. Sự phân khúc này cho phép Meta cung cấp các giải pháp linh hoạt phù hợp với các nhu cầu ứng dụng và phần cứng khác nhau.
Một nâng cấp đáng kể trong Meta Llama 3 là việc áp dụng bộ mã hóa với từ vựng 128.256 token, nâng cao hiệu quả mã hóa văn bản cho các tác vụ đa ngôn ngữ. Mô hình 8 tỷ tham số tích hợp grouped-query attention (GQA) để cải thiện việc xử lý các chuỗi dữ liệu dài hơn, nâng cao hiệu suất ứng dụng trong thế giới thực. Quá trình huấn luyện liên quan đến bộ dữ liệu hơn 15 nghìn tỷ token trên hai cụm GPU, nhiều hơn đáng kể so với Meta Llama 2. Meta Llama 3 Instruct, được tối ưu hóa cho các ứng dụng hội thoại, đã trải qua quá trình tinh chỉnh với hơn 10 triệu mẫu được chú thích thủ công bằng cách sử dụng các kỹ thuật tiên tiến như proximal policy optimization và supervised fine-tuning. Các mô hình Meta Llama 3 được cấp phép cho phép phân phối lại, tinh chỉnh và tạo tác phẩm phái sinh, giờ đây yêu cầu ghi công rõ ràng. Bản cập nhật cấp phép này phản ánh cam kết của Meta trong việc thúc đẩy sự đổi mới và hợp tác trong phát triển AI với tính minh bạch và trách nhiệm giải trình.
Phương pháp hay nhất về Prompt Engineering cho Meta Llama 3
Dưới đây là các phương pháp hay nhất về prompt engineering cho Meta Llama 3:
<ul>
<li>Sử dụng mô hình cơ bản: Mô hình cơ bản cung cấp:<ul>
<li>Tính linh hoạt không cần prompt: Các mô hình cơ bản trong Meta Llama 3 vượt trội trong việc tiếp tục chuỗi và xử lý các tác vụ zero-shot hoặc few-shot mà không yêu cầu định dạng prompt cụ thể. Chúng đóng vai trò là công cụ linh hoạt phù hợp với nhiều ứng dụng và cung cấp nền tảng vững chắc cho việc tinh chỉnh thêm.</li></ul></li>
<li>Phiên bản hướng dẫn: Phiên bản hướng dẫn cung cấp:<ul>
<li>Hội thoại có cấu trúc: Phiên bản hướng dẫn của Meta Llama 3 sử dụng định dạng prompt có cấu trúc được thiết kế cho các hệ thống hội thoại. Định dạng này duy trì các tương tác mạch lạc bằng cách hướng dẫn phản hồi của hệ thống dựa trên đầu vào của người dùng và các prompt được xác định trước.</li></ul></li>
<li>Phân tích cú pháp Text-to-SQL: Đối với các tác vụ như phân tích cú pháp Text-to-SQL, lưu ý những điều sau:<ul>
<li>Thiết kế prompt hiệu quả: Các kỹ sư nên thiết kế các prompt phản ánh chính xác các truy vấn của người dùng để chuyển đổi nhu cầu SQL. Khả năng của Meta Llama 3 nâng cao độ chính xác và hiệu quả trong việc hiểu và tạo các truy vấn SQL từ đầu vào ngôn ngữ tự nhiên.</li></ul></li>
<li>Phương pháp hay nhất về phát triển: Ghi nhớ những điều sau:<ul>
<li>Tinh chỉnh lặp lại: Việc tinh chỉnh liên tục các cấu trúc prompt dựa trên dữ liệu thực tế cải thiện hiệu suất mô hình và tính nhất quán trên các ứng dụng khác nhau.</li>
<li>Xác thực và kiểm tra: Việc kiểm tra và xác thực kỹ lưỡng đảm bảo rằng các mô hình được thiết kế prompt hoạt động đáng tin cậy và chính xác trong các tình huống đa dạng, nâng cao hiệu quả ứng dụng tổng thể.</li></ul></li>
</ul>
Bằng cách triển khai các phương pháp này, các kỹ sư có thể tối ưu hóa việc sử dụng các mô hình Meta Llama 3 cho các tác vụ khác nhau, từ suy luận chung đến các ứng dụng xử lý ngôn ngữ tự nhiên (NLP) chuyên biệt như phân tích cú pháp Text-to-SQL, sử dụng hiệu quả các khả năng của mô hình.
Tổng quan giải pháp
Nhu cầu sử dụng LLM để cải thiện truy vấn Text-to-SQL ngày càng trở nên quan trọng vì nó cho phép người dùng không chuyên về kỹ thuật truy cập và truy vấn cơ sở dữ liệu bằng ngôn ngữ tự nhiên. Điều này dân chủ hóa quyền truy cập vào AI tạo sinh và cải thiện hiệu quả trong việc viết các truy vấn phức tạp mà không cần phải học SQL hoặc hiểu các lược đồ cơ sở dữ liệu phức tạp. Ví dụ: nếu bạn là khách hàng tài chính và bạn có cơ sở dữ liệu MySQL về dữ liệu khách hàng trải dài trên nhiều bảng, bạn có thể sử dụng mô hình Meta Llama 3 để xây dựng truy vấn SQL từ ngôn ngữ tự nhiên. Các trường hợp sử dụng bổ sung bao gồm:
<ul>
<li>Cải thiện độ chính xác: LLM có thể tạo truy vấn SQL nắm bắt chính xác hơn ý định đằng sau các truy vấn ngôn ngữ tự nhiên, nhờ khả năng hiểu ngôn ngữ tiên tiến của chúng. Điều này làm giảm nhu cầu diễn đạt lại hoặc tinh chỉnh truy vấn của bạn.</li>
<li>Xử lý độ phức tạp: LLM có thể xử lý các truy vấn phức tạp liên quan đến nhiều bảng (điều mà chúng tôi trình bày trong bài viết này), các phép nối, bộ lọc và phép gộp, điều này sẽ là thách thức đối với các hệ thống Text-to-SQL dựa trên quy tắc hoặc truyền thống. Điều này mở rộng phạm vi truy vấn có thể được xử lý bằng ngôn ngữ tự nhiên.</li>
<li>Kết hợp ngữ cảnh: LLM có thể sử dụng thông tin ngữ cảnh như lược đồ cơ sở dữ liệu, mô tả bảng và mối quan hệ để tạo truy vấn SQL chính xác và phù hợp hơn. Điều này giúp thu hẹp khoảng cách giữa ngôn ngữ tự nhiên mơ hồ và cú pháp SQL chính xác.</li>
<li>Khả năng mở rộng: Sau khi được huấn luyện, LLM có thể khái quát hóa sang các cơ sở dữ liệu và lược đồ mới mà không cần huấn luyện lại hoặc viết quy tắc mở rộng, giúp chúng có khả năng mở rộng hơn so với các phương pháp truyền thống.</li>
</ul>
Đối với giải pháp, chúng tôi làm theo mô hình Retrieval Augmented Generation (RAG) để tạo SQL từ truy vấn ngôn ngữ tự nhiên bằng cách sử dụng mô hình Meta Llama 3 70B trên Amazon SageMaker JumpStart, một trung tâm cung cấp quyền truy cập vào các mô hình và giải pháp được đào tạo trước. SageMaker JumpStart cung cấp một cách liền mạch và dễ dàng để triển khai và thử nghiệm với các LLM tiên tiến nhất như Meta Llama 3, mà không cần thiết lập cơ sở hạ tầng phức tạp hoặc mã triển khai. Chỉ với một vài cú nhấp chuột, bạn có thể có các mô hình Meta Llama 3 hoạt động trong môi trường AWS an toàn dưới sự kiểm soát đám mây ảo riêng (VPC) của bạn, duy trì bảo mật dữ liệu. SageMaker JumpStart cung cấp quyền truy cập vào một loạt các kích thước mô hình Meta Llama 3 (8B và 70B tham số). Tính linh hoạt này cho phép bạn chọn kích thước mô hình phù hợp dựa trên các yêu cầu cụ thể của bạn. Bạn cũng có thể huấn luyện và tinh chỉnh gia tăng các mô hình này trước khi triển khai.
Giải pháp cũng bao gồm một mô hình nhúng được lưu trữ trên SageMaker JumpStart và các cơ sở dữ liệu vectơ có sẵn công khai như ChromaDB để lưu trữ các nhúng.
ChromaDB và các công cụ vectơ khác
Trong lĩnh vực ứng dụng Text-to-SQL, ChromaDB là một cơ sở dữ liệu vectơ nhúng mạnh mẽ, có sẵn công khai, được thiết kế để sắp xếp hợp lý việc lưu trữ, truy xuất và thao tác dữ liệu vectơ có chiều cao. Tích hợp liền mạch với quy trình làm việc của học máy (ML) và NLP, ChromaDB cung cấp giải pháp mạnh mẽ cho các ứng dụng như tìm kiếm ngữ nghĩa, hệ thống đề xuất và phân tích dựa trên sự tương đồng. ChromaDB cung cấp một số tính năng đáng chú ý:
<ul>
<li>Lưu trữ vectơ hiệu quả: ChromaDB sử dụng các kỹ thuật lập chỉ mục tiên tiến để lưu trữ và truy xuất hiệu quả dữ liệu vectơ có chiều cao, cho phép tìm kiếm sự tương đồng nhanh chóng và truy vấn láng giềng gần nhất.</li>
<li>Mô hình hóa dữ liệu linh hoạt: Bạn có thể xác định các bộ sưu tập tùy chỉnh và lược đồ siêu dữ liệu phù hợp với các trường hợp sử dụng cụ thể của bạn, cho phép mô hình hóa dữ liệu linh hoạt.</li>
<li>Tích hợp liền mạch: ChromaDB có thể được nhúng liền mạch vào các ứng dụng và quy trình làm việc hiện có, cung cấp giải pháp nhẹ và hiệu quả cho quản lý dữ liệu vectơ.</li>
</ul>
Tại sao nên chọn ChromaDB cho các trường hợp sử dụng Text-to-SQL?
<ul>
<li>Lưu trữ vectơ hiệu quả cho nhúng văn bản: Việc lưu trữ và truy xuất hiệu quả các nhúng vectơ có chiều cao của ChromaDB là rất quan trọng đối với các tác vụ Text-to-SQL. Nó cho phép tìm kiếm sự tương đồng nhanh chóng và truy vấn láng giềng gần nhất trên các nhúng văn bản, tạo điều kiện cho việc ánh xạ chính xác các truy vấn ngôn ngữ tự nhiên với các câu lệnh SQL.</li>
<li>Tích hợp liền mạch với LLM: ChromaDB có thể được tích hợp nhanh chóng với LLM, cho phép các kiến trúc RAG. Điều này cho phép LLM sử dụng ngữ cảnh có liên quan, chẳng hạn như chỉ cung cấp các lược đồ bảng có liên quan cần thiết để thực hiện truy vấn.</li>
<li>Tùy chỉnh và hỗ trợ cộng đồng: ChromaDB cung cấp tính linh hoạt và tùy chỉnh với một cộng đồng tích cực gồm các nhà phát triển và người dùng đóng góp vào sự phát triển của nó, cung cấp hỗ trợ và chia sẻ các phương pháp hay nhất. Điều này cung cấp một bối cảnh hợp tác và hỗ trợ cho các ứng dụng Text-to-SQL.</li>
<li>Hiệu quả về chi phí: ChromaDB loại bỏ nhu cầu về phí cấp phép đắt đỏ, khiến nó trở thành lựa chọn hiệu quả về chi phí cho các tổ chức thuộc mọi quy mô.</li>
</ul>
Bằng cách sử dụng các công cụ cơ sở dữ liệu vectơ như ChromaDB, bạn có được tính linh hoạt hơn cho các trường hợp sử dụng cụ thể của mình và có thể xây dựng các hệ thống Text-to-SQL mạnh mẽ và hiệu quả cho các ứng dụng AI tạo sinh.
Kiến trúc giải pháp
Luồng quy trình bao gồm các bước sau:
<ol>
<li>Người dùng gửi truy vấn văn bản chỉ định dữ liệu họ muốn trả về từ cơ sở dữ liệu.</li>
<li>Lược đồ cơ sở dữ liệu, cấu trúc bảng và siêu dữ liệu liên quan của chúng được xử lý thông qua mô hình nhúng được lưu trữ trên SageMaker JumpStart để tạo nhúng.</li>
<li>Các nhúng này, cùng với thông tin ngữ cảnh bổ sung về mối quan hệ bảng, được lưu trữ trong ChromaDB để cho phép tìm kiếm ngữ nghĩa, cho phép hệ thống nhanh chóng truy xuất lược đồ có liên quan và ngữ cảnh bảng khi xử lý truy vấn của người dùng.</li>
<li>Truy vấn được gửi đến ChromaDB để được chuyển đổi thành nhúng vectơ bằng cách sử dụng mô hình nhúng văn bản được lưu trữ trên SageMaker JumpStart. Các nhúng được tạo ra được sử dụng để thực hiện tìm kiếm ngữ nghĩa trên ChromaDB.</li>
<li>Theo mô hình RAG, ChromaDB xuất ra các lược đồ bảng có liên quan và ngữ cảnh bảng liên quan đến truy vấn. Chỉ ngữ cảnh có liên quan được gửi đến mô hình Meta Llama 3 70B. Prompt được tăng cường được tạo bằng cách sử dụng thông tin này từ ChromaDB cũng như truy vấn của người dùng.</li>
<li>Prompt được tăng cường được gửi đến mô hình Meta Llama 3 70B được lưu trữ trên SageMaker JumpStart để tạo truy vấn SQL.</li>
<li>Sau khi truy vấn SQL được tạo, bạn có thể chạy truy vấn SQL trên Amazon Relational Database Service (Amazon RDS) for MySQL, một dịch vụ cơ sở dữ liệu đám mây được quản lý hoàn toàn cho phép bạn nhanh chóng vận hành và mở rộng quy mô các cơ sở dữ liệu quan hệ của mình như MySQL.</li>
<li>Từ đó, đầu ra được gửi lại cho mô hình Meta Llama 3 70B được lưu trữ trên SageMaker JumpStart để cung cấp phản hồi cho người dùng.</li>
<li>Phản hồi được gửi lại cho người dùng.</li>
</ol>
Tùy thuộc vào nơi dữ liệu của bạn tồn tại, bạn có thể triển khai mô hình này với các hệ thống quản lý cơ sở dữ liệu quan hệ khác như PostgreSQL hoặc các loại cơ sở dữ liệu thay thế, tùy thuộc vào cơ sở hạ tầng dữ liệu hiện có và các yêu cầu cụ thể của bạn.
Điều kiện tiên quyết
Hoàn thành các bước tiên quyết sau:
<ol>
<li>Có tài khoản AWS.</li>
<li>Cài đặt AWS Command Line Interface (AWS CLI) và thiết lập Amazon SDK for Python (Boto3).</li>
<li>Yêu cầu quyền truy cập mô hình trên bảng điều khiển Amazon Bedrock để truy cập các mô hình Meta Llama 3.</li>
<li>Có quyền truy cập để sử dụng sổ ghi chép Jupyter (cho dù cục bộ hay trên Amazon SageMaker Studio).</li>
<li>Cài đặt các gói và phụ thuộc cho LangChain, Amazon Bedrock SDK (Boto3) và ChromaDB.</li>
</ol>
Triển khai môi trường Text-to-SQL vào tài khoản AWS của bạn
Để triển khai tài nguyên của bạn, hãy sử dụng mẫu AWS CloudFormation được cung cấp, đây là công cụ để triển khai cơ sở hạ tầng dưới dạng mã. Các Khu vực AWS được hỗ trợ là US East (Bắc Virginia) và US West (Oregon). Hoàn thành các bước sau để khởi chạy ngăn xếp:
<ol>
<li>Trên bảng điều khiển AWS CloudFormation, tạo ngăn xếp mới.</li>
<li>Đối với Nguồn mẫu, chọn Tải lên tệp mẫu, sau đó tải lên tệp yaml để triển khai môi trường Text-to-SQL.</li>
<li>Chọn Tiếp theo.</li>
<li>Đặt tên cho ngăn xếp là text2sql.</li>
<li>Giữ nguyên các cài đặt còn lại làm mặc định và chọn Gửi.</li>
</ol>
Ngăn xếp mẫu sẽ mất 10 phút để triển khai. Khi hoàn tất, trạng thái ngăn xếp sẽ hiển thị là CREATE_COMPLETE.
<ol start="6">
<li>Khi ngăn xếp hoàn tất, điều hướng đến ngăn xếp Đầu ra.</li>
<li>Chọn liên kết SagemakerNotebookURL để mở sổ ghi chép SageMaker trong một tab riêng.</li>
<li>Trong sổ ghi chép SageMaker, điều hướng đến thư mục Meta-Llama-on-AWS/blob/text2sql-blog/RAG-recipes và mở llama3-chromadb-text2sql.ipynb.</li>
<li>Nếu sổ ghi chép yêu cầu bạn đặt kernel, hãy chọn kernel condapytorchp310, sau đó chọn Đặt kernel.</li>
</ol>
Triển khai giải pháp
Bạn có thể sử dụng sổ ghi chép Jupyter sau, bao gồm tất cả các đoạn mã được cung cấp trong phần này, để xây dựng giải pháp. Trong giải pháp này, bạn có thể chọn dịch vụ nào (SageMaker Jumpstart hoặc Amazon Bedrock) để sử dụng làm dịch vụ mô hình lưu trữ bằng cách sử dụng askforservice() trong sổ ghi chép. Amazon Bedrock là một dịch vụ được quản lý hoàn toàn cung cấp lựa chọn các FM hiệu suất cao. Chúng tôi cung cấp cho bạn lựa chọn giữa các giải pháp để nhóm của bạn có thể đánh giá xem SageMaker JumpStart được ưu tiên hơn hay nhóm của bạn muốn giảm chi phí vận hành với API Amazon Bedrock thân thiện với người dùng. Bạn có thể chọn sử dụng SageMaker JumpStart để lưu trữ mô hình nhúng mà bạn chọn hoặc Amazon Bedrock để lưu trữ mô hình Amazon Titan Embeddings (amazon.titan-embed-text-v2:0).
Bây giờ sổ ghi chép đã sẵn sàng để sử dụng, hãy làm theo hướng dẫn trong sổ ghi chép. Với các bước này, bạn tạo trình kết nối RDS for MySQL, đưa bộ dữ liệu vào cơ sở dữ liệu RDS, đưa lược đồ bảng vào ChromaDB và tạo truy vấn Text-to-SQL để chạy prompt của bạn và phân tích dữ liệu nằm trong Amazon RDS.
<ol>
<li>Tạo điểm cuối SageMaker với mô hình BGE Large En v1.5 Embedding từ Hugging Face:
[Đoạn mã Python]</li>
<li>Tạo bộ sưu tập trong ChromaDB cho framework RAG:
[Đoạn mã Python]</li>
<li>Xây dựng tài liệu với lược đồ bảng và các câu hỏi mẫu để nâng cao độ chính xác của bộ truy xuất:
[Đoạn mã Python]</li>
<li>Thêm tài liệu vào ChromaDB:
[Đoạn mã Python]</li>
<li>Xây dựng prompt (finalquestion) bằng cách kết hợp đầu vào của người dùng bằng ngôn ngữ tự nhiên (userquery), siêu dữ liệu có liên quan từ kho vectơ (vectorsearchmatch) và hướng dẫn (details):
[Đoạn mã Python]</li>
<li>Gửi câu hỏi đến ChromaDB và truy xuất SQL lược đồ bảng:
[Đoạn mã Python]</li>
<li>Gọi Meta Llama 3 trên SageMaker và yêu cầu nó tạo truy vấn SQL. Hàm getllmsql_analysis sẽ chạy và chuyển kết quả truy vấn SQL đến Meta Llama 3 để cung cấp phân tích toàn diện về dữ liệu:
[Đoạn mã Python]</li>
</ol>
Mặc dù Meta Llama 3 không hỗ trợ gọi hàm nguyên bản, bạn có thể mô phỏng quy trình làm việc của tác nhân. Trong phương pháp này, truy vấn được tạo trước, sau đó chạy và kết quả được gửi lại cho Meta Llama 3 để giải thích.
Chạy truy vấn
Đối với truy vấn đầu tiên của chúng tôi, chúng tôi cung cấp đầu vào "Có bao nhiêu nhà sản xuất máy bay duy nhất được đại diện trong cơ sở dữ liệu?" Sau đây là lược đồ bảng được truy xuất từ ChromaDB:
[Đoạn mã Python]
Sau đây là truy vấn được tạo:
[Đoạn mã SQL]
Sau đây là phân tích dữ liệu được tạo từ truy vấn SQL trước đó:
[Đoạn mã Python]
Đối với truy vấn thứ hai của chúng tôi, chúng tôi hỏi "Tìm ID máy bay và nhà sản xuất cho các máy bay đã bay đến New York." Sau đây là các lược đồ bảng được truy xuất từ ChromaDB:
[Đoạn mã Python]
Sau đây là truy vấn được tạo của chúng tôi:
[Đoạn mã Python]
Sau đây là phân tích dữ liệu được tạo từ truy vấn SQL trước đó:
[Đoạn mã Python]
Dọn dẹp
Để tránh phát sinh phí sử dụng AWS tiếp tục, hãy xóa tất cả các tài nguyên bạn đã tạo như một phần của bài đăng này. Đảm bảo bạn xóa các điểm cuối SageMaker mà bạn đã tạo trong ứng dụng trước khi xóa ngăn xếp CloudFormation.
Kết luận
Trong bài đăng này, chúng tôi đã khám phá giải pháp sử dụng công cụ vectơ ChromaDB và Meta Llama 3, FM có sẵn công khai được lưu trữ trên SageMaker JumpStart, cho trường hợp sử dụng Text-to-SQL. Chúng tôi đã chia sẻ lịch sử ngắn gọn về Meta Llama 3, các phương pháp hay nhất để thiết kế prompt với các mô hình Meta Llama 3 và mô hình kiến trúc sử dụng few-shot prompting và RAG để trích xuất các lược đồ có liên quan được lưu trữ dưới dạng vectơ trong ChromaDB. Cuối cùng, chúng tôi đã cung cấp giải pháp với các mẫu mã giúp bạn linh hoạt lựa chọn SageMaker Jumpstart hoặc Amazon Bedrock để có trải nghiệm được quản lý nhiều hơn để lưu trữ Meta Llama 3 70B, Meta Llama 3 8B và các mô hình nhúng.
Việc sử dụng các FM và dịch vụ có sẵn công khai cùng với các dịch vụ của AWS giúp thúc đẩy tính linh hoạt hơn và cung cấp khả năng kiểm soát nhiều hơn đối với các công cụ đang được sử dụng. Chúng tôi khuyên bạn nên theo dõi kho lưu trữ SageMaker JumpStart GitHub để biết hướng dẫn bắt đầu và ví dụ. Mã giải pháp cũng có sẵn trong kho lưu trữ Github sau.
Chúng tôi mong nhận được phản hồi và ý tưởng của bạn về cách bạn áp dụng các phép tính này cho nhu cầu kinh doanh của mình.<img alt="Blog post image" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg" />

Kỹ thuật Prompt Engineering với Meta Llama 3 cho các trường hợp sử dụng Text-to-SQL trên AWS

Kỹ thuật Prompt Engineering với Meta Llama 3 cho các trường hợp sử dụng Text-to-SQL trên AWS Giới thiệu Sự phát triển nhanh chóng của trí ...

tháng 9 01, 2024

Chatbot AI cần phải học cách "cầu cứu"! - Lời khuyên từ Phó chủ tịch Microsoft

Cuộc Chiến Chip AI: Những Đối Thủ Đáng Gờm Của Nvidia

Google Gemini: Hành trình khắc phục lỗi "Woke" trong tạo ảnh AI

Google Gemini: Làn sóng tính năng AI mới đổ bộ lên Android và hơn thế nữa

Gemini AI: Nâng cấp khả năng tải lên nhiều loại tài liệu

Kỹ thuật Prompt Engineering với Meta Llama 3 cho các trường hợp sử dụng Text-to-SQL trên AWS

Bài đăng phổ biến

Labels