Phân tích Hệ thống Gợi ý của Claude Sonnet 3.5: Một cái nhìn sâu sắc

Mục lục

Giới thiệu về Artifacts
Suy luận Logic
Xác định và Tìm kiếm
Cấu trúc Ngôn ngữ Biểu mẫu
Kết luận
Hệ thống Claude 3.5

1. Giới thiệu về Artifacts

Bài viết này tập trung phân tích cách hệ thống gợi ý của Claude Sonnet 3.5 hoạt động, đặc biệt là khái niệm Artifacts và vai trò của nó trong việc phân loại và truy xuất thông tin thông minh.

Artifacts đại diện cho nội dung tự chứa, có giá trị, cho phép người dùng sửa đổi hoặc tái sử dụng. Khái niệm này mang tính đột phá bởi vì nó chính thức hóa khái niệm dữ liệu bền vững. Dữ liệu bền vững là bước đệm để chúng ta truy cập vào một thư viện nội dung được sắp xếp và tuyển chọn một cách có hệ thống. Bằng cách cung cấp các tham chiếu cố định, chúng ta mở khóa khả năng lặp lại và cải thiện dần đầu ra. Đây là bước tiến để kiểm soát bản chất thoáng qua của đầu ra LLM chi tiết.

Một trong những vấn đề vốn có của Generative AI đối với các tác vụ chức năng như hoàn thành mã là chúng thường lặp lại toàn bộ tệp cho những thay đổi đơn giản. Có nhu cầu rất lớn đối với một tính năng diff, nơi chúng ta đưa ra sự khác biệt giữa trước và sau thay vì lặp lại cùng một nội dung.

Do đó, Artifacts phục vụ hai mục đích chính: đầu tiên, chúng đóng vai trò là điểm tham chiếu cho cách thức và vị trí chúng ta cần đầu ra. Điều này giống như thiết lập phạm vi hoặc định nghĩa điểm tham chiếu. Điều này sẽ ngăn LLM mất tập trung vào vấn đề ban đầu và cũng duy trì tính bền vững của cấu trúc và phân loại trong đầu ra.

Thêm vào đó, chúng ta cũng có một tính năng tự động hoàn thành. Bằng cách xác định mã cơ sở và phạm vi của các thay đổi, chúng ta đã hướng LLM của mình tập trung vào một tác vụ hoặc vấn đề cụ thể, theo một cách có chủ ý và được tuyển chọn. Điều này ngăn chặn sự thay đổi bất thường trong tầm nhìn và cũng cung cấp toàn bộ công việc đang tiến hành cho lời nhắc. Bất kỳ kỹ sư nào đã vô tình xóa mã của mình bằng cách sử dụng Rest of code here đều biết ơn điều này. Chúng ta có thể thấy việc thiết lập phạm vi ở đây:

Nội dung tự chứa, phức tạp có thể được hiểu độc lập, không cần ngữ cảnh từ cuộc hội thoại

Chúng ta đang chuyển hướng tập trung từ đầu ra chi tiết không được kiểm soát sang một artifact cụ thể. Điều đáng chú ý là hướng dẫn rõ ràng để bỏ qua ngữ cảnh của cuộc hội thoại. Đây là một phương pháp đảm bảo chất lượng bằng cách tham chiếu dữ liệu được tuyển chọn. Đó là một cơ chế kiểm soát chất lượng kiểm soát các đặc điểm chi tiết và tiềm ẩn ngẫu nhiên của đầu vào.

Tất cả điều này phù hợp với kiến trúc để truy xuất. Bằng cách có một thư viện Artifacts được tuyển chọn sâu rộng, chúng ta giờ đây có thể hướng hệ thống của mình để truy xuất từ một tập dữ liệu được kiểm soát. Chúng ta biết rằng tất cả các nhà cung cấp AI lớn đang tập trung mạnh vào việc đầu tư vào dữ liệu được tuyển chọn chất lượng cao. Artifacts là một bước tiến để định hình đầu vào và đầu ra chi tiết bằng một cấu trúc.

Chúng ta có thể thấy sự tập trung thoát khỏi đầu vào và ánh xạ vào nghiên cứu được hệ thống xác định trong lời nhắc. Dưới đây là một ví dụ về một số tiêu chí loại trừ:

Nội dung phụ thuộc vào ngữ cảnh hội thoại hiện tại để hữu ích. Nội dung không thể sửa đổi hoặc lặp lại bởi người dùng. Yêu cầu từ người dùng có vẻ là câu hỏi một lần.

Lời nhắc đang chủ động tập trung vào ngữ cảnh của hệ thống và nhiệm vụ hiện tại. Lời nhắc đang cố gắng lọc ra đầu vào không liên quan đến một đầu ra rất cụ thể. Do đó, artifact đóng vai trò là điểm tham chiếu cụ thể cả trong văn bản được tạo ra và dữ liệu có cấu trúc đằng sau hậu trường. Điều này mang lại cho chúng ta khả năng truy xuất nhanh chóng và chính xác, cũng như sự tập trung. Điều rất hữu ích cho...

2. Suy luận Logic

Các kỹ sư lời nhắc đã lâu nói với chúng ta rằng một trong những chìa khóa để có được đầu ra đáng tin cậy là buộc các LLM phải hình thành một quy trình suy luận có cấu trúc, hợp lý và nhiều bước. Chúng ta thấy sự công nhận chính thức của điều này trong lời nhắc.

1. Ngắn gọn trước khi gọi một artifact, hãy suy nghĩ trong một câu bằng thẻ <antthinking> về cách nó đánh giá theo tiêu chí của một artifact tốt và xấu. Hãy xem xét liệu nội dung có hoạt động tốt mà không cần artifact hay không. Nếu nó đủ giá trị để trở thành artifact, hãy xác định trong một câu khác liệu đó là một artifact mới hay một bản cập nhật cho một artifact hiện có (thường xuyên nhất). Đối với các bản cập nhật, hãy sử dụng lại trình định danh trước đó.

Ở đây, chúng ta đang buộc hệ thống của mình phải thực hiện một quy trình có cấu trúc nhiều bước để phân tích nhiệm vụ và đầu ra. Một lần nữa, hướng tới định nghĩa mạnh mẽ về nội dung chi tiết và ám chỉ một hệ thống tìm kiếm và truy xuất cho artifacts.

<antthinking>Tạo một tập lệnh Python để tính giai thừa đáp ứng các tiêu chí của một artifact tốt. Đó là một đoạn mã tự chứa có thể được hiểu độc lập và có khả năng được tái sử dụng hoặc sửa đổi. Đây là một cuộc hội thoại mới, vì vậy không có artifact nào tồn tại trước đó. Do đó, tôi đang tạo một artifact mới.</antthinking>

<antthinking>Yêu cầu này là một sửa đổi trực tiếp của artifact máy tính giai thừa hiện có. Nó không phải là một artifact mới mà là một bản cập nhật để làm cho tập lệnh mạnh mẽ hơn. Tôi sẽ sử dụng lại trình định danh máy tính giai thừa để duy trì tính liên tục và hiển thị sự phát triển của mã của chúng tôi.</antthinking>

Ở đây, chúng ta có thể thấy việc triển khai một quy trình suy luận logic để tạo ra các đầu ra được xác định. Bằng cách đảm bảo thuật toán của chúng ta đi qua cùng các bước logic, chúng ta có hạt giống cho một quy trình tạo ra thông minh và có thể lặp lại.

Chúng ta có thể ánh xạ logic này vào quy trình suy luận của một người. Đầu tiên, chúng ta có một cách tiếp cận giải quyết vấn đề logic và hợp lý. Chúng ta bổ sung điều này bằng các artifact cứng. Tập dữ liệu LLM là bộ não, nhưng artifacts là kỹ năng và kiến thức cho phép chúng ta đạt được một đầu ra nhất định.

Nếu chúng ta tưởng tượng tất cả các mô hình cạnh tranh, chúng ta có thể suy ra rằng chúng dựa vào việc sao chép các quy trình suy luận logic. Về cơ bản, chúng ta đang tạo ra một bộ não robot để bắt chước quy trình suy luận logic của con người. Chúng ta đang xây dựng các bộ phận còn thiếu, kiến thức, cấu trúc và các quy trình truy xuất nhiên liệu cho bộ não.

Điều này khiến các lời nhắc và hướng dẫn của hệ thống trở thành tài sản vô cùng có giá trị. Hiểu và tinh chỉnh suy luận logic là một phần quan trọng trong quy trình tạo ra.

Chúng ta có thể thấy một số triển khai cơ bản của suy luận có cấu trúc này trong mã...

3. Xác định và Tìm kiếm

<antartifact identifier=factorial-script type=application/vnd.ant.code language=python title=Simple Python factorial script> def factorial(n): if n == 0: return 1 else: return n * factorial(n - 1)</antartifact>

Vậy application/vnd.ant.code là gì? Application đủ đơn giản, VND là nhà cung cấp, ANT sẽ là Anthropic (nhà sáng tạo của Claude) và code; đó là một cái nhìn sâu sắc về kiến trúc của họ. Tôi mong đợi một loại phân loại và dữ liệu có cấu trúc liệt kê các tác vụ mà mọi người cố gắng thực hiện bằng các LLM.

Các tác vụ mã hóa
Trình bày
Tài liệu
Phân tích
Nhiều hơn nữa...

Ví dụ, chúng ta có thể tạo một số pseudo-code cho một nỗ lực trình bày PowerPoint.

<antartifact identifier=powerpoint-presentation type=application/vnd.ant.presentation purpose=business title=Simple powerpoint presentation> Slide 1: Slide tiêu đề Slide 2: Giới thiệu Slide 3: Báo cáo vấn đề Slide 4: Giải pháp </antartifact>

Điều này gần như chắc chắn không giống như mã sản xuất, nhưng là một mô hình tinh thần thú vị. Để kiểm soát và cấu trúc đầu ra chi tiết, chúng ta phải gặp phải các quy trình logic và hợp lý để phân loại và tiêu chuẩn hóa đầu vào và đầu ra.

Tôi nghi ngờ điều này có nghĩa là khi đầu vào đến, chúng sẽ chạy các thuật toán riêng biệt được thử nghiệm chiến đấu thực hiện trích xuất thực thể và phân loại. Dữ liệu có cấu trúc này sau đó được chạy qua một quy trình tìm kiếm và truy xuất tài sản. Nơi mà đối với văn bản, chúng ta sử dụng cơ sở dữ liệu vectơ; đối với các đầu ra được xác định khác, chúng ta hiện đã giới thiệu khái niệm artifacts. Ví dụ: một tác vụ React Code có thể diễn ra như thế này.

ĐẦU VÀO: Tạo một thành phần phản ứng cho bảng điều khiển số liệu, TRÍCH XUẤT THỰC THỂ: Mã hóa, Phản ứng, Bảng điều khiển số liệu, TÌM KIẾM THỰC THỂ: Truy xuất artifact mã cho Bảng điều khiển số liệu nơi type = React, GỢI Ý HỆ THỐNG: create_system_prompt(artifact_id='metrics-dashboard-component', type='application/vnd.ant.code', language='react')

Có rất nhiều điều đang diễn ra, và chúng ta có thể thấy những nỗ lực khó khăn cần thiết đằng sau hậu trường để tuyển chọn các ví dụ chất lượng cao và phân loại cho một nhóm nhiệm vụ lý thuyết về cơ bản là không giới hạn. Sẽ có sự lặp lại với các thuật toán phân loại AI khác đằng sau hậu trường để tự động hóa điều này.

Nhưng về cơ bản, theo những gì chúng ta có thể thấy, đó là một hệ thống tìm kiếm và truy xuất lạ mắt, dựa trên một ngôn ngữ biểu mẫu độc quyền.

4. Cấu trúc Ngôn ngữ Biểu mẫu

Tôi bắt đầu sự nghiệp của mình nhiều năm trước với tư cách là một nhà phát triển Drupal. Đọc lời nhắc, từ bật ra với tôi là TWIG. Twig là một ngôn ngữ biểu mẫu HTML thường được sử dụng để hiển thị biểu mẫu trong HTML từ PHP. Claude gần như chắc chắn sẽ sử dụng một cách tiếp cận tương đương để điều chỉnh đầu vào và ngữ cảnh dựa trên dữ liệu có cấu trúc (có thể được trích xuất bên ngoài LLM).

Có vẻ như Claude Sonnet 3.5 sử dụng một cái gì đó tương tự, điều này hợp lý. Với đầu vào văn bản cho LLM, chúng ta cần tạo ra các khối văn bản một cách có hệ thống. Đây là các thẻ động được kết hợp lại để tạo ra lời nhắc.

<antartifact></antartifact> <artifacts_info></artifacts_info> <example></example> <user_query></user_query> <example_docstring></example_docstring> <assistant_response></assistant_response>

Điều này sẽ tận dụng một loại cách tiếp cận gọi hàm. Mỗi thẻ có một mục đích cụ thể. Sau đó, điều này đóng vai trò là một trừu tượng hóa khi chúng ta hướng mô hình của mình để tìm đúng danh mục và loại cho mỗi mục đích cụ thể. Tôi tưởng tượng việc xây dựng lời nhắc diễn ra như thế này. Mã giả suy đoán lớn sắp tới...

``` function generate_reference() { context=artifact_type, artifact_id, task examples = search_examples_by_type(‘react’, ‘hooks’, ‘current_ids’) return structured_data } function generate_system_instruction(structured_data) { <antartifact> <artifacts_info {{ attribute(version, '1.00') }}> <% artifact_introduction %> <% artifact_selection %> <% artifact_elimination %> <% artifact_usage %> <% artifact_instruction {{ type(code, 'data-code') }} {{ type(react, 'data-react') }} %> </artifacts_info> <example {{ for react_example in react_code_artifact }}>{react_example }</example> <example_docstring {{ for example_thought_process in curated_artifact_generation_example }}>{example_thought_process }</example_docstring> <user_query>{sanitized_user_query}</user_query> <assistant_response>{sanitized_user_query}</assistant_response> </antartifact> } ```

Vậy, chúng ta có nó, một quy trình suy luận được chia thành các khối. Trích xuất thực thể được ánh xạ với tìm kiếm và truy xuất nâng cao. Các khối xây dựng cho một quy trình suy luận logic. Dữ liệu nền tảng là chìa khóa cho chất lượng của đầu ra.

5. Kết luận

Artifacts đối với đầu ra có cấu trúc như tạo mã giống như tìm kiếm vectơ đối với rag. Đó là hệ thống tìm kiếm và truy xuất cho đầu ra có cấu trúc.

Chúng ta thấy bằng chứng về một quy trình suy luận có cấu trúc và hợp lý trong Claude 3.5. Một điều mà chúng ta luôn kỳ vọng là quan trọng trong Generative AI, nhưng đây là bằng chứng chính thức.

Tôi có thể tưởng tượng hàng ngũ các nhà phát triển và tiếp thị xây dựng các thư viện artifacts được tuyển chọn. Thư viện này được truy cập thông qua phân loại và sau đó là các tác vụ tìm kiếm và truy xuất. Nhưng bước tiến thực sự là khái niệm về tính bền vững.

Bằng cách làm việc với artifacts, chúng ta có các điểm tham chiếu tồn tại ngoài sự thoáng qua. Những điểm có thể được tinh chỉnh và tái sử dụng. Chúng ta đã có suy luận và đầu ra chi tiết. Bây giờ, chúng ta có ký ức và chuyên môn...

6. Hệ thống Claude 3.5

Lưu ý: Phần này sẽ cung cấp mã lệnh đầy đủ của lời nhắc hệ thống, được ẩn đi để tránh tiết lộ thông tin nhạy cảm.

Bài viết này cung cấp cái nhìn sâu sắc về kiến trúc và các tính năng chính của hệ thống gợi ý Claude Sonnet 3.5, nhấn mạnh khái niệm Artifacts và vai trò của nó trong việc tạo ra đầu ra AI chất lượng cao.

Phân tích Hệ thống Gợi ý của Claude Sonnet 3.5: Một cái nhìn sâu sắc