Meta AI Mở Rộng Tiềm Năng của Mô Hình Ngôn Ngữ Lớn với LLM Compiler

Meta AI Mở Rộng Tiềm Năng của Mô Hình Ngôn Ngữ Lớn với LLM Compiler

Mục lục

1. Giới thiệu về LLM Compiler
2. Cách thức hoạt động của LLM Compiler
3. Ứng dụng và Hiệu quả của LLM Compiler
4. Kết luận

1. Giới thiệu về LLM Compiler

Trong bối cảnh ngày càng nhiều ứng dụng của Mô Hình Ngôn Ngữ Lớn (LLM) trong các tác vụ kỹ thuật phần mềm, như tạo mã, dịch mã và kiểm tra mã, việc tận dụng LLM cho tối ưu hóa mã và biên dịch vẫn là một lĩnh vực chưa được khai thác.

Để giải quyết vấn đề này, nhóm nghiên cứu Meta AI đã giới thiệu LLM Compiler - một bộ các mô hình được đào tạo sẵn, mạnh mẽ và có sẵn công khai, được thiết kế đặc biệt cho các tác vụ tối ưu hóa mã. Mục tiêu của LLM Compiler là cung cấp một nền tảng mở rộng và hiệu quả về chi phí để phục vụ cho nghiên cứu và phát triển trong tối ưu hóa biên dịch.

2. Cách thức hoạt động của LLM Compiler

LLM Compiler bao gồm các mô hình nền tảng được đào tạo để hiểu ngữ nghĩa của các biểu diễn trung gian (IR) và các tập hợp lệnh của trình biên dịch, mô phỏng hoạt động của trình biên dịch. Những mô hình này có thể được điều chỉnh tinh vi với lượng dữ liệu tối thiểu cho các tác vụ tối ưu hóa biên dịch cụ thể.

LLM Compiler dựa trên phiên bản chuyên biệt của Code Llama, được đào tạo trên 546 tỷ mã thông báo dữ liệu tập trung vào trình biên dịch, trải qua hai giai đoạn:

• Giai đoạn đầu tiên: Mô hình được đào tạo chủ yếu trên các IR và mã tập hợp của trình biên dịch chưa được gắn nhãn.
• Giai đoạn tiếp theo: Mô hình trải qua quá trình tinh chỉnh hướng dẫn để dự đoán kết quả và hiệu quả của tối ưu hóa.

Các mô hình LLM Compiler FTD được tinh chỉnh thêm trên 164 tỷ mã thông báo dữ liệu của các tác vụ tinh chỉnh cờ và phân tích mã, tổng cộng 710 tỷ mã thông báo đào tạo. Trong bốn giai đoạn đào tạo, 15% dữ liệu từ các tác vụ trước được giữ lại.

3. Ứng dụng và Hiệu quả của LLM Compiler

Nhóm nghiên cứu đã áp dụng LLM Compiler cho hai tác vụ biên dịch: tinh chỉnh cờ trình biên dịch để tối ưu hóa kích thước mã và phân tích mã x86_64 và ARM thành LLVM-IR. Các mô hình LLM Compiler FTD được phát hành cho cộng đồng với giấy phép thương mại riêng biệt.

So với kỹ thuật tự điều chỉnh mà nó được đào tạo, LLM Compiler FTD đạt được 77% tiềm năng tối ưu hóa mà không yêu cầu biên dịch bổ sung. Khi phân tích mã, nó tạo ra phân tích mã chính xác 14% thời gian. Trong cả hai tác vụ, các mô hình LLM Compiler FTD vượt trội đáng kể so với các LLM tương đương, như Code Llama và GPT-4 Turbo.

4. Kết luận

Nhóm nghiên cứu khẳng định rằng LLM Compiler mở ra những khả năng mới để khám phá tiềm năng chưa được khai thác của LLM trong lĩnh vực tối ưu hóa mã và biên dịch. Bài báo về LLM Compiler đã được đăng trên arXiv. , cùng với ảnh trong link sau: https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjrwz9PG3ltGG7b-dJ4KGk3s069Qm95v6sNrat4kvH0lfkQfaNlJaH9zwxr8dpplA6PuIRfSF37QHQNHMbLPv5L3qtUcPF13MFopQhf4DEsNlGlpTRWPCJiFKQyLn2U7FALiR1Y7Qmn9RnrPu9YeuJv2Cne8sMo84Yjl2ukMgJqXbUu4C7coTJ44-0vNsBY/s16000/logo-new.jpg ở phần cuối bài viết.