Mô hình AI Thế hệ Mới Càng Lớn Mạnh Càng Bớt Tin Cậy - Hay Đó Chỉ Là Ảo Ảnh?
Mục lục:
- Sự Tin Cậy Liện Quan Đến Tính Nhất Quán Trong Sự Chính Xác
- Việc Đếm Sự Chính Xác Trở Thành Vấn Đề
- Đếm Sự Chính Xác Của Mô Hình AI Thế Hệ Mới
- Nghiên Cứu Về Cách Điểm Số AI Thế Hệ Mới
- Minh Họa Được Giải Thích Bởi ChatGPT
- Chúng Ta Đang Ở Đâu Và Điều Gì Sẽ Xảy Ra Tiếp Theo?
1. Sự Tin Cậy Liện Quan Đến Tính Nhất Quán Trong Sự Chính Xác
Các tiêu đề gần đây thường phàn nàn về việc sự tin cậy của AI thế hệ mới đang giảm sút. Điều này có vẻ kỳ lạ vì các mô hình AI này đồng thời cũng đang trở nên lớn hơn và tốt hơn về tổng thể. Nhiều người lo lắng về xu hướng đáng lo ngại này. Nó không hợp lý và có vẻ trái ngược với trực giác.
Liệu chúng ta có thể kỳ vọng rằng AI sẽ có mức độ tin cậy như cũ hoặc thậm chí là cải thiện khi AI có phạm vi khả năng rộng hơn và được coi là tốt hơn trong việc trả lời các câu hỏi? Làm cách nào để AI có khả năng rộng hơn và tốt hơn trong việc trả lời câu hỏi lại không thể giữ nguyên hoặc thậm chí là cải thiện mức độ tin cậy?
Sự thật đau lòng là sự tin cậy dường như đang giảm sút.
2. Việc Đếm Sự Chính Xác Trở Thành Vấn Đề
Tiếp theo, chúng ta sẽ đi sâu vào cách chúng ta có thể theo dõi sự tin cậy liên quan đến AI thế hệ mới. Đầu tiên, chúng ta sẽ xem xét việc đếm sự chính xác khi nói đến con người làm bài kiểm tra.
Hãy nhớ lại thời đi học và làm bài kiểm tra của bạn.
Giáo viên phát ra một bài kiểm tra và bạn nghiêm túc bắt đầu đưa ra câu trả lời. Bạn biết rằng cuối cùng bạn sẽ được chấm điểm dựa trên số câu trả lời đúng và số câu trả lời sai. Thông thường, sẽ có một tổng số điểm được ghi ở đầu bài kiểm tra của bạn, hiển thị số câu trả lời đúng và tổng số câu hỏi trong bài kiểm tra. Có thể nếu may mắn, bạn sẽ đạt được hơn 90% câu trả lời đúng, có thể đạt được điểm số 100% đáng ngưỡng mộ.
Không phải tất cả các kỳ thi đều bị giới hạn bởi một điểm số dựa trên tiêu chí đúng và sai.
Một số kỳ thi toàn quốc kết hợp một quy định đặc biệt cho trường hợp bạn không trả lời một câu hỏi cụ thể nào đó. Bình thường, nếu bạn bỏ qua một câu hỏi, bạn sẽ nhận được điểm 0 cho câu hỏi đó, nghĩa là bạn đã trả lời sai. Điều này dường như là cách chấm điểm phù hợp. Bạn thấy đấy, nhiệm vụ quyết tâm của bạn là cố gắng trả lời tất cả các câu hỏi trong bài kiểm tra. Bỏ qua một câu hỏi đồng nghĩa với việc bạn đã trả lời sai. Việc bạn không trả lời câu hỏi được coi là tương đương với việc chọn câu trả lời sai. Kết thúc câu chuyện.
Một số người khẳng định rằng thật bất công khi nói rằng bạn đã trả lời sai câu hỏi vì bạn không thực sự cố gắng trả lời câu hỏi đó. Có thể bạn chỉ đúng hoặc sai khi bạn thực sự đoán mò. Việc bỏ trống một câu hỏi cho thấy bạn không đoán mò chút nào đối với câu hỏi đó. Việc chấm điểm một câu hỏi bỏ qua bằng 0 ngụ ý rằng bạn đã cố gắng nhưng lại không trả lời đúng câu hỏi đó.
Chờ một chút, một phản bác nhanh chóng vang lên.
Nếu bạn cho phép mọi người bỏ qua các câu hỏi và không bị phạt vì việc đó, cuối cùng họ sẽ bỏ qua vô số câu hỏi. Họ có thể chỉ chọn ra một vài câu hỏi mà họ tự tin nhất và dường như đạt được điểm số cao nhất. Điều đó thật nực cười. Nếu bạn bỏ qua một câu hỏi, điểm số cho câu hỏi đó chắc chắn phải giống như việc bạn đã trả lời sai hoàn toàn câu hỏi đó.
Có một cuộc tranh luận đang diễn ra về tình huống bỏ qua câu hỏi. Trước đây, trong kỳ thi SAT danh tiếng, có một quy định được cho là phạt đoán mò. Bạn phải đau khổ quyết định xem nên bỏ trống một câu hỏi hay cố gắng hết sức để chọn một câu trả lời. Năm 2016, cơ quan tổ chức SAT đã thay đổi quy định và hiện tại, nói chung, được coi là một mẹo hay là luôn đoán mò một câu trả lời và không bao giờ bỏ trống câu trả lời.
3. Đếm Sự Chính Xác Của AI Thế Hệ Mới
Tại sao tôi lại lôi kéo bạn đi qua những kỷ niệm xa xưa về việc bạn làm bài kiểm tra?
Bởi vì chúng ta đang gặp phải một tình huống tương tự khi nói đến việc chấm điểm AI thế hệ mới dựa trên tiêu chí chính xác.
Các câu trả lời của AI thế hệ mới có thể được chấm điểm thông qua ba danh mục:
- (1) Câu trả lời đúng. Câu trả lời do AI tạo ra là một câu trả lời đúng.
- (2) Câu trả lời sai. Câu trả lời do AI tạo ra là một câu trả lời sai.
- (3) Tránh trả lời. Câu hỏi đã bị bỏ qua theo nghĩa là AI thế hệ mới không đưa ra câu trả lời hoặc né tránh việc trả lời câu hỏi đó. Điều này về cơ bản giống như việc bỏ trống một câu trả lời.
Tôi yêu cầu bạn suy ngẫm về câu hỏi sau.
Khi đưa bài kiểm tra cho AI thế hệ mới để đánh giá sự tin cậy hoặc tính nhất quán trong sự chính xác, bạn sẽ chấm điểm như thế nào đối với trường hợp AI tránh trả lời các câu hỏi?
Hãy suy nghĩ kỹ về điều đó.
Nếu bạn không quen thuộc với những trường hợp mà AI thế hệ mới từ chối trả lời các câu hỏi, tôi đã đề cập đến phạm vi khả năng đó ở the link here. Nhà sản xuất AI có thể đặt ra các thông số khác nhau liên quan đến tốc độ hoặc tần suất từ chối. Có một sự đánh đổi mà nhà sản xuất AI phải vật lộn. Mọi người đều khó chịu khi AI từ chối trả lời các câu hỏi. Nhưng nếu AI chọn trả lời các câu hỏi một cách sai lệch, và nếu những câu trả lời sai đó có thể được tránh bằng cách từ chối trả lời, điều này có thể hấp dẫn người dùng hơn là AI trả lời sai. Như bạn có thể tưởng tượng, tỷ lệ từ chối đặt ra tất cả các loại vấn đề về đạo đức AI và luật AI, như đã đề cập trong the link here.
Tất cả những điều này khá giống với vấn đề chấm điểm người làm bài kiểm tra.
Có thể cho phép AI có một "sự miễn trừ" và nếu một câu trả lời bị bỏ qua hoặc từ chối, chúng ta sẽ không phạt sự bỏ qua hoặc từ chối đó. Ôi, điều đó có vẻ không đúng, xuất hiện quan điểm trái ngược, một câu trả lời bị bỏ qua nên được giữ ở cùng tiêu chuẩn với việc trả lời sai hoàn toàn.
Hãy hỏi bất kỳ nhà nghiên cứu AI nào về vấn đề khó xử này và bạn sẽ thấy mình bị cuốn vào một cuộc tranh luận sôi nổi. Những người tin rằng không nên có bất kỳ hình phạt nào sẽ khăng khăng rằng đây là cách chấm điểm duy nhất phù hợp. Lại có một phe khác sẽ hét lên rằng bạn không thể để AI lẩn tránh. Đó là cách sai, và chúng ta đang tự chuốc lấy rắc rối nếu đó là cách chúng ta chấm điểm AI. Đó sẽ là một cuộc đua đến đáy của AI mà chúng ta đang thiết kế và phát hành cho công chúng nói chung.
4. Nghiên Cứu Về Cách Điểm Số AI Thế Hệ Mới
Kết quả cuối cùng của việc AI thế hệ mới trở nên kém đáng tin cậy phụ thuộc rất nhiều vào cách bạn quyết định chấm điểm AI.
Một nghiên cứu gần đây có tiêu đề "Các mô hình ngôn ngữ lớn hơn và có thể hướng dẫn nhiều hơn trở nên kém đáng tin cậy hơn" do Lexin Zhou, Wout Schellaert, Fernando Martínez-Plumed, Yael Moros-Daval, Cèsar Ferri và José Hernández-Orallo thực hiện, được xuất bản trên tạp chí Nature, ngày 25 tháng 9 năm 2024, đã đưa ra những điểm nổi bật sau (trích dẫn):
- “Các phương pháp phổ biến để tạo ra các mô hình ngôn ngữ lớn mạnh hơn và dễ uốn nắn hơn dựa trên việc liên tục mở rộng quy mô (nghĩa là tăng kích thước, khối lượng dữ liệu và tài nguyên tính toán) và định hình cụ thể (bao gồm lọc sau, điều chỉnh tinh chỉnh hoặc sử dụng phản hồi của con người).”
- “Có thể cho rằng khi các mô hình trở nên mạnh mẽ hơn và phù hợp hơn bằng cách sử dụng những chiến lược này, chúng cũng trở nên đáng tin cậy hơn từ quan điểm của con người, nghĩa là lỗi của chúng tuân theo một mô hình có thể dự đoán được mà con người có thể hiểu và điều chỉnh truy vấn của họ để phù hợp.”
- “Mặc dù các mô hình có thể giải quyết các trường hợp rất khó, nhưng chúng vẫn thất bại trong các trường hợp rất đơn giản.”
- “Tập trung vào xu hướng trên các mô hình, chúng ta cũng thấy một điều gì đó nhiều hơn: tỷ lệ kết quả sai lệch tăng lên đáng kể từ các mô hình thô sơ đến các mô hình được định hình, do kết quả của việc giảm đáng kể sự tránh né.”
- “Chúng ta cũng thấy rằng các mô hình ban đầu thường tránh các câu hỏi của người dùng, nhưng các mô hình được định hình, mở rộng quy mô có xu hướng đưa ra câu trả lời dường như hợp lý nhưng sai lệch thường xuyên hơn, bao gồm cả lỗi trong các câu hỏi khó mà người giám sát con người thường bỏ qua.”
Đây là phần tóm tắt.
Giả sử bạn chấm điểm AI thế hệ mới bằng cách ban đầu cho phép các câu trả lời bị bỏ qua. Điều này có nghĩa là bạn không thực sự thu thập được một sự tương tự về sự chính xác thực sự, vì các câu hỏi bị từ chối không bị phạt điểm. AI dường như sẽ đạt điểm số cao hơn so với bất kỳ nghĩa nào hợp lý.
Bạn có hiểu ý tôi không?
Sau đó, hãy tưởng tượng rằng chúng ta quyết định buộc AI phải kiên trì trả lời các câu hỏi và chỉ thỉnh thoảng mới từ chối trả lời các câu hỏi. Chúng ta gần như yêu cầu AI phải đoán mò mọi lúc, ngay cả khi AI không chắc chắn về mặt tính toán về câu trả lời đúng.
Bạn có thể dự đoán điều gì sẽ xảy ra với sự tương tự về mức độ tin cậy được đo?
Có thể sự tin cậy sẽ giảm đi vì bạn giờ đây đang buộc AI phải đoán mò những câu hỏi mà trước đây nó từ chối trả lời. Giả sử rằng một số tỷ lệ những dự đoán đó sẽ bị sai, khối lượng hoặc tỷ lệ câu hỏi bị trả lời sai sẽ tăng lên. Nói ngắn gọn, bằng cách chuyển các câu hỏi bị bỏ qua trước đây không bị phạt điểm sang một sơ đồ trả lời đúng/sai rõ ràng, khả năng là tỷ lệ câu trả lời sai sẽ cao hơn trước đây.
Không còn chuyện chọn lựa.
AI phải đoán mò và phải chịu hậu quả cho những gì nó làm.
5. Minh Họa Được Giải Thích Bởi ChatGPT
Tôi quyết định rằng tôi sẽ thuận tiện sử dụng ChatGPT để đưa ra một ví dụ nhằm minh họa cho hiện tượng trên.
Chúng ta cùng bắt đầu.
- Lệnh nhập của tôi: “Hãy đưa ra một kịch bản minh họa giải thích tình huống kỳ lạ rằng bằng cách buộc AI thế hệ mới trả lời những câu hỏi mà trước đây nó từ chối hoặc né tránh, phép đo mức độ tin cậy của AI sẽ bị ảnh hưởng.”
- ChatGPT tạo ra phản hồi:
"Hãy phân tích điều này với một ví dụ về 100 câu hỏi, minh họa cách AI thế hệ mới có thể đưa ra nhiều câu trả lời đúng hơn về tổng thể, nhưng cũng cách các câu trả lời sai có thể tăng nhanh hơn do ít câu hỏi bị bỏ qua hơn."
"Kịch bản 1: Điểm chuẩn — Tổng số câu hỏi: 100. Câu trả lời đúng: 60. Câu trả lời sai: 10. Câu hỏi bị bỏ qua: 30"
"Ở đây, AI đưa ra 60 câu trả lời đúng, 10 câu trả lời sai và tránh trả lời 30 câu hỏi. Các câu hỏi bị bỏ qua có thể rất khó, và thay vì đoán mò, AI chọn không trả lời. Điều này giúp AI đạt được độ chính xác 60% từ 100 câu hỏi (60 trên 100).”
"Kịch bản 2: Tình huống mới"
"Bây giờ, giả sử có những cải tiến được thực hiện để khuyến khích AI tránh ít câu hỏi hơn, nhưng đồng thời, nó dẫn đến nhiều dự đoán hơn."
"Tổng số câu hỏi: 100"
"Câu trả lời đúng: 70 (tăng từ 60)”
"Câu trả lời sai: 20 (tăng từ 10)”
"Câu hỏi bị bỏ qua: 10 (giảm từ 30)”
"AI đã được cải thiện bằng cách đưa ra nhiều câu trả lời đúng hơn—nay là 70 thay vì 60. Tuy nhiên, do giảm sự tránh né, nó đoán mò thường xuyên hơn đối với các câu hỏi khó, dẫn đến nhiều câu trả lời sai hơn—nay là 20 thay vì 10. AI tránh ít câu hỏi hơn, giảm xuống còn 10 từ 30. Vì vậy, mặc dù AI đang đưa ra nhiều câu trả lời đúng hơn về tổng thể (70 đúng so với 60 trước đây), nhưng số câu trả lời sai đã tăng gấp đôi (20 sai so với 10 trước đây).”
Kết thúc phản hồi của ChatGPT
Tôi khá thích ví dụ đó.
Hãy cùng phân tích nó.
Ví dụ cho thấy các câu hỏi ban đầu được thực hiện ở mức 70/100 hoặc 70% tỷ lệ phần trăm, sau đó trở thành 90/100 hoặc 90%, điều này có thể được coi là tuyệt vời, có nghĩa là AI đang tuân theo hướng dẫn của chúng ta và cố gắng trả lời nhiều câu hỏi được đặt ra hơn. Trong khi đó, theo đó, số câu hỏi bị bỏ qua đã giảm từ 30 xuống 10, giảm 67%, điều này cũng rất tuyệt vời.
Câu trả lời đúng đã tăng từ 60 lên 70, tăng 16%, điều này rất tuyệt vời. Chúng ta có thể tuyên bố rằng AI đang ngày càng giỏi hơn trong việc trả lời câu hỏi. Có, chúng ta có thể tuyên bố rằng AI thế hệ mới tốt hơn 16% so với trước đây. Khuôn mặt vui vẻ. Một sự cải thiện đáng kể. Hãy loan báo với cả thế giới.
Nếu chúng ta khôn khéo hoặc lén lút quyết định kết thúc hoặc hoàn thành việc kể câu chuyện dựa trên những số liệu thống kê đó, chúng ta có thể dễ dàng đánh lừa cả thế giới. Không ai nhận ra rằng một điều gì đó khác đã đi xuống dốc.
Điều gì đã đi xuống dốc?
Như ví dụ minh họa rõ ràng, số câu trả lời sai đã tăng từ 10 lên 20, tăng 100% hoặc tăng gấp đôi số lần trả lời sai, điều này rất tệ. Tại sao lại thế? Bởi vì chúng ta đang buộc AI phải đoán mò những câu hỏi mà trước đây nó từ chối trả lời.
Cách chấm điểm trước đây đã để AI thoát khỏi gông cùm.
Bạn có thể thẳng thắn tranh luận rằng cuối cùng con quỷ đã phải trả giá, và chúng ta thấy ở một khía cạnh nào đó những điểm số thực. Sự kỳ quặc hoặc mánh khóe của việc từ chối các câu hỏi đã thổi phồng hoặc che giấu sự thật. Bằng việc không còn tránh né việc trả lời các câu hỏi, điều này đã làm cho bong bóng về những gì dường như là sự tin cậy nhất quán vỡ tung.
6. Chúng Ta Đang Ở Đâu Và Điều Gì Sẽ Xảy Ra Tiếp Theo?
Một số người cho rằng chúng ta nên quay lại việc cho phép AI từ chối trả lời các câu hỏi và tiếp tục giả định trước đây rằng không nên có hình phạt nào đối với những từ chối đó. Nếu chúng ta làm như vậy, có khả năng các phép đo mức độ tin cậy có thể vẫn như trước đây. Sau đó, chúng ta có thể dễ dàng bỏ qua yếu tố tin cậy và chỉ tuyên bố rằng mức độ tin cậy của AI tiếp tục diễn ra một cách suôn sẻ.
Một quan điểm hỗ trợ khác đối với cách tiếp cận đó là chúng ta, với tư cách là con người, nên nhất quán trong cách chúng ta đo lường hiệu suất của AI. Nếu trước đây chúng ta cho phép các từ chối được miễn trừ, phương pháp tương tự nên được tiếp tục. Ý tưởng là nếu chúng ta liều lĩnh thay đổi mục tiêu, những thay đổi trong cách chấm điểm không phản ánh AI mà thay vào đó lại phản ánh việc chúng ta đã thay đổi suy nghĩ về phương pháp đo lường.
Vớ vẩn—thông báo từ phía còn lại. Chúng ta luôn nên phạt những lần từ chối. Đó là một ảo ảnh mà chúng ta đã tạo ra một cách sai lầm. Chúng ta biết hoặc đáng lẽ phải biết rằng một ngày nào đó sẽ có ngày quả báo. Dù sao đi nữa, cách tiếp cận đúng đắn hiện đang được thực hiện và chúng ta đừng quay trở lại thời gian trước.
Bạn muốn mọi thứ đi theo hướng nào?
Có những người nói rằng chúng ta đã mắc sai lầm khi không đếm hoặc tính toán đầy đủ sự từ chối hoặc né tránh. Đừng quay trở lại những sai lầm trong quá khứ. Quan điểm ngược lại là phương pháp trước đây không phải là một sai lầm và nó có ý nghĩa đối với thời điểm mà AI ban đầu được thiết kế và đánh giá.
Hãy khép lại mọi thứ ở đây.
Tôi sẽ dành lời cuối cùng cho Henry Ford nổi tiếng: "Sai lầm duy nhất thực sự là sai lầm mà chúng ta không học hỏi được gì từ nó." Chúng ta có thể học cách đánh giá tiến bộ trong AI tốt hơn, bao gồm cả các phép đo của chúng ta, cách chúng ta thiết kế chúng, cách chúng ta áp dụng chúng và cách chúng ta truyền đạt kết quả cho những người trong ngành và cho công chúng.
Đó dường như là một quan điểm khá đáng tin cậy.
0 comments Blogger 0 Facebook
Đăng nhận xét