Meeting.ai: Cách mạng hóa quản lý cuộc họp với trí tuệ nhân tạo và Amazon Bedrock

Meeting.ai: Cách mạng hóa quản lý cuộc họp với trí tuệ nhân tạo và Amazon Bedrock

Trong thế giới công việc hiện đại, các cuộc họp là một phần không thể thiếu, từ những cuộc gọi hội thảo, cuộc họp nhóm ngắn gọn cho đến những buổi trao đổi ý tưởng bất chợt. Tuy nhiên, việc xử lý thông tin từ các cuộc họp, ghi chép, xem lại bản ghi âm và trích xuất những điểm chính thường tốn rất nhiều thời gian và công sức.

Meeting.ai, một startup đến từ Indonesia, đang thay đổi điều đó bằng cách tự động hóa các tác vụ tốn thời gian, chẳng hạn như ghi chép. Được xây dựng dựa trên nền tảng trí tuệ nhân tạo (AI) thế hệ mới, Meeting.ai giúp người dùng tập trung vào nội dung cuộc họp và không cần phải lo lắng về việc nhớ lại những điểm mấu chốt sau đó.

Không hài lòng với hiệu năng của các mô hình ngôn ngữ lớn (LLM) hiện có, đội ngũ Meeting.ai đã quyết định triển khai Claude 3 Sonnet và Haiku trên Amazon Bedrock. Nhờ vậy, startup này đã đạt được độ chính xác hàng đầu trong việc tạo ra bản tóm tắt cuộc họp, đồng thời giảm chi phí vận hành tới 33%.

Từ giảng đường đến phòng họp

Meeting.ai, ban đầu mang tên Bahasa.ai, được thành lập vào năm 2017 bởi Hokiman Kurniawan, Fathur Rachman Widhiantoko, và Samsul Rahmadani. Cả ba người đã quen biết nhau khi cùng theo học ngành toán tại đại học. Trong thời gian học, họ đã phát triển một trong những LLM đầu tiên cho tiếng Bahasa Indonesia, ngôn ngữ chính thức của đất nước. Việc này trước đó khá khó khăn do sự đa dạng và phức tạp của các phương ngữ và ngôn ngữ địa phương được sử dụng rộng rãi trên khắp Indonesia.

“Indonesia có hơn 270 triệu dân sinh sống tại 33 vùng miền, và có rất nhiều giọng điệu, phương ngữ vùng miền và thuật ngữ địa phương khác nhau”, Hokiman, CEO của công ty, chia sẻ. “Mặc dù chúng ta nói Indonesia là một ngôn ngữ, nhưng thực tế chúng ta có hàng trăm ngôn ngữ địa phương khác nữa” – hơn 700 ngôn ngữ, chính xác hơn – “trong đó có Javanese và Sundanese là phổ biến nhất, và người dân thường sử dụng hỗn hợp các ngôn ngữ khi giao tiếp với nhau.”

Phát triển một mô hình có khả năng xử lý mức độ phức tạp đó đòi hỏi một lượng dữ liệu khổng lồ. “Chúng tôi đã thu thập hơn 30.000 giờ dữ liệu giọng nói trong 7 năm qua”, Hokiman cho biết. Sau khi tạo ra các mô hình ngôn ngữ đơn giản cho tiếng Bahasa Indonesia, tiếng tăm của Meeting.ai nhanh chóng lan rộng. Startup này đã nhanh chóng có được khách hàng đầu tiên – một công ty dược phẩm lớn nhất Đông Nam Á – có nhu cầu về chuyên môn ngôn ngữ tự nhiên cho các trường hợp sử dụng dịch vụ khách hàng.

Trong những ngày đầu, công ty chủ yếu cung cấp dịch vụ tư vấn về AI và ngôn ngữ tự nhiên. “Chúng tôi không có sản phẩm, chúng tôi có giải pháp”, Hokiman nói. Nhưng mọi thứ đã thay đổi với sự ra mắt của công cụ Meeting.ai vào năm 2023.

Tự động hóa thông minh kết hợp với độ chính xác hàng đầu

Meeting.ai là trợ lý cuộc họp dựa trên AI thế hệ mới, giúp người dùng giảm thiểu thời gian dành cho các tác vụ liên quan đến cuộc họp. Công cụ này được phát triển bằng cách sử dụng LLM độc quyền của công ty cho tiếng Bahasa Indonesia. Như Hokiman giải thích: “công cụ của chúng tôi tự động ghi âm, phiên mã và tóm tắt các cuộc họp, giúp bạn tiết kiệm thời gian và làm việc hiệu quả hơn.”

Khả năng tích hợp liền mạch với các dịch vụ họp phổ biến như Google Meet, Zoom và Microsoft Teams đã giúp Meeting.ai nhanh chóng thu hút hơn 70.000 người dùng, chủ yếu ở Indonesia. Không giống như các giải pháp tích hợp sẵn, công cụ này cũng có thể được sử dụng cho các cuộc họp ngoại tuyến. “Khả năng ngoại tuyến của chúng tôi đã chiếm hơn 50% tổng số lần sử dụng sản phẩm của chúng tôi”, Hokiman cho biết.

Một điểm khác biệt quan trọng của Meeting.ai là độ chính xác trong phiên mã tiếng Bahasa Indonesia đạt tới 97%, cao nhất trong số các công cụ trên thị trường. “Chúng tôi thường thấy khách hàng của mình rất hào hứng khi nhận ra rằng họ có thể nói chuyện một cách thoải mái, và AI vẫn hiểu họ, ngay cả khi họ sử dụng tiếng lóng. Họ không ngờ rằng AI lại hỗ trợ tiếng Bahasa Indonesia tốt đến vậy – đó thực sự là một khoảnh khắc ‘aha’.”

Cuộc họp chưa bao giờ hiện đại đến thế

Đội ngũ Meeting.ai đã làm việc với AWS từ thời đại học, khiến AWS trở thành lựa chọn tự nhiên khi tìm kiếm đối tác để hỗ trợ xây dựng công cụ của họ. “Có hai điều khiến AWS trở thành một đối tác tuyệt vời. Thứ nhất là công nghệ – nếu nó hoạt động, nó sẽ hoạt động, và mọi người sẽ sử dụng nó. Cho đến nay, mọi sản phẩm AWS mà chúng tôi đã sử dụng đều mang lại hiệu quả”, Hokiman cho biết. “Thứ hai là con người. Sản phẩm thôi là chưa đủ, nhưng trong lĩnh vực của chúng tôi, việc tiếp cận các mô hình và chuyên môn mới phụ thuộc vào mối quan hệ với con người, và AWS đã rất hỗ trợ.”

Kiến trúc của Meeting.ai kết hợp nhiều dịch vụ AWS giúp kiểm soát chi phí mà không ảnh hưởng đến hiệu năng. Ví dụ, đội ngũ đã chọn sử dụng Amazon EC2 G4 Instances làm cụm nút chính cho các tác vụ AI do hiệu năng trên giá thành hàng đầu của GPU NVIDIA T4. Tương tự, Amazon Elastic Kubernetes Service (EKS) đảm bảo cung cấp tài nguyên tính toán hiệu quả về chi phí và tự động điều chỉnh quy mô ứng dụng Kubernetes. Đội ngũ cũng đã triển khai Amazon Bedrock gần đây, một dịch vụ được quản lý hoàn toàn cung cấp sự lựa chọn các mô hình cơ sở (FM) hiệu năng cao để thử nghiệm và tùy chỉnh riêng tư một cách an toàn. Điều này không chỉ giúp họ giảm đáng kể chi phí mà còn cải thiện độ chính xác của các bản tóm tắt do Meeting.ai tạo ra.

Các LLM hiệu năng cao, tất cả đều có sẵn từ một nguồn duy nhất

AI thế hệ mới đang phát triển nhanh chóng, và khi các mô hình và dịch vụ mới xuất hiện, các công cụ như Meeting.ai có thể đạt được lợi thế cạnh tranh bằng cách cập nhật những phiên bản mới nhất. Trước đây, khả năng tóm tắt của Meeting.ai dựa trên các dịch vụ LLM không đáp ứng được chất lượng và độ chính xác mà đội ngũ mong muốn. Khi biết rằng các mô hình Claude 3 mới của Anthropic sẽ có mặt trên Amazon Bedrock, họ đã ngay lập tức nắm bắt cơ hội.

“Tôi đã liên lạc ngay với người cố vấn của mình từ thời đại học, người trước đây từng là quản lý khu vực của AWS tại Indonesia”, Hokiman nói. “Tôi đã hỏi anh ấy liệu anh ấy có thể giới thiệu tôi với ai đó tại AWS để có thể truy cập vào các mô hình, vào thời điểm đó chưa được công khai – trong vòng một tuần chúng tôi đã được cấp quyền truy cập.”

Việc triển khai Amazon Bedrock là một quá trình đơn giản, hoàn thành trong khoảng 3 tuần, chỉ với sự tham gia của 2 nhà phát triển. “Đó là một trải nghiệm tích hợp, giống như một thị trường duy nhất nơi chúng tôi có thể kiểm tra và thử nghiệm nhiều mô hình khác nhau. Nếu một mô hình mới được phát hành, chúng tôi có thể dễ dàng truy cập vào nó trên Amazon Bedrock”, Hokiman nói.

Sau khi có được quyền truy cập vào Claude 3 trên Amazon Bedrock, đội ngũ đã bắt đầu kiểm tra chất lượng của các mô hình Sonnet và Haiku.

Kiểm tra. So sánh. Lựa chọn.

Đội ngũ Meeting.ai đã thu thập một tập dữ liệu thử nghiệm bao gồm các bản ghi âm của một số cuộc họp nội bộ của công ty và các video podcast có sẵn trên YouTube. Sau đó, họ xử lý các mẫu dữ liệu này bằng cả LLM ban đầu và các mô hình Claude 3 đã chọn. Đội ngũ có thể bắt đầu kiểm tra với cùng các lời nhắc mà họ đã sử dụng với LLM ban đầu, cho phép họ dành nhiều thời gian hơn để xác định mô hình phù hợp thay vì phải thiết kế lại các lời nhắc mới.

Đội ngũ sớm nhận thấy rằng chất lượng của các bản tóm tắt do mô hình Claude 3 Haiku tạo ra cao hơn so với mô hình trước đó. “Claude 3 nhìn chung hiệu quả hơn nhiều và có thể xử lý những thứ mà các mô hình khác không thể. Mô hình Haiku cũng nhỏ hơn nhiều so với các lựa chọn thay thế, khiến nó rẻ hơn nhiều cho chúng tôi sử dụng”, Hokiman cho biết. “Chúng tôi luôn tìm cách cân bằng hiệu năng và chi phí, và Haiku đáp ứng cả hai.”

Haiku hiện đang được sử dụng cho phần lớn các trường hợp sử dụng của Meeting.ai và đã giúp đội ngũ tiết kiệm hơn 33% chi phí. Đối với các trường hợp sử dụng cụ thể hơn như tóm tắt hiệu quả công việc từ các cuộc họp một đối một giữa nhân viên và lãnh đạo, Meeting.ai cũng sử dụng mô hình Claude 3 Sonnet.

Nâng cao hiệu năng và hiệu quả

Các mô hình Claude 3 cung cấp cửa sổ ngữ cảnh lớn 200k, cho phép chúng tính đến nhiều dữ liệu và thông tin hơn khi tạo ra đầu ra. Điều này giúp Meeting.ai cung cấp các bản tóm tắt cuộc họp chính xác hơn nhiều so với những gì có thể thực hiện được với mô hình trước đó. Nó cũng cho phép công cụ tự động phân biệt giữa các điểm thảo luận quan trọng và các cuộc trò chuyện bình thường, điều mà mô hình LLM trước đây gặp khó khăn, đặc biệt là trong tiếng Bahasa Indonesia.

Một lợi ích khác của cửa sổ ngữ cảnh dài hơn là khách hàng nhận được kết quả nhanh hơn nhiều – chính xác là lên đến 1.200%. Đối với bản ghi âm cuộc họp kéo dài 2 giờ, Meeting.ai chỉ cần một yêu cầu API LLM duy nhất, so với mô hình trước đây yêu cầu khoảng 12 yêu cầu API LLM để tóm tắt. “Số lượng yêu cầu càng nhiều thì chi phí chúng tôi phải trả càng cao. Trong một số trường hợp, chi phí hoàn thành cùng một tác vụ bằng mô hình trước đây có thể gấp đôi so với Claude 3”, Hokiman cho biết.

Đội ngũ Meeting.ai cũng nhận thấy Claude 3 tuân thủ và đáng tin cậy hơn trong việc làm theo hướng dẫn. Ví dụ, cả hai mô hình Haiku và Sonnet đều có thể cung cấp phản hồi ở định dạng JSON khi được yêu cầu.

Tái định nghĩa cuộc họp – cả trực tuyến và ngoại tuyến

Trong tương lai, đội ngũ Meeting.ai đang mở rộng ra toàn cầu và mở rộng khả năng của công cụ. Họ sẽ sớm phát hành chức năng ghi chú thời gian thực, cho phép người dùng phiên mã và tóm tắt các cuộc họp ngoại tuyến mà không cần ghi âm. Ngoài ra, đội ngũ hình dung một tương lai nơi người dùng có thể tham gia các cuộc họp với Meeting.ai.

“Hiện tại chúng tôi đang phát triển một mô hình giọng nói tích hợp để người dùng có thể đặt câu hỏi cho AI”, Hokiman cho biết. “Chúng tôi thậm chí còn muốn thấy những việc lặp đi lặp lại như các cuộc họp nhóm ngắn gọn được giao cho AI, cho phép các nhóm dành nhiều thời gian hơn cho công việc và ít thời gian hơn cho các cuộc họp.”

Khi đội ngũ Meeting.ai tiếp tục phát triển sản phẩm của mình, AWS đang giúp đảm bảo rằng họ luôn có quyền truy cập vào các LLM mới nhất và tự do khám phá mô hình nào phù hợp với họ và khách hàng của họ. “AWS là đối tác mà chúng tôi có thể tin tưởng để theo kịp với thế giới AI thế hệ mới đang phát triển nhanh chóng. Nếu một mô hình mới được phát hành, chúng tôi có thể dễ dàng chuyển đổi. Mọi thứ chúng tôi cần đều có sẵn ngay trong Bedrock”, Hokiman nói.

Tóm lại, Meeting.ai là minh chứng cho sức mạnh của AI trong việc tối ưu hóa các quy trình làm việc, cụ thể là trong lĩnh vực quản lý cuộc họp. Với sự hỗ trợ của AWS và Amazon Bedrock, Meeting.ai hứa hẹn sẽ tiếp tục phát triển, mang đến những trải nghiệm mới mẻ và hiệu quả cho người dùng trên toàn cầu.