OpenAI đang chuẩn bị ra mắt mô hình AI chủ lực mới mang tên Orion vào cuối năm nay. Tuy nhiên, các thông tin từ nội bộ cho biết, Orion chỉ được cải thiện nhỏ so với GPT-4 thay vì tạo nên bước nhảy vọt như giữa GPT-3 và GPT-4. Các nguồn tin tiết lộ rằng khả năng mã hóa – một trong những điểm yếu của GPT – vẫn chưa có nhiều thay đổi, làm giảm kỳ vọng về khả năng vượt trội của mô hình mới.
Orion dự kiến sẽ hoạt động độc lập với mô hình lý luận o1 mà OpenAI công bố vào tháng 9. Theo kế hoạch, công ty hy vọng sẽ kết hợp các mô hình ngôn ngữ lớn (LLM) của mình để hướng tới mục tiêu phát triển trí tuệ nhân tạo tổng quát (AGI). Dù được quảng bá là mạnh hơn GPT-4 đến 100 lần, Orion vẫn bị đánh giá là không đạt được sự đột phá như GPT-4 trước đây.
Giới hạn trong dữ liệu và tính toán
Sự thiếu hụt dữ liệu chất lượng cao đang dần trở thành một rào cản lớn. Theo báo cáo từ Epoch AI, lượng dữ liệu văn bản để huấn luyện AI có thể cạn kiệt vào năm 2028, khiến nhiều công ty phải sử dụng dữ liệu tổng hợp do AI tạo ra. Tuy nhiên, dữ liệu thực tế vẫn có giá trị hơn nhiều trong việc huấn luyện các mô hình AI chất lượng, theo nhận định của Ion Stoica, CEO của Databricks.
Ngoài ra, hạn chế về sức mạnh tính toán cũng đặt ra bài toán khó cho OpenAI. Sam Altman, CEO OpenAI, đã chia sẻ về các thách thức liên quan đến tài nguyên trong một buổi hỏi đáp trên Reddit. Giáo sư Gary Marcus từ Đại học New York nhận định rằng ngành công nghiệp AI có thể đã tiến đến “điểm lợi nhuận giảm dần” do giới hạn về công nghệ và chi phí tính toán ngày càng cao.
Chi phí đào tạo tăng vọt
Theo CEO của Anthropic, Dario Amodei, chi phí đào tạo mô hình AI dự kiến sẽ vượt ngưỡng 100 tỷ USD. Trước đó, việc huấn luyện GPT-4 cũng đã tiêu tốn hơn 100 triệu USD. Mặc dù các khoản đầu tư khổng lồ tiếp tục được đổ vào ngành AI, vẫn chưa có sự đảm bảo về hiệu quả tương xứng từ những khoản đầu tư này.
Triển vọng về mở rộng quy mô AI
Dù có nhiều lo ngại, một số lãnh đạo trong ngành như Kevin Scott, Giám đốc công nghệ của Microsoft, vẫn lạc quan về tiềm năng của AI. Ông cho rằng việc phát triển AI chưa đạt đến đỉnh điểm và tin tưởng rằng việc mở rộng quy mô sẽ giúp cải thiện hiệu suất AI trong tương lai.
Tóm lại, dù Orion được kỳ vọng là một bước tiến mới của OpenAI, các hạn chế về dữ liệu, tính toán và chi phí có thể ảnh hưởng đến khả năng đột phá của mô hình này.
