66B là thuật ngữ mô tả một mô hình ngôn ngữ có kích thước khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ khác nhau, từ trả lời câu hỏi đến sáng tác văn bản.
Kiến trúc của 66B dựa trên các lớp transformer, với cơ chế tự attention, cho phép mô hình hiểu ngữ cảnh dài và rút ra quan hệ giữa các từ và câu.

66B được huấn luyện trên tập dữ liệu khổng lồ và đa dạng, bao gồm văn bản từ internet, sách và các nguồn văn bản phi cấu trúc, nhằm tối ưu khả năng hiểu và sinh văn bản tự nhiên.

Ứng dụng phổ biến gồm sinh văn bản, tóm tắt, dịch ngôn ngữ, trả lời câu hỏi và hỗ trợ sáng tạo nội dung. Thách thức lớn gồm yêu cầu tài nguyên tính toán lớn, rủi ro về sai lệch và an toàn khi triển khai.
So với các mô hình quy mô nhỏ hơn, 66B mang lại khả năng nắm bắt ngữ nghĩa phức tạp, khả năng tổng hợp đa ngôn ngữ và sự linh hoạt trong nhiều tác vụ. Tuy nhiên chi phí vận hành và các yếu tố đạo đức cần được cân nhắc.
