66b là một mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh. với 66 tỷ tham số, nó cân bằng giữa hiệu suất và yêu cầu tính toán, phù hợp cho các ứng dụng từ tóm tắt đến phân tích ý định và trả lời câu hỏi.
66b dựa trên kiến trúc transformer có nhiều lớp tự chú ý (self-attention) và cơ chế feed-forward mạnh mẽ. Số lượng tham số lên tới khoảng 66 tỷ, cho phép biểu diễn mối quan hệ ngữ nghĩa phức tạp. Việc huấn luyện dựa trên một tập dữ liệu lớn đa ngôn ngữ và đa domain giúp cải thiện khả năng tổng quát.

Quá trình đào tạo gồm nhiều giai đoạn tiền huấn luyện với tối ưu hóa dựa trên ngữ cảnh, tiếp theo là tuning cho các tác vụ cụ thể. Dữ liệu được thu thập từ nguồn công khai và dữ liệu hợp pháp, đảm bảo tính đa dạng và tính riêng tư.
66b cạnh tranh với các mô hình có kích thước tương đương hoặc lớn hơn bằng cách tối ưu hóa hiệu năng trên phần cứng hiện tại và cải thiện thời gian suy diễn. Mức độ hiểu ngữ nghĩa và khả năng tạo văn bản tự nhiên được cải thiện nhờ kỹ thuật tiền xử lý và định dạng dữ liệu.

66b có thể được tích hợp vào hệ thống hỏi đáp, tổng hợp nội dung và trợ lý ảo doanh nghiệp. Các tiêu chuẩn an toàn và kiểm soát chất lượng được áp dụng để đảm bảo đầu ra có chất lượng và đáng tin cậy trong các ngữ cảnh khác nhau.
