66B là một mô hình ngôn ngữ quy mô lớn với khoảng 66 tỉ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều tác vụ.
Kiến trúc chủ đạo dựa trên Transformer với cơ chế tự chú ý, nhiều lớp ẩn và một đầu ra tối ưu cho các tác vụ sinh văn bản.
66B được huấn luyện trên một tập dữ liệu phong phú gồm văn bản từ các nguồn công khai và được tiền xử lý để đảm bảo tính logic và tính nhất quán.
Trong các bài kiểm tra chuẩn, 66B cho kết quả cạnh tranh với các mô hình có kích thước lớn hơn ở nhiều khuôn khổ như sinh văn bản, trả lời câu hỏi và tổng hợp.
66B được ứng dụng rộng rãi trong giáo dục, doanh nghiệp và nghiên cứu, tuy nhiên cần quản trị rủi ro về sai lệch thông tin, bảo mật và phát hiện nội dung gây hại.
