66B là một mô hình ngôn ngữ có khoảng 66 tỷ tham số, được thiết kế nhằm sinh văn bản tự nhiên, trả lời câu hỏi và hỗ trợ nhiều tác vụ ngôn ngữ khác. Với quy mô lớn, nó có thể kết hợp ngữ cảnh từ nhiều phần dữ liệu để tạo câu trả lời mạch lạc và nhất quán. Mô hình này thường dựa trên kiến trúc Transformer, tận dụng cơ chế attention để xử lý mối liên hệ trong văn bản.
66B dựa trên kiến trúc Transformer với cơ chế attention đa đầu và mạng feed-forward sâu. Mô hình được tối ưu cho xử lý ngôn ngữ tự nhiên và có khả năng tổng hợp kiến thức từ dữ liệu lớn.
66B được huấn luyện trên tập dữ liệu đa dạng gồm văn bản từ web, sách và bài báo, kèm theo các biện pháp lọc và kiểm soát nhằm giảm rủi ro và tăng tính an toàn.
Nhờ khả năng sinh văn bản mạch lạc, 66B có thể được dùng cho trò chuyện tự động, tóm tắt, hỗ trợ viết mã và dịch ngôn ngữ. Tuy nhiên, các thách thức như thiên vị, sai lệch thông tin và tiêu thụ năng lượng vẫn còn tồn tại.
