Chuyển đến nội dung chính

Bài đăng

Latest Research Notes

Recent study notes, implementations and essays across AI, NLP, Computer Vision and algorithms.

Overfitting là gì? Nguyên nhân và cách chống quá khớp

Overfitting là gì? Nguyên nhân và kỹ thuật chống quá khớp trong Machine Learning Overfitting (quá khớp) xảy ra khi mô hình học quá sát những đặc điểm riêng của dữ liệu huấn luyện, bao gồm cả nhiễu, khiến khả năng dự đoán trên dữ liệu chưa từng thấy suy giảm. Một mô hình đạt điểm gần như tuyệt đối trên tập train vẫn có thể hoạt động kém trong thực tế; vấn đề cốt lõi không phải học được bao nhiêu, mà là học được điều gì có thể tổng quát hóa . Bài viết đi từ dấu hiệu nhận biết đến các kỹ thuật chống quá khớp và một thí nghiệm Python có thể tự chạy. Tóm tắt nội dung Quá khớp là vấn đề tổng quát hóa : thành tích trên train không thay thế được đánh giá trên dữ liệu độc lập. Đọc đồng thời đường cong train và validation giúp phân biệt thiếu khớp với dấu hiệu quá khớp. Chống quá khớp cần phối hợp kiểm soát độ phức tạp, regularization, early stopping, dữ liệu phù hợp và quy trình đánh giá không rò rỉ . 1. Quá khớp khác gì thiếu khớp và tổng quát hóa? Trong học máy có giám sát, ta dùn...

LDA: Sai lầm thường gặp và kinh nghiệm ứng dụng

Latent Dirichlet Allocation (LDA) có thể tạo ra một danh sách chủ đề trông hợp lý chỉ sau vài dòng Python, nhưng biến danh sách đó thành tri thức đáng tin cậy lại là công việc khó hơn. Bài cuối của chuỗi tập trung vào những điểm cần nhớ, sai lầm phổ biến và kinh nghiệm kiểm tra, diễn giải, vận hành LDA trên dữ liệu thực tế. Tóm tắt nội dung 1. Chủ đề do LDA phát hiện là cấu trúc xác suất của từ , không phải nhãn ngữ nghĩa được xác nhận sẵn. 2. Chất lượng dữ liệu, cách tách từ và số chủ đề K thường quyết định nhiều hơn vẻ ngoài của một bảng kết quả. 3. Phải đánh giá bằng nhiều góc nhìn: từ nổi bật, tài liệu đại diện, độ ổn định và thước đo định lượng phù hợp. 4. Một pipeline hữu ích cần có quy trình gắn nhãn, kiểm soát thay đổi và cách diễn giải thận trọng khi đưa số liệu vào báo cáo. Để nối lại mạch kiến thức, xem Bài 1 – trực giác và cơ chế LDA nếu cần ôn hai lớp phân phối xác suất; hoặc Bài 2 – huấn luyện và đánh giá với Python nếu muốn thực hành trực tiế...

Mô hình dự báo vỡ nợ với German Credit bằng Python

Mô hình dự báo vỡ nợ với bộ dữ liệu German Credit Mô hình dự báo vỡ nợ sử dụng bộ German Credit là một bài toán phân loại rủi ro tín dụng: từ thông tin khoản vay và người đi vay, mô hình ước lượng khả năng hồ sơ thuộc nhóm rủi ro xấu. Bài toán phù hợp để học cách xử lý dữ liệu bảng, xây dựng mô hình có thể giải thích và lựa chọn ngưỡng quyết định khi hai loại sai lầm có chi phí khác nhau. Tóm tắt nội dung German Credit có 1.000 hồ sơ và 20 đặc trưng; nhãn gốc 1 là tốt, 2 là xấu [1]. Pipeline cơ bản: chia tập → mã hóa biến danh mục → chuẩn hóa biến số → Logistic Regression → xác suất rủi ro. ROC-AUC đo khả năng xếp hạng; Brier score hỗ trợ kiểm tra xác suất; ma trận chi phí định hướng ngưỡng phân loại [1], [2]. Đánh giá phải tách rõ train, validation và test, tránh chọn ngưỡng bằng dữ liệu kiểm thử. 1. German Credit thực sự dự báo điều gì? Bộ Statlog (German Credit Data) do Hans Hofmann cung cấp và được lưu trữ tại UCI Machine Learning Repository. Bộ dữ liệu có 1.000 quan sát, 20 ...