Series: SWE Học A.I

Các thuật toán học máy (machine learning), học sâu (deep learning) dù cao cấp, hiện đại đến đâu, nhưng chúng vẫn phụ thuộc rất nhiều vào dữ liệu chất lượng cao. Trong thực tế, có rất nhiều dữ liệu đến từ các cảm biến (cảm biến độ ẩm, nhiệt độ, cảm biến trên ô tô, …) và chúng không tránh khỏi việc bị nhiễu, hay dữ liệu hồ sơ từ bệnh viện, cơ quan hành chính, … nơi có khả năng xảy ra các vấn đề như ghi chép sai, …. Vì vậy, việc chuẩn bị và làm sạch dữ liệu trước khi bắt đầu quá trình huấn luyện là cần thiết.

Một loạt các phương pháp đã được phát triển để phục vụ công việc này, được gọi là kỹ thuật chuẩn bị dữ liệu (data preparation) hoặc làm sạch dữ liệu (data cleaning). Ý tưởng là xử lý dữ liệu trước khi đưa vào huấn luyện, để các hệ thống học máy có thể khai thác dữ liệu một cách hiệu quả nhất.

Data Cleaning

Xử lý dữ liệu dạng văn bản

Nếu dữ liệu ở dạng văn bản, chúng ta cần đảm bảo không có lỗi chính tả, ký tự không in được,…..

Ví dụ, nếu chúng ta có một bộ sưu tập ảnh động vật kèm theo tệp văn bản mô tả, và hệ thống phân biệt chữ hoa chữ thường, thì mọi con hươu cao cổ phải được gắn nhãn là “hươu cao cổ” chứ không phải “hươu cao cô” hay “Hươu Cao Cổ”. Chúng ta cũng cần tránh các biến thể như “hươu cao cổ đẹp” hay “hươu cao cổ siêu cao”. Mỗi tham chiếu đến hươu cao cổ phải sử dụng chuỗi ký tự giống hệt nhau.

Ví dụ minh họa: Giả sử chúng ta có một danh sách nhãn sau:

• hươu cao cổ
• hươu cao cô
• Hươu Cao Cổ
• hươu cao cổ đẹp

Thách thức:

• Xử lý lỗi chính tả và biến thể ngôn ngữ.
• Loại bỏ từ bổ nghĩa hoặc cụm từ không cần thiết.
• Đảm bảo tính nhất quán trong toàn bộ tập dữ liệu.

Để xử lý bài toán này, có thể kể tới 1 số kĩ thuật như stemming, lemmatization.

Stemming

Định nghĩa: Stemming là kỹ thuật giảm một từ về dạng gốc (stem) bằng cách loại bỏ các hậu tố (suffixes) như “-s”, “-es”, “-ed”, hoặc “-ing” (trong tiếng Anh). Trong tiếng Việt, stemming ít phổ biến hơn do ngôn ngữ không có nhiều biến thể hậu tố, nhưng vẫn có thể áp dụng cho các từ ghép hoặc cụm từ

Stemming có nhiều thuật toán khác nhau, chủ yếu được phát triển cho các ngôn ngữ giàu hình thái học như tiếng Anh.

1. Porter Stemmer
   • Cách hoạt động:
     • B1: Loại bỏ hậu tố số nhiều (“-s”, “-es”).
     • B2: Xử lý hậu tố “-ing”, “-ed” (ví dụ: “running” → “run”, “played” → “play”).
     • B3-B5: Xử lý các hậu tố phức tạp hơn như “-ational” → “-ate” (ví dụ: “operational” → “operate”).
   • Ưu điểm:
     • Hiệu quả, nhanh, được tối ưu hóa cho tiếng Anh.
     • Không cần từ điển, dựa hoàn toàn trên quy tắc.
   • Nhược điểm:
     • Quá tích cực (over-stemming), có thể tạo ra dạng gốc không có nghĩa (ví dụ: “happiness” → “happi”).
     • Không phù hợp với các ngôn ngữ ít biến thể hình thái như tiếng Việt.
2. Snowball Stemmer
   • Cách hoạt động:
     • Tương tự Porter, nhưng có thêm các quy tắc tùy chỉnh cho từng ngôn ngữ.
       • Cụ thể, Porter đã được fix cứng các kĩ thuật dữ liệu. Ở Snowball Stemmer, hay Porter2, ta có thể tuỳ chỉnh tập quy tắc này (https://snowballstem.org/texts/introduction.html)
     • Ví dụ: Trong tiếng Anh, “studies” → “studi” (Porter) nhưng Snowball có thể giữ nguyên “study” nếu được tối ưu hóa.
   • Ưu điểm:
     • Linh hoạt, hỗ trợ đa ngôn ngữ.
     • Dễ tùy chỉnh cho các ngôn ngữ mới.
   • Nhược điểm:
     • Vẫn có thể over-stemming hoặc under-stemming (giữ quá nhiều hậu tố).
     • Yêu cầu kiến thức ngôn ngữ học để tạo quy tắc cho tiếng Việt.
3. Lancaster Stemmer
   • Mô tả: Là thuật toán stemming mạnh mẽ hơn Porter, tập trung vào loại bỏ nhiều hậu tố nhất có thể. Nó được thiết kế để tạo ra dạng gốc ngắn nhất.
   • Cách hoạt động:
     • Áp dụng các quy tắc lặp đi lặp lại để cắt bỏ hậu tố, ví dụ: “happiness” → “happ”. Với Porter, ta đi qua các quy tắc theo thứ tự 1,2,3, … để xử lý. Còn Lancaster sẽ lặp lại liên tục để kiểm tra còn cắt được không
     • Có xu hướng cắt bỏ nhiều hơn Porter, dẫn đến dạng gốc rất ngắn.
   • Ưu điểm:
     • Tạo ra dạng gốc rất gọn, giảm kích thước từ vựng.
   • Nhược điểm:
     • Quá tích cực, thường tạo ra dạng gốc không có nghĩa (over-stemming nghiêm trọng).
     • Không phù hợp cho các ứng dụng yêu cầu ngữ nghĩa rõ ràng.
4. Regex-based Stemming (Tùy chỉnh)
   • Mô tả: Sử dụng các biểu thức chính quy (regular expressions) để loại bỏ các hậu tố hoặc từ bổ nghĩa theo quy tắc do người dùng định nghĩa. Phù hợp cho các ngôn ngữ như tiếng Việt, nơi không có nhiều hậu tố hình thái học.
   • Cách hoạt động:
     • Xác định các mẫu từ bổ nghĩa (ví dụ: “đẹp”, “siêu cao” trong tiếng Việt).
     • Loại bỏ các mẫu này bằng regex hoặc danh sách từ dừng (stop words).
   • Ưu điểm:
     • Linh hoạt, dễ tùy chỉnh cho tiếng Việt.
     • Không cần từ điển, phù hợp cho các ứng dụng đơn giản.
   • Nhược điểm:
     • Yêu cầu xây dựng quy tắc thủ công.
     • Không xử lý tốt các biến thể phức tạp hoặc ngữ cảnh.

import re
text = "sản phẩm này rất đẹp và cực kỳ tốt"
cleaned = re.sub(r"\b(rất|cực kỳ|quá|hơi|khá|tương đối)\b", "", text)
print(cleaned)
# -> sản phẩm này  đẹp và  tốt (Ví dụ 1 cách triển khai regex)

Lemmatization

Lemmatization là quá trình đưa một từ hoặc cụm từ về dạng gốc (lemma) dựa trên từ điển và ngữ cảnh, đảm bảo dạng gốc có nghĩa. Không như stemming, lemmatization yêu cầu phân tích ngữ pháp và ngữ nghĩa, thường sử dụng từ điển ngôn ngữ học.

Tokenizatio

Tokenization là quá trình chia nhỏ văn bản thành các đơn vị nhỏ hơn gọi là token (thường là từ, dấu câu, cụm từ). Ví dụ:

from nltk.tokenize import word_tokenize
text = "The cats are running fast."
print(word_tokenize(text))  # ['The', 'cats', 'are', 'running', 'fast', '.']

POS Tagging

POS (Part-of-Speech) Tagging là quá trình gán loại từ cho mỗi token: danh từ (NN), động từ (VB), tính từ (JJ),

Ví dụ:

from nltk import pos_tag
tokens = ['running', 'fast']
print(pos_tag(tokens))  # [('running', 'VBG'), ('fast', 'RB')]

A. Dictionary-based Lemmatization

Sử dụng từ điển để ánh xạ từng từ về dạng gốc. Một trong các công cụ phổ biến là WordNetLemmatizer của NLTK. WordNetLemmatizer là một bộ lemmatizer sử dụng WordNet – cơ sở dữ liệu ngôn ngữ học lớn nhất tiếng Anh. WordNet ánh xạ các từ về nghĩa gốc dựa vào loại từ.

1. Tokenization: tách từ.
2. POS Tagging: xác định loại từ.
3. Ánh xạ về lemma bằng từ điển

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet

def get_wordnet_pos(treebank_tag):
    if treebank_tag.startswith('J'):
        return wordnet.ADJ
    elif treebank_tag.startswith('V'):
        return wordnet.VERB
    elif treebank_tag.startswith('N'):
        return wordnet.NOUN
    elif treebank_tag.startswith('R'):
        return wordnet.ADV
    return wordnet.NOUN  # default fallback

lemmatizer = WordNetLemmatizer()
tokens = word_tokenize("The leaves are falling from the trees")
tagged = pos_tag(tokens)
lemmatized = [lemmatizer.lemmatize(word, get_wordnet_pos(pos)) for word, pos in tagged]
print(lemmatized)
# ['The', 'leaf', 'be', 'fall', 'from', 'the', 'tree']

Ưu điểm:

• Độ chính xác cao nếu loại từ được xác định đúng.
• Giữ nguyên nghĩa và phù hợp cho xử lý ngữ nghĩa.

Nhược điểm:

• Yêu cầu từ điển đầy đủ cho ngôn ngữ.
• Không xử lý tốt ngữ cảnh rộng.

B. Rule-based Lemmatization

Kết hợp từ điển và quy tắc để xử lý cả từ có quy tắc và bất quy tắc. Thường được dùng trong ngôn ngữ học tính toán truyền thống.

1. Áp dụng POS tagging.
2. Nếu từ là bất quy tắc, tra từ điển đặc biệt.
3. Nếu không, áp dụng quy tắc ngữ pháp để ánh xạ về lemma.

Ví dụ:

• “went” → “go”
• “better” → “good” (khi là tính từ so sánh)

def custom_rule_based_lemmatize(word, pos):
    irregular = {'went': 'go', 'better': 'good'}
    if word in irregular:
        return irregular[word]
    if pos.startswith('V') and word.endswith('ing'):
        return word[:-3]
    return word

print(custom_rule_based_lemmatize("running", "VBG"))  # run
print(custom_rule_based_lemmatize("went", "VBD"))     # go

Ưu điểm:

• Kiểm soát tốt, dễ tùy chỉnh.
• Xử lý chính xác từ bất quy tắc.

Nhược điểm:

• Phức tạp khi số lượng quy tắc nhiều.

C. Statistical / Neural Lemmatization

Sử dụng học máy/học sâu để học ánh xạ từ về lemma dựa trên ngữ cảnh. Có thể dùng mô hình như:

• RNN, LSTM
• Transformer (ví dụ: BERT, PhoBERT)
• Sequence-to-sequence với attention

1. Huấn luyện mô hình trên tập dữ liệu có gán nhãn word → lemma.
2. Đầu vào là câu văn (hoặc đoạn văn).
3. Mô hình dự đoán lemma cho từng từ dựa vào ngữ cảnh.

Trong spaCy:

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("She was running very fast")
print([(token.text, token.lemma_) for token in doc])
# [('She', 'she'), ('was', 'be'), ('running', 'run'), ('very', 'very'), ('fast', 'fast')]

Tổng kết

Nhìn chung có thể hiểu đơn giản như sau:

• Stemming: Một cách làm nhanh, sử dụng các quy tắc, sử dụng logic để cắt từ giúp đưa về từ chuẩn hoá. Ví dụ cắt go-ing -> go, study-ing -> study
• Lemmezation: Một cách làm thường chậm hơn Stemming, nhưng có thể hiểu ngữ nghĩa, có thể xử lý các từ như best, better -> good

Kiểm tra lỗi nhập liệu

Chúng ta cần phát hiện các lỗi như thiếu dấu thập phân (ví dụ: 1,000 thay vì 1.000) hoặc nhập sai dấu (ví dụ: –1 thay vì -1). Điều này thường xảy ra trong các dữ liệu tiền tệ, 1,500$ khác hẳn 1.500$ (1 nghìn 500 trăm đô và 1 đô la rưỡi). Hay đôi khi khi đo đạc thời tiết, nếu hôm đó cảm biến hỏng không đo được, người ta để dữ liệu là NaN, là rỗng, là số 0, hoặc -1, ….

Nếu tập dữ liệu về nhiệt độ có giá trị NaN hoặc 0 thay vì nhiệt độ thực. Nếu không sửa, thuật toán có thể hiểu nhầm rằng nhiệt độ bằng 0°C là hợp lệ, dẫn đến dự đoán sai và bị chịu ảnh hưởng rất nhiều (Nó thấy thời tiết đang 40 độ chuyển thành 0 độ rồi lại lên 40 độ). Chúng ta có thể xử lý bằng cách:

import numpy as np
data = pd.Series([25.5, np.nan, 0, 30.2])
data = data.replace(0, np.nan)  # Thay 0 bằng NaN
data = data.fillna(data.mean())  # Điền NaN thành giá trị trung bình

Chuẩn hóa định dạng

Dữ liệu cần được định dạng sao cho phần mềm có thể hiểu đúng. Ví dụ, ký hiệu khoa học (scientific notation) như 7e-3 (0.007) có thể bị một số chương trình hiểu nhầm là (7 × e) – 3, với e là hằng số Euler (~2.7), dẫn đến giá trị khoảng 16 thay vì 0.007. Chúng ta cần kiểm tra và chuẩn hóa định dạng này.

Để đảm bảo tính nhất quán, chúng ta có thể chuyển tất cả các số về dạng thập phân:

value = "7e-3"
corrected_value = float(value)  # Chuyển thành 0.007

Xử lý dữ liệu thiếu

Nếu một mẫu thiếu dữ liệu cho một hoặc nhiều đặc trưng, chúng ta có thể:

• Điền giá trị thủ công hoặc bằng thuật toán (ví dụ: sử dụng giá trị trung bình).
• Loại bỏ mẫu đó nếu không thể khôi phục.

Quyết định này phụ thuộc vào bối cảnh cụ thể. Ví dụ, trong một tập dữ liệu y tế, nếu thiếu giá trị huyết áp, việc điền giá trị trung bình có thể không chính xác, và loại bỏ mẫu có thể là lựa chọn tốt hơn.

Các Loại Dữ liệu

Cơ sở dữ liệu thường chứa nhiều loại dữ liệu khác nhau: số thực, chuỗi, số nguyên đại diện cho danh mục, v.v. Mỗi loại dữ liệu cần được xử lý theo cách riêng.

Dữ liệu Số (Numerical Data)

Dữ liệu số là các giá trị số, có thể là số thực (floating-point) hoặc số nguyên (integer), còn được gọi là dữ liệu định lượng (quantitative data). Dữ liệu này có thể được sắp xếp trực tiếp dựa trên giá trị.

Ví dụ: Nhiệt độ (25.5°C, 30.2°C), chiều cao (1.75m, 1.80m).

Dữ liệu Danh mục (Categorical Data)

Dữ liệu danh mục thường là chuỗi mô tả nhãn, như “bò” hoặc “ngựa vằn”. Có hai loại dữ liệu danh mục:

1. Dữ liệu Thứ tự (Ordinal Data): Có thứ tự tự nhiên, có thể sắp xếp.
   • Ví dụ: Các màu cầu vồng (đỏ, cam, vàng, lục, lam, chàm, tím) có thứ tự theo quang phổ.Ví dụ khác: Các giai đoạn tuổi (trẻ sơ sinh, thiếu niên, người già).

colors = ['đỏ', 'tím', 'cam']
rainbow_order = {'đỏ': 1, 'cam': 2, 'tím': 7}
sorted_colors = sorted(colors, key=lambda x: rainbow_order[x])
# Kết quả: ['đỏ', 'cam', 'tím']

1. Dữ liệu Danh định (Nominal Data): Không có thứ tự tự nhiên.
   • Ví dụ: Các vật dụng văn phòng (kẹp giấy, máy bấm ghim, đồ chuốt bút chì).
   • Ví dụ: Quần áo (tất, áo sơ mi, găng tay, mũ bowler).
   Chúng ta có thể biến dữ liệu danh định thành thứ tự bằng cách áp đặt một thứ tự tùy ý, ví dụ: sắp xếp quần áo từ đầu đến chân (mũ bowler, áo sơ mi, găng tay, tất).

Chuyển đổi dữ liệu phi số

Thuật toán học máy yêu cầu đầu vào là số, nên dữ liệu chuỗi (hoặc dữ liệu phi số khác) cần được chuyển thành số. Một cách đơn giản là tạo danh sách tất cả các chuỗi trong dữ liệu huấn luyện và gán mỗi chuỗi một số duy nhất bắt đầu từ 0.

Ví dụ minh họa:

from sklearn.preprocessing import LabelEncoder
labels = ['bò', 'ngựa vằn', 'bò']
encoder = LabelEncoder()
encoded_labels = encoder.fit_transform(labels)  # [0, 1, 0]

Mã hóa One-Hot

Trong một số trường hợp, việc chuyển đổi số nguyên thành danh sách là hữu ích.

Ví dụ ta có một hệ thống dự đoán xem một chú mèo thuộc chủng mèo nào (mèo anh, mèo nga, ….), và đôi khi ta có một số chú mèo lai, nên ta cũng muốn hệ thống không chỉ trả ra kết quả chú mèo là mèo anh hay mèo nga, mà là hệ thống nghĩ chú có tỉ lệ 70% là mèo anh, 30% là mèo nga chẳng hạn. Lúc này, ta có thể có 10 class (mèo anh, mèo nga, ….), ta gọi mèo anh là lớp 1, mèo nga lớp 2, … Khi hệ thống đưa ra dự đoán, hệ thống có thể trả về 10 số (tương ứng 10 class) với mỗi số thể hiện độ tin cậy của hệ thống dự đoán ảnh ta đưa vào thuộc lớp nào.

• Ví dụ: cho ảnh vào, hệ thống trả ra [0.7, 0.4, 0, 0, 0, …] -> Hệ thống tự tin 70% là mèo anh, 40% là mèo nga, …

Điều này cũng có nghĩa là khi chuẩn bị dữ liệu cho hệ thống để train, thay vì khi huấn luyện trên các ảnh mèo anh – 1, mèo nga – 2, mèo c – 3, …. , số lượng class. Ta sẽ đặt là

• 1 ảnh dữ liệu mèo anh = [1, 0, 0 ,….] (100% mèo anh)
• 1 ảnh dữ liệu mèo nga = [0, 1, 0, ….] (100% mèo nga)
• …. => Chuẩn hoá dạng dữ liệu giúp hệ thống dự đoán.

Việc chuyển đổi một nhãn như 3 hoặc 7 thành danh sách này được gọi là mã hóa one-hot (one-hot encoding), ám chỉ chỉ một phần tử trong danh sách là “nóng” (hot), tức được đánh dấu. Danh sách này đôi khi được gọi là biến giả (dummy variable). Khi cung cấp nhãn lớp cho hệ thống trong quá trình huấn luyện, ta thường sử dụng danh sách mã hóa one-hot này thay vì một số nguyên đơn lẻ.

Một ví dụ tương tự về đánh nhãn cho màu

import numpy as np

def one_hot_encode(label, num_classes):
    return np.eye(1, num_classes, k=label, dtype=int)[0]

# Ví dụ: Mã hóa nhãn 3 trong 10 lớp
print(one_hot_encode(3, 10))  # Output: [0 0 0 1 0 0 0 0 0 0]

Chuẩn hóa và Tiêu chuẩn hóa

Ta thường làm việc với các mẫu có đặc trưng trải dài trên các khoảng số khác nhau. Ví dụ, giả sử ta thu thập dữ liệu về một đàn voi bụi châu Phi với bốn đặc trưng:

1. Tuổi tính bằng giờ (0, 420,000)
2. Cân nặng tính bằng tấn (0, 7)
3. Chiều dài đuôi tính bằng cm (120, 155)
4. Tuổi so với tuổi trung bình lịch sử, tính bằng giờ (−210,000, 210,000)

Các khoảng số này khác biệt đáng kể. Do bản chất số học của các thuật toán, các số lớn có thể ảnh hưởng đến chương trình học nhiều hơn các số nhỏ. Đặc trưng 4 không chỉ lớn mà còn có thể âm.

Để đạt hiệu quả học tốt nhất, ta muốn tất cả dữ liệu có thể so sánh được, hoặc nằm trong cùng một khoảng số.

Chuẩn hóa (Normalization)

Bước đầu tiên phổ biến là chuẩn hóa từng đặc trưng (Feature). Trong thống kê, chuẩn hóa có nghĩa là co giãn dữ liệu vào một khoảng cụ thể, thường là [−1,1] hoặc [0,1], tùy thuộc vào dữ liệu (ví dụ, hệ thống dữ liệu về xác suất bức ảnh có phải quả táo không có thể là [0,1] với 0 là không phải, 1 là tự tin 100% là quả táo).

Giá trị x được co giãn từ −1 đến 1, và giá trị y được co giãn độc lập từ −1 đến 1. Hình guitar bị lệch vì dữ liệu y ban đầu có khoảng [–0.5, 0.2], cần kéo giãn nhiều hơn so với x [–1, 0].

Chuẩn hóa dữ liệu nhiệt độ (0°C đến 40°C) và độ ẩm (20% đến 80%) vào [0,1].

from sklearn.preprocessing import StandardScaler
import numpy as np

data = np.array([[0, 20], [40, 80]])
scaler = StandardScaler()
standardized_data = scaler.fit_transform(data)
print(standardized_data)

Tiêu chuẩn hóa (Standardization)

Một thao tác phổ biến khác là tiêu chuẩn hóa đặc trưng, gồm hai bước:

1. Trừ giá trị trung bình của đặc trưng để trung bình bằng 0 (gọi là chuẩn hóa trung bình).
   • Lấy từng giá trị dữ liệu và trừ đi giá trị trung bình của toàn bộ cột.
   • Mục tiêu: Làm cho trung bình (mean) của cột đó trở thành 0.
   • Gọi là: chuẩn hóa trung bình.
2. Co giãn đặc trưng để có độ lệch chuẩn bằng 1 (chuẩn hóa phương sai).
   • Sau khi đã trừ mean, chia cho độ lệch chuẩn của cột.
   • Mục tiêu: Làm cho dữ liệu có độ lệch chuẩn = 1, tức là không quá phân tán.
   • Gọi là: chuẩn hóa phương sai.

[160, 170, 180]
Mean = (160+170+180)/3 = 170
Std = căn((100 + 0 + 100)/3) = ~8.16
[(160 - 170)/8.16, (170 - 170)/8.16, (180 - 170)/8.16]
=> [-1.22, 0, 1.22]

Chuẩn hóa vs. Tiêu chuẩn hóa: Khi nào dùng cái nào?

• Chuẩn hóa: Phù hợp khi dữ liệu cần giới hạn trong khoảng cố định, ví dụ, mạng nơ-ron yêu cầu đầu vào [0,1].
• Tiêu chuẩn hóa: Phù hợp với các thuật toán giả định dữ liệu tuân theo phân phối chuẩn.

Biến đổi Nghịch đảo

Chúng ta đã tìm hiểu về các phép biến đổi khác nhau có thể áp dụng cho dữ liệu. Tuy nhiên, đôi khi chúng ta muốn hoàn tác, hoặc thực hiện biến đổi nghịch đảo (inverse transformation), để dễ dàng so sánh kết quả với dữ liệu gốc.

Ví dụ, giả sử chúng ta làm việc cho sở giao thông của một thành phố có một tuyến đường cao tốc chính. Thành phố nằm ở phía bắc, nơi nhiệt độ thường xuyên xuống dưới mức đóng băng. Các nhà quản lý nhận thấy mật độ giao thông dường như thay đổi theo nhiệt độ, với nhiều người ở nhà hơn vào những ngày lạnh nhất. Để lập kế hoạch sửa chữa đường và các công trình khác, họ muốn biết số lượng xe dự đoán được trong giờ cao điểm sáng (7-8 giờ sáng) dựa trên nhiệt độ. Vì việc đo lường và xử lý dữ liệu mất một khoảng thời gian, chúng ta quyết định đo nhiệt độ lúc nửa đêm và dự đoán số lượng xe vào sáng hôm sau. Hệ thống của chúng ta bắt đầu hoạt động vào giữa mùa đông, nên chúng ta dự kiến nhiệt độ sẽ dao động cả trên và dưới mức đóng băng (0°C).

Trong vài tháng, chúng ta đo nhiệt độ lúc nửa đêm và đếm tổng số xe đi qua một điểm đánh dấu cụ thể trên đường vào khung giờ 7-8 giờ sáng hôm sau.

Chúng ta muốn cung cấp dữ liệu này cho một hệ thống học máy (machine learning) để tìm ra mối liên hệ giữa nhiệt độ và mật độ giao thông. Sau khi triển khai, chúng ta nhập một mẫu dữ liệu gồm một đặc trưng (feature) là nhiệt độ (đơn vị độ C) và nhận về một số thực dự đoán số lượng xe trên đường.

Giả sử thuật toán hồi quy (regression algorithm) mà chúng ta sử dụng hoạt động tốt nhất khi dữ liệu đầu vào được chuẩn hóa về khoảng [0,1]. Chúng ta có thể chuẩn hóa dữ liệu về khoảng [0,1] trên cả hai trục

Hình này trông giống hình trên, chỉ khác ở chỗ cả hai trục (và dữ liệu) giờ đây đều nằm trong khoảng từ 0 đến 1.

Giả sử chúng ta đã huấn luyện hệ thống và nó dự đoán tốt số lượng xe từ dữ liệu nhiệt độ.

Ngày hôm sau, chúng ta triển khai hệ thống trên một trang web cho các nhà quản lý thành phố. Vào đêm đầu tiên, người quản lý trực ca đo được nhiệt độ lúc nửa đêm là -10°C. Cô ấy mở ứng dụng, tìm ô nhập nhiệt độ, nhập -10 và nhấn nút “Dự đoán giao thông”.

Vấn đề phát sinh

Có vấn đề xảy ra. Chúng ta không thể nhập trực tiếp -10 vào hệ thống đã huấn luyện, vì hệ thống kỳ vọng một số trong khoảng [0,1]. Chúng ta cần biến đổi dữ liệu theo cách nào đó. Cách duy nhất hợp lý là áp dụng cùng phép biến đổi đã dùng cho dữ liệu nhiệt độ khi huấn luyện. Ví dụ, nếu trong tập dữ liệu gốc, -10 được biến đổi thành 0.29, thì khi nhiệt độ là -10°C tối nay, chúng ta nên nhập 0.29, không phải -10.

Đây là lúc chúng ta thấy giá trị của việc lưu phép biến đổi dưới dạng một đối tượng. Chúng ta chỉ cần yêu cầu đối tượng áp dụng cùng phép biến đổi đã sử dụng cho dữ liệu huấn luyện vào dữ liệu mới này. Nếu -10 được biến đổi thành 0.29 trong quá trình huấn luyện, thì bất kỳ đầu vào mới nào là -10 cũng sẽ được biến đổi thành 0.29 khi triển khai.

Giả sử chúng ta nhập đúng nhiệt độ 0.29 vào hệ thống, và nó trả về mật độ giao thông là 0.32. Giá trị này tương ứng với số lượng xe nào đó đã được biến đổi bởi phép biến đổi số lượng xe. Nhưng giá trị này nằm trong khoảng [0,1], vì đó là khoảng dữ liệu huấn luyện biểu thị số lượng xe. Làm thế nào để hoàn tác phép biến đổi này và chuyển nó thành số lượng xe thực tế?

Trong bất kỳ thư viện học máy nào, mỗi đối tượng biến đổi đều đi kèm với một hàm để thực hiện biến đổi nghịch đảo (inverse transformation), giúp hoàn tác phép biến đổi. Trong trường hợp này, nó đảo ngược phép chuẩn hóa đã áp dụng. Nếu đối tượng biến đổi 39 xe thành giá trị chuẩn hóa 0.32, thì phép biến đổi nghịch đảo sẽ chuyển giá trị chuẩn hóa 0.32 trở lại thành 39 xe. Đây là giá trị chúng ta hiển thị cho nhà quản lý thành phố.

Vấn đề với dữ liệu ngoài phạm vi

Một vấn đề có thể xảy ra là khi nhận được mẫu mới ngoài phạm vi dữ liệu gốc. Giả sử một đêm nhiệt độ xuống -50°C, thấp hơn nhiều so với giá trị nhỏ nhất trong dữ liệu gốc. Kết quả là giá trị đã biến đổi sẽ là số âm, nằm ngoài khoảng [0,1]. Tương tự, nếu một đêm rất nóng, nhiệt độ dương có thể biến đổi thành giá trị lớn hơn 1, cũng nằm ngoài khoảng [0,1].

Cả hai trường hợp này đều không có vấn đề. Mục đích chuẩn hóa đầu vào về [0,1] là để huấn luyện hiệu quả và kiểm soát các vấn đề số học. Sau khi hệ thống được huấn luyện, chúng ta có thể nhập bất kỳ giá trị nào, và nó sẽ tính toán đầu ra tương ứng. Tuy nhiên, chúng ta vẫn cần chú ý đến dữ liệu. Nếu hệ thống dự đoán số xe âm cho ngày mai, chúng ta không nên lập kế hoạch dựa trên con số đó.

Để minh họa, hãy giả định một tập dữ liệu nhiệt độ từ -20°C đến 20°C và số lượng xe từ 0 đến 1000. Chúng ta áp dụng chuẩn hóa tuyến tính (linear normalization):

• Chuẩn hóa nhiệt độ:
  • Công thức: [latex]x’ = \frac{x – x_{\text{min}}}{x_{\text{max}} – x_{\text{min}}}[/latex]
  • Với [latex]x_{\text{min}} = -20[/latex], [latex]x_{\text{max}} = 20[/latex]:
    • Nếu [latex]x = -10[/latex], thì [latex]x’ = \frac{-10 – (-20)}{20 – (-20)} = \frac{10}{40} = 0.25[/latex]
  • Lưu các tham số [latex]x_{\text{min}} = -20[/latex] và [latex]x_{\text{max}} = 20[/latex].
• Chuẩn hóa số lượng xe:
  • Công thức tương tự, với [latex]y_{\text{min}} = 0[/latex], [latex]y_{\text{max}} = 1000[/latex]:
    • Nếu [latex]y = 320[/latex], thì [latex]y’ = \frac{320 – 0}{1000 – 0} = 0.32[/latex]
• Biến đổi nghịch đảo:
  • Công thức: [latex]x = x’ \cdot (x_{\text{max}} – x_{\text{min}}) + x_{\text{min}}[/latex]
  • Với đầu ra [latex]y’ = 0.32[/latex]:
    • [latex]y = 0.32 \cdot (1000 – 0) + 0 = 320[/latex] xe.

from sklearn.preprocessing import MinMaxScaler
import numpy as np

# Dữ liệu giả lập
temps = np.array([-20, -10, 0, 10, 20]).reshape(-1, 1)
cars = np.array([0, 200, 500, 800, 1000]).reshape(-1, 1)

# Tạo và huấn luyện bộ chuẩn hóa
temp_scaler = MinMaxScaler()
car_scaler = MinMaxScaler()
temp_scaled = temp_scaler.fit_transform(temps)
car_scaled = car_scaler.fit_transform(cars)

# Biến đổi dữ liệu mới
new_temp = np.array([[-10]])
new_temp_scaled = temp_scaler.transform(new_temp)  # Kết quả: [[0.25]]

# Giả sử mô hình dự đoán được 0.32
pred_scaled = np.array([[0.32]])
pred_cars = car_scaler.inverse_transform(pred_scaled)  # Kết quả: [[320]]

print(f"Nhiệt độ -10°C -> Chuẩn hóa: {new_temp_scaled[0][0]:.2f}")
print(f"Dự đoán chuẩn hóa 0.32 -> Số xe: {pred_cars[0][0]:.0f}")

Thu gọn tập dữ liệu (Data Shrink)

Chúng ta đã xem xét các cách điều chỉnh số liệu trong dữ liệu và lựa chọn dữ liệu cho từng phép biến đổi. Bây giờ, hãy xem xét một loại biến đổi khác nhằm thu gọn dữ liệu, tạo ra một tập dữ liệu nhỏ hơn tập huấn luyện ban đầu, thường bằng cách loại bỏ hoặc kết hợp các đặc trưng.

Lợi ích của việc này là tăng tốc độ và độ chính xác khi huấn luyện. Ít dữ liệu hơn nghĩa là huấn luyện nhanh hơn, cho phép học nhiều hơn trong cùng khoảng thời gian, dẫn đến hệ thống chính xác hơn.

Lựa chọn đặc trưng (Feature Selection)

Nếu dữ liệu chứa các đặc trưng dư thừa, không liên quan hoặc không hữu ích, chúng ta nên loại bỏ chúng để tiết kiệm thời gian. Quá trình này gọi là lựa chọn đặc trưng (feature selection) hoặc lọc đặc trưng (feature filtering).

Ví dụ, giả sử chúng ta gắn nhãn thủ công hình ảnh của voi, nhập kích thước, loài và các đặc điểm khác vào cơ sở dữ liệu. Vì lý do nào đó, chúng ta có một trường cho số lượng đầu. Voi chỉ có một đầu, nên trường này chỉ toàn số 1, do đó vô dụng và làm chậm quá trình. Chúng ta nên loại bỏ trường này.

Tổng quát hơn, chúng ta có thể loại bỏ các đặc trưng đóng góp rất ít hoặc có ít tác động nhất đến kết quả. Ví dụ, với tập dữ liệu về voi, chiều dài vòi và kích thước tai có thể tương quan chặt chẽ. Nếu vậy, chúng ta có thể loại bỏ một trong hai mà vẫn giữ được thông tin.

Nhiều thư viện cung cấp công cụ để đánh giá tác động của việc loại bỏ từng trường. Chúng ta sử dụng thông tin này để đơn giản hóa cơ sở dữ liệu, tăng tốc học mà không mất quá nhiều độ chính xác. Vì loại bỏ đặc trưng là một phép biến đổi, bất kỳ đặc trưng nào bị loại khỏi tập huấn luyện cũng phải bị loại khỏi dữ liệu tương lai.

Giảm chiều dữ liệu (Dimensionality Reduction)

Một cách khác để thu gọn tập dữ liệu là kết hợp các đặc trưng, để một đặc trưng thay thế cho hai hoặc nhiều đặc trưng. Quá trình này gọi là giảm chiều dữ liệu (dimensionality reduction), với chiều là số lượng đặc trưng.

Ví dụ, chỉ số khối cơ thể (BMI) là một số kết hợp chiều cao và cân nặng. Một số chỉ số sức khỏe có thể được tính toán chỉ với BMI. Ví dụ, biểu đồ giúp người dùng quyết định xem có cần giảm cân có thể được lập chỉ mục bởi tuổi và BMI, chúng ta có thể giảm từ feature (chiều cao, cân nặng) -> (BMI).

Reference:

• Deep Learning – Andrew Glassner
• Data Science from Scratch – Joel Grus

Học cách suy ra các quy tắc tổng quát từ một tập hợp ví dụ hữu hạn là một thách thức lớn, dù là đối với con người hay máy tính. Nếu chúng ta không chú ý đủ đến chi tiết của các ví dụ, các quy tắc sẽ quá chung chung và khó áp dụng cho dữ liệu mới. Ngược lại, nếu tập trung quá mức vào chi tiết, các quy tắc sẽ trở nên quá cụ thể, dẫn đến việc xử lý dữ liệu mới không hiệu quả. Hai hiện tượng này được gọi là underfitting và overfitting. Trong đó, overfit là vấn đề phổ biến và khó xử lý hơn, có thể khiến hệ thống trở nên gần như vô dụng nếu không được kiểm soát. Để khắc phục, chúng ta sử dụng các kỹ thuật được gọi chung là regularization (chuẩn hóa).

Overfit và Underfit

Overfit

Hãy tưởng tượng bạn tham dự một đám cưới ngoài trời, nơi bạn không quen biết ai. Trong buổi chiều, bạn gặp gỡ và trò chuyện với nhiều người, cố gắng ghi nhớ tên họ. Để dễ nhớ, bạn liên kết ngoại hình với tên. Chẳng hạn, bạn gặp một người tên Minh có tóc xoăn, nên bạn hình dung Minh là một bạn có tóc rất xoăn, do chắc chắn rằng trong bữa tiệc đó chẳng có ai tóc xoăn bằng Minh, điều này càng củng cố khả năng ghi nhớ của bạn. Sau đó, bạn gặp Lan, người đeo bông tai màu ngọc lam, và bạn liên tưởng bông tai màu ngọc lam thành tên Lan, vì theo bạn thấy, đây cũng là một đặc điểm hiếm gặp và giúp bạn dễ xác định người nào tên gì hơn. Trong bữa tiệc, khi đi xung quanh và gặp lại Minh, Lan vài lần, hệ thống này có vẻ hoạt động khá tốt dù có rất nhiều người trong bữa tiệc.

Nhưng tại tiệc tối, bạn gặp một người mới cũng có tóc rất xoăn. Bạn gọi ngay: “Chào Minh!” nhưng chỉ nhận lại 1 ánh mắt ngơ ngác, và họ tự nhận là một người khác. Tương tự, bạn gặp một người đeo bông tai ngọc lam, nhưng đó là Hoa, không phải Lan. Vấn đề nằm ở chỗ bạn đã liên kết tên với một đặc điểm quá cụ thể. Đây chính là overfit: bạn học quá tốt dữ liệu ban đầu (những người trong tiệc chiều) nhưng không tổng quát hóa được cho dữ liệu mới (những người trong tiệc tối).

Trong học máy, overfit xảy ra khi mô hình tập trung vào các đặc điểm đặc thù của dữ liệu huấn luyện, thay vì học các quy tắc tổng quát. Chẳng hạn, trong một bài toán nhận diện giống chó (như trong bài viết trước), mô hình có thể nhầm lẫn một con chó husky trên ghế sofa là chó Yorkshire terrier, chỉ vì nó dựa vào ghế sofa thay vì đặc điểm của con chó.

Underfit

Ngược lại với overfit, underfit xảy ra khi mô hình tạo ra các quy tắc quá chung chung. Quay lại ví dụ đám cưới, nếu bạn kết luận rằng “tất cả những người mặc quần là Minh”, quy tắc này quá đơn giản và không thể áp dụng cho người mới. Trong học máy, underfit thường do mô hình quá đơn giản hoặc thiếu dữ liệu huấn luyện. Ví dụ, một mô hình tuyến tính (linear model) có thể không đủ phức tạp để phân loại dữ liệu phi tuyến.

Ví dụ thực tế: Dự đoán giá nhà

Giả sử bạn xây dựng một mô hình dự đoán giá nhà chỉ dựa trên diện tích. Mô hình tuyến tính đơn giản [latex]y = ax + b[/latex] có thể không đủ để dự đoán chính xác, vì giá nhà còn phụ thuộc vào vị trí, số phòng, tiện ích, v.v. Đây là underfit, vì mô hình không học được các đặc điểm quan trọng.

Phát hiện và xử lý Overfit

Để phát hiện overfit, chúng ta sử dụng tập kiểm chứng (validation set) (như đã đề cập ở bài trước) để đánh giá sai số kiểm chứng (validation error), ước lượng sai số tổng quát (generalization error). Khi sai số huấn luyện giảm nhưng sai số kiểm chứng tăng, đó là dấu hiệu của overfit.

• Biểu đồ thể hiện rõ, model đang có vẻ hoạt động ngày càng tốt trên tập dữ liệu huấn luyện cho nó, nhưng khi thử trên tập dữ liệu kiểm chứng (validation) thì sau lần chạy 30, sai sót ngày càng lớn => Điều này thể hiện model đã học phải những đặc điểm tưởng chừng có vẻ tốt, và nó làm tốt trên tập huấn luyện hơn. Nhưng thực tế, những thứ được học này không tổng quát và làm hiệu năng với các dữ liệu nó chưa từng thấy kém đi <- hay dữ liệu thực tế mà ta sẽ gặp.

Khi sai số kiểm chứng tăng (khoảng epoch 20), chúng ta nên dừng huấn luyện để tránh overfit. Đây là kỹ thuật dừng sớm (early stopping).

Giả sử bạn được thuê để xây dựng một hệ thống tự động điều chỉnh nhịp độ (tempo) nhạc nền cho một cửa hàng. Chủ cửa hàng thường xuyên thay đổi nhịp độ trong ngày, và bạn ghi lại dữ liệu như sau:

• 9h sáng: 80 BPM (nhịp chậm, thư giãn).
• 12h trưa: 120 BPM (nhịp nhanh, sôi động).
• 3h chiều: 100 BPM (nhịp trung bình).

Bạn thử khớp một đường cong với dữ liệu này

Đường cong ban đầu quá “lắc léo”, thay đổi nhịp độ quá thường xuyên, gây khó chịu cho khách hàng, vì chỉ cần một thay đổi nhỏ trên thời gian, bạn cũng sẽ cố điều chỉnh nhạc ngay theo dấu hiệu đó – dấu hiệu của overfit.

Sau đó, bạn thử một đường cong đơn giản hơn

Nhưng nó quá chung chung, bỏ qua xu hướng nhịp chậm vào sáng và nhanh vào chiều – dấu hiệu của underfit.

Cuối cùng, bạn tìm được một đường cong cân bằng, khớp tốt với xu hướng chung mà không quá chi tiết.

Khách hàng hài lòng với đường cong này và nhịp độ của các bài hát nó chọn trong ngày. Chúng ta đã tìm được một điểm nằm giữa overfit và underfit. Trong ví dụ này, việc tìm đường cong tốt nhất dựa trên cảm nhận cá nhân, nhưng sau này chúng ta sẽ xem các cách thuật toán để tìm điểm cân bằng giữa underfit/overfit.

Ở bên trái hình trên, một điểm tròn nằm sâu trong vùng hình vuông, dẫn đến đường biên phức tạp. Chúng ta gọi điểm cô lập này là điểm ngoại lai (outlier), và thường xem nó với sự nghi ngờ.

Có thể đây là lỗi đo lường hoặc ghi chép, hoặc chỉ là một dữ liệu hợp lệ nhưng rất bất thường. Thu thập thêm dữ liệu sẽ giúp xác định trường hợp này, nhưng nếu chỉ có tập dữ liệu này, chúng ta cần quyết định phải làm gì. Việc vẽ đường biên để khớp với điểm này có thể khiến chúng ta phân loại sai các điểm dữ liệu mới trong vùng hình vuông, vì chúng rơi vào phía màu xanh của đường biên lạ. Có lẽ tốt hơn là chọn đường cong đơn giản hơn như ở bên phải, và chấp nhận điểm này là lỗi.

• Ví dụ, dữ liệu về điểm số của sinh viên, đôi lúc do giáo viên điền nhầm, có thể nhầm giữa 10 điểm và 1 điểm, việc bỗng nhiên xuất hiện 1 điểm số 1 cho một sinh viên thường xuyên được điểm cao có thể làm model đánh giá phạt rất nặng, và dự đoán sai lầm.

Dừng sớm (Early Stopping)

Có thể nói rằng, khi bắt đầu huấn luyện mô hình, chúng ta đang underfit. Mô hình chưa thấy đủ ví dụ để tìm ra cách xử lý đúng, nên các quy tắc còn chung chung và mơ hồ.

Khi huấn luyện thêm và mô hình tinh chỉnh các đường biên, sai số huấn luyện và kiểm chứng thường giảm. Để thảo luận.

Tại một thời điểm, chúng ta thấy sai số huấn luyện tiếp tục giảm, nhưng sai số kiểm chứng bắt đầu tăng (có thể đi ngang một thời gian trước). Bây giờ chúng ta đang overfit. Sai số huấn luyện giảm vì chúng ta ngày càng đúng chi tiết. Nhưng chúng ta đang điều chỉnh kết quả quá mức cho dữ liệu huấn luyện, và sai số tổng quát (hoặc ước lượng của nó, sai số kiểm chứng) tăng lên.

Từ phân tích này, chúng ta có 1 phương pháp đơn giản: khi bắt đầu overfit, hãy dừng huấn luyện. Trong hình trên, khoảng 28 epoch, khi sai số kiểm chứng tăng dù sai số huấn luyện giảm, chúng ta nên dừng. Kỹ thuật này gọi là dừng sớm (early stopping), vì chúng ta dừng huấn luyện trước khi sai số huấn luyện đạt zero. Có thể nghĩ đây là dừng phút cuối, vì chúng ta huấn luyện lâu nhất có thể, chỉ dừng khi tìm được biểu diễn tốt nhất mà không overfit.

Trong thực tế, các phép đo sai số hiếm khi mượt mà như đường cong lý tưởng trong hình trên. Chúng thường có nhiễu và có thể đi “sai hướng” trong thời gian ngắn, nên khó tìm điểm dừng chính xác. Hầu hết thư viện dừng sớm cung cấp các biến để làm mượt các đường cong sai số, phát hiện khi sai số kiểm chứng thực sự tăng.

Chuẩn hóa (Regularization)

Chúng ta luôn muốn khai thác tối đa thông tin từ dữ liệu huấn luyện, dừng ngay trước khi overfit. Dừng sớm kết thúc học khi sai số kiểm chứng tăng, nhưng nếu có cách trì hoãn hiện tượng này, chúng ta có thể huấn luyện lâu hơn và tiếp tục giảm cả sai số huấn luyện và kiểm chứng.

Hãy lấy ví dụ nướng gà tây trong lò. Nếu chỉ đặt gà vào chảo và nướng ở nhiệt độ cao, phần bên ngoài sẽ cháy. Nhưng nếu muốn nướng lâu hơn mà không cháy, chúng ta có thể bọc gà trong giấy bạc. Giấy bạc trì hoãn việc cháy, cho phép nướng lâu hơn.

Các kỹ thuật trì hoãn overfit được gọi chung là phương pháp chuẩn hóa (regularization methods). Máy tính không biết nó đang overfit. Khi yêu cầu học từ dữ liệu huấn luyện, nó học tốt nhất có thể. Nó không biết khi nào vượt qua ranh giới từ “kiến thức tốt” sang “kiến thức quá cụ thể”, nên chúng ta phải quản lý vấn đề này.

Một cách phổ biến để chuẩn hóa là giới hạn giá trị các tham số của bộ phân loại. Ý tưởng cốt lõi là giữ tất cả tham số ở giá trị nhỏ, ngăn bất kỳ tham số nào thống trị (Domke 2008). Điều này khiến bộ phân loại khó phụ thuộc vào các đặc điểm hẹp, riêng biệt.

Quay lại ví dụ ghi nhớ tên. Khi nhớ Minh với tóc rất xoăn, thông tin này thống trị mọi thứ khác. Các đặc điểm khác như giới tính, chiều cao, màu áo, giọng nói bị bỏ qua và xem nhẹ. Khi gặp người khác có tóc xoăn, đặc điểm đó thống trị và chúng ta nhầm người đó là Minh.

Mức độ chuẩn hóa tốt nhất thay đổi tùy theo mô hình và tập dữ liệu, nên chúng ta thường phải thử nhiều giá trị. Mức chuẩn hóa được chỉ định bằng một siêu tham số, thường ký hiệu là [latex]\lambda[/latex] (lambda). Giá trị [latex]\lambda[/latex] lớn hơn nghĩa là chuẩn hóa mạnh hơn.

Việc giữ giá trị tham số nhỏ cũng khiến các đường biên của bộ phân loại không quá phức tạp và lắc léo. Chúng ta có thể dùng tham số chuẩn hóa [latex]\lambda[/latex] để chọn độ phức tạp của đường biên. Giá trị [latex]\lambda[/latex] cao cho các đường biên mượt mà, còn giá trị thấp cho phép đường biên khớp sát hơn với dữ liệu.

Cụ thể về việc triển khai Regularization sẽ nói thêm ở phần sau.

Độ lệch và Phương sai (Bias and Variance)

Các thuật ngữ thống kê độ lệch (bias) và phương sai (variance) liên quan chặt chẽ đến overfit/underfit, và thường được nhắc đến khi thảo luận các chủ đề này. Chúng ta có thể nói độ lệch đo xu hướng của hệ thống học sai một cách nhất quán, và phương sai đo xu hướng học các chi tiết không liên quan (Domingos, 2015). Nói cách khác, độ lệch lớn nghĩa là hệ thống thiên kiến về một loại kết quả cụ thể, còn phương sai lớn nghĩa là các câu trả lời của hệ thống quá cụ thể với dữ liệu.

Khớp với dữ liệu cơ bản

Giả sử một người bạn là nhà nghiên cứu khí quyển nhờ chúng ta giúp đỡ. Cô ấy đã đo tốc độ gió tại một điểm trên đỉnh núi, cùng thời điểm mỗi ngày, trong vài tháng. Dữ liệu đo được thể hiện

Cô ấy tin rằng dữ liệu đo được là tổng của một đường cong lý tưởng, giống nhau qua các năm, và nhiễu, thể hiện các dao động không dự đoán được hàng ngày. Dữ liệu đo được gọi là đường cong nhiễu, vì là tổng của đường cong lý tưởng và nhiễu.

Nhà nghiên cứu tin rằng cô ấy có một mô hình tốt để mô tả nhiễu. Nhưng mô tả nhiễu là thống kê, nên cô ấy không thể dùng nó để sửa các phép đo hàng ngày. Nói cách khác, nếu biết chính xác giá trị nhiễu bên phải, cô ấy có thể trừ chúng từ các phép đo để được đường cong sạch bên trái. Nhưng cô ấy không có các giá trị nhiễu cụ thể.

Đây là một cách để làm sạch dữ liệu nhiễu. Chúng ta có thể quay lại dữ liệu nhiễu và thử khớp một đường cong mượt mà (Bishop, 2006). Bằng cách chọn độ phức tạp của đường cong đủ lắc léo để theo dữ liệu, nhưng không quá lắc léo để khớp chính xác từng điểm, chúng ta hy vọng khớp tốt với hình dạng chung của đường cong, là điểm khởi đầu tốt để tìm đường cong lý tưởng.

Có nhiều cách để khớp một đường cong mượt với dữ liệu nhiễu. Dao động nhỏ ở đầu phải là đặc trưng của loại đường cong này, thường nhảy vọt gần mép tập dữ liệu.

Đường cong này trông không quá tệ. Nhưng chúng ta có thể làm tốt hơn không?

Hãy áp dụng ý tưởng độ lệch và phương sai vào bài toán tìm đường cong lý tưởng.

Hãy tạo 50 phiên bản của dữ liệu nhiễu ban đầu, mỗi phiên bản chứa 30 điểm được chọn ngẫu nhiên, không lặp lại. Năm phiên bản đầu được thể hiện

Hãy thử khớp mỗi tập điểm này với các đường cong đơn giản và đường cong phức tạp, rồi so sánh kết quả theo độ lệch và phương sai.

Độ lệch cao, Phương sai thấp

Chúng ta sẽ khớp dữ liệu bằng các đường cong đơn giản, mượt mà. Vì đã chọn các đặc tính này trước, chúng ta kỳ vọng các đường cong kết quả sẽ giống nhau.

Như dự đoán, các đường cong đều đơn giản và khá tương đồng. Vì các đường cong rất giống nhau, chúng ta nói tập hợp này thể hiện độ lệch cao (high bias). Độ lệch ở đây ám chỉ ưu tiên định sẵn cho hình dạng đơn giản. Vì các đường cong quá đơn giản, mỗi đường cong thiếu linh hoạt để đi qua nhiều điểm dữ liệu nhất.

Phương sai (variance) đề cập đến mức độ khác biệt giữa các đường cong. Để quan sát phương sai của các đường cong có độ lệch cao này, ta có thể vẽ chồng 50 đường cong lên nhau, như trong hình sau

Đúng như dự đoán, các đường cong rất giống nhau, thể hiện phương sai thấp (low variance).

Tóm lại, tập hợp đường cong này có độ lệch cao, vì chúng có hình dạng gần giống nhau, và phương sai thấp, vì các đường cong riêng lẻ không bị ảnh hưởng nhiều bởi dữ liệu.

Độ lệch thấp, Phương sai cao

Bây giờ, hãy thử giảm bớt ràng buộc rằng các đường cong phải đơn giản. Điều này cho phép chúng ta khớp các đường cong phức tạp hơn với dữ liệu, khiến mỗi đường cong tiến gần hơn đến các điểm màu xanh.

So với hình ban đầu, các đường cong này uốn lượn hơn, với nhiều đỉnh và đáy. Dù vẫn không đi qua quá nhiều điểm, chúng có vẻ tốt hơn.

Do hình dạng của các đường cong này phức tạp và linh hoạt hơn, chúng bị ảnh hưởng nhiều hơn bởi dữ liệu so với bất kỳ giả định ban đầu nào. Vì chúng ta đặt ít ràng buộc hơn lên hình dạng đường cong, ta nói rằng tập hợp này có độ lệch thấp (low bias). Tuy nhiên, các đường cong này rất khác nhau. Điều này được thể hiện khi vẽ chồng 50 đường cong lên nhau, như trong hình dưới.

Các đường cong này không cùng một hình dạng, nên chúng có độ lệch thấp. Hơn nữa, chúng rất khác nhau và bị ảnh hưởng mạnh bởi dữ liệu, nên tập hợp có phương sai cao (high variance).

So sánh các đường cong

Một nhà khoa học khí quyển yêu cầu chúng ta tìm một đường cong khớp với đường cong lý tưởng ẩn trong dữ liệu của cô ấy. Chúng ta đã tạo ra 50 tập hợp điểm nhỏ, được rút ngẫu nhiên từ dữ liệu gốc có nhiễu. Khi khớp các đường cong đơn giản, mượt mà với các tập hợp điểm này, các đường cong liên tục bỏ qua hầu hết các điểm dữ liệu. Tập hợp đường cong này có độ lệch cao, tức là có xu hướng thiên về một kết quả cụ thể (mượt mà và đơn giản). Các đường cong không bị ảnh hưởng nhiều bởi dữ liệu mà chúng dự định khớp, nên tập hợp này có phương sai thấp.

Ngược lại, khi khớp các đường cong phức tạp và uốn lượn với các tập hợp điểm này, các đường cong có thể khớp tốt hơn với dữ liệu và tiến gần hơn đến hầu hết các điểm. Vì chúng bị ảnh hưởng nhiều hơn bởi dữ liệu hơn là xu hướng định trước về hình dạng, tập hợp đường cong này có độ lệch thấp. Nhưng tính linh hoạt của các đường cong khiến chúng rất khác nhau, tức là tập hợp này có phương sai cao.

Tóm lại, tập hợp đầu tiên có độ lệch cao và phương sai thấp, còn tập hợp thứ hai có độ lệch thấp và phương sai cao.

Lý tưởng nhất, chúng ta muốn có các đường cong với độ lệch thấp (để không áp đặt ý tưởng định sẵn về hình dạng) và phương sai thấp (để các đường cong khác nhau tạo ra kết quả khớp gần giống nhau với dữ liệu gốc có nhiễu). Tuy nhiên, trong hầu hết các tình huống thực tế, khi một đại lượng giảm, đại lượng kia tăng. Điều này có nghĩa là chúng ta phải tìm ra sự đánh đổi tốt nhất giữa độ lệch và phương sai cho từng tình huống cụ thể.

Chúng ta có thể thấy cách độ lệch và phương sai giúp mô tả hiện tượng underfitting và overfitting. Ở giai đoạn đầu của quá trình huấn luyện, khi hệ thống cố gắng tìm cách biểu diễn dữ liệu huấn luyện, nó tạo ra các quy tắc chung, tức là underfit. Nếu các quy tắc này là ranh giới giữa các lớp dữ liệu, chúng có dạng các đường cong. Khi huấn luyện trên nhiều tập dữ liệu tương tự nhưng khác nhau, chúng ta sẽ thấy các đường cong có hình dạng đơn giản và giống nhau, tức là có độ lệch cao và phương sai thấp.

Ở giai đoạn sau của quá trình huấn luyện, các đường cong cho mỗi tập dữ liệu trở nên phức tạp hơn. Có ít điều kiện tiên quyết về hình dạng của chúng, nên chúng có độ lệch thấp, và chúng có thể khớp chặt chẽ với dữ liệu huấn luyện, nên chúng có phương sai cao. Khi để hệ thống huấn luyện quá lâu, các đường cong có phương sai cao bắt đầu bám sát dữ liệu đầu vào quá chặt, dẫn đến overfit.

Hàng trên: Bốn đường cong chúng ta muốn khớp. Hàng giữa: Sử dụng các đường cong có độ lệch cao và phương sai thấp. Hàng dưới: Các đường cong có độ lệch thấp và phương sai cao. Hình bên phải ở hai hàng dưới cho thấy bốn đường cong được vẽ chồng lên nhau.

Ở hàng giữa, độ lệch cao mang lại các đường cong đơn giản, đẹp mắt (tránh overfit), nhưng phương sai thấp khiến chúng không thể khớp tốt với dữ liệu. Ở hàng dưới, độ lệch thấp cho phép các đường cong khớp tốt hơn với dữ liệu, nhưng phương sai cao khiến chúng có thể khớp quá tốt (gây nguy cơ overfit).

Nói chung, chúng ta cần tìm sự cân bằng phù hợp giữa hai đại lượng này theo cách tốt nhất cho mục tiêu của từng dự án cụ thể, dựa trên thuật toán và dữ liệu đang sử dụng.

Tổng kết:

• Chúng ta có 1 đường cong làm sạch từ dữ liệu nhiễu. Nhưng câu hỏi là: Đường cong này có thực sự tốt không? Làm sao biết nó có gần với đường cong lý tưởng thật sự?
• Có thể thấy, từ việc kiểm chứng variance và bias, không có mô hình “hoàn hảo” – luôn phải đánh đổi giữa:
  • Độ chính xác (bias thấp)
  • Độ ổn định (variance thấp)

Trong một số ứng dụng, độ lệch cao hoặc phương sai cao có thể chấp nhận được. Ví dụ, nếu biết rằng tập huấn luyện hoàn toàn đại diện cho dữ liệu tương lai, chúng ta không quan tâm đến phương sai và thay vào đó nhắm đến độ lệch thấp nhất, vì khớp hoàn hảo với tập huấn luyện là điều chúng ta muốn. Ngược lại, nếu biết rằng tập huấn luyện không đại diện tốt cho dữ liệu tương lai (nhưng đó là thứ tốt nhất chúng ta có), chúng ta có thể không quan tâm đến độ lệch, vì khớp với tập dữ liệu kém này không quan trọng, nhưng chúng ta muốn phương sai thấp nhất để có cơ hội thực hiện điều gì đó hợp lý với dữ liệu tương lai.

Reference:

• Deep Learning – Andrew Glassner
• Data Science from Scratch – Joel Grus