人工智能之核心基础 机器学习 第十章 降维算法

import numpy as np
import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
from sklearn.datasets import load_digits, make_classification
from sklearn.preprocessing import StandardScaler

# 加载手写数字数据（8x8=64维）
digits = load_digits()
X, y = digits.data, digits.target

# 标准化（PCA强烈建议！）
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# PCA 降到2维用于可视化
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_scaled)

# 可视化
plt.figure(figsize=(8, 6))
scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='tab10', alpha=0.6)
plt.colorbar(scatter)
plt.title(f"PCA 降维 (保留方差: {pca.explained_variance_ratio_.sum():.2%})")
plt.xlabel("第一主成分")
plt.ylabel("第二主成分")
plt.show()

# 查看各主成分解释的方差比例
print("前5个主成分解释方差比例:", pca.explained_variance_ratio_[:5])

# 尝试不同维度重建数字“8”
digit_8 = X[0].reshape(8, 8)

# 不同主成分数
n_comps = [2, 10, 30, 64]
fig, axes = plt.subplots(1, len(n_comps)+1, figsize=(12, 3))

# 原图
axes[0].imshow(digit_8, cmap='gray')
axes[0].set_title("原始图像")
axes[0].axis('off')

for i, n in enumerate(n_comps):
    pca_temp = PCA(n_components=n)
    X_trans = pca_temp.fit_transform(X_scaled)
    X_recon = pca_temp.inverse_transform(X_trans)  # 重建
    
    recon_img = X_recon[0].reshape(8, 8)
    axes[i+1].imshow(recon_img, cmap='gray')
    axes[i+1].set_title(f"{n}维\n(保留{pca_temp.explained_variance_ratio_.sum():.0%})")
    axes[i+1].axis('off')

plt.tight_layout()
plt.show()

from sklearn.manifold import TSNE

# t-SNE 降维（较慢！）
tsne = TSNE(n_components=2, perplexity=30, random_state=42, n_iter=1000)
X_tsne = tsne.fit_transform(X_scaled)

# 对比图
fig, ax = plt.subplots(1, 2, figsize=(14, 5))

ax[0].scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='tab10', alpha=0.6)
ax[0].set_title("PCA")

ax[1].scatter(X_tsne[:, 0], X_tsne[:, 1], c=y, cmap='tab10', alpha=0.6)
ax[1].set_title("t-SNE")

plt.show()

from sklearn.datasets import fetch_olivetti_faces

# 加载人脸数据（400张，64x64）
faces = fetch_olivetti_faces()
X_face, y_face = faces.data, faces.target

# PCA 降到100维（原4096维）
pca_face = PCA(n_components=100, whiten=True)  # whitening提升效果
X_face_pca = pca_face.fit_transform(X_face)

print(f"压缩率: {X_face_pca.shape[1] / X_face.shape[1]:.2%}")
print(f"保留方差: {pca_face.explained_variance_ratio_.sum():.2%}")

# 可视化前5个“特征脸”（eigenfaces）
fig, axes = plt.subplots(1, 5, figsize=(10, 3))
for i in range(5):
    eigenface = pca_face.components_[i].reshape(64, 64)
    axes[i].imshow(eigenface, cmap='gray')
    axes[i].set_title(f"主成分 {i+1}")
    axes[i].axis('off')
plt.suptitle("特征脸（PCA主成分）")
plt.show()

from sklearn.datasets import load_iris

iris = load_iris()
X_iris, y_iris = iris.data, iris.target

# t-SNE 降维
tsne_iris = TSNE(n_components=2, random_state=42)
X_iris_tsne = tsne_iris.fit_transform(X_iris)

plt.scatter(X_iris_tsne[:, 0], X_iris_tsne[:, 1], c=y_iris, cmap='Set1', s=80)
plt.title("鸢尾花 t-SNE 可视化")
plt.show()