原理：

KNN 算法也叫K近邻算法。假设给定一个训练数据集，其中的实例类别已定。它是通过找到一个数据集中与目标数据最近的K个邻居，然后通过多数表决等方式来预测目标数据的分类结果进行预测。

三要素：

距离度量、K值、分类决策规则

功能：

KNN算法是一种基于实例的学习算法，不需要对数据进行建模，因此非常适合用于分类和回归问题。它也是监督学习方法里的一种常用方法。

主要实现步骤：

计算测试数据与各训练数据之间的距离。

按照距离的大小进行排序。

选择其中距离最小的k个样本点。

确定K个样本点所在类别的出现频率。

返回K个样本点中出现频率最高的类别作为最终的预测分类。

对癌症肿瘤进行预测

import numpy as np
import matplotlib.pyplot as plt
from collections import Counter  # 为了做投票# raw_data_x属于特征值，分别属于患病时间和肿瘤大小
raw_data_x = [[3.3935, 2.3312],[3.1101, 1.7815],[1.3438, 3.3684],[3.5823, 4.6792],[2.2804, 2.8670],[7.4234, 4.6965],[5.7451, 3.5340],[9.1722, 2.5111],[7.7928, 3.4241],[7.9398, 0.7916]]# raw_data_y属于目标值，0代表良性肿瘤，1代表恶性肿瘤
row_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]class KNNClassifier:def __init__(self, k):assert k > 1, "K值必须大于1"self.k = kself.x_train = Noneself.y_train = Nonedef fit(self, x_train, y_train):"""根据训练数据集x_train和y_train训练分类器x_train: 训练数据的特征y_train: 训练数据的目标"""assert x_train.shape[0] == y_train.shape[0], "x_train的大小必须等于y_train的大小"assert self.k <= x_train.shape[0], "x_train的大小必须大于K"self.x_train = x_trainself.y_train = y_traindef euc_dis(self, instance1, instance2):"""计算两个样本instance1和instance2之间的欧式距离instance1: 第一个样本， array型instance2: 第二个样本， array型"""dist = np.sqrt(sum((instance1 - instance2) ** 2))return distdef knn_classify(self, testInstance):"""给定一个测试数据testInstance, 通过KNN算法来预测它的标签。testInstance: 测试数据，这里假定一个测试数据为array型"""distances = [self.euc_dis(x, testInstance) for x in self.x_train]kneighbors = np.argsort(distances)[:self.k]count = Counter(self.y_train[kneighbors])return count.most_common()[0][0]def score(self, x_test, y_test):"""根据测试样本x_test进行预测，和真实的目标值y_test进行比较，计算预测结果的准确度"""predictions = [self.knn_classify(x) for x in x_test]correct = np.count_nonzero((predictions == y_test) == True)return float(correct)/len(x_test)def __repr__(self):return "KNN(k={})".format(self.k)if __name__ == "__main__":# 从数据集中选择2个样本为测试样本, 其余的均为训练样本x_train = np.array(raw_data_x[:-2])y_train = np.array(row_data_y[:-2])x_test = np.array(raw_data_x[-2:])y_test = np.array(row_data_y[-2:])knn = KNNClassifier(3)knn.fit(x_train, y_train)score = knn.score(x_test, y_test)print("测试精确度为: %.3f" % score)# 未知的待分类样本x_test2 = np.array([8.9093, 3.3657])result = knn.knn_classify(x_test2)if result == 0: result = "良性肿瘤"else: result = "恶性肿瘤"print("对[8.9093, 3.3657]的预测结果为:【%s】" % result)

结果：