在MNIST和FMNIST数据集上测试KNN算法

写了一段代码，测试KNN算法在MNIST和FMNIST上的效果。我主要是想知道，对于这两个有10个分类的数据集，K的最佳取值是多少。

代码地址：https://github.com/xinlin-z/teapot/blob/master/0032_knn3_test_diff_K.py

这段代码计算K从1到500时，每一个K的取值，在两个数据集上得到的预测正确率。代码经过一定程度的优化，但还是需要运行一小会儿，主要开销是在计算每一个待预测点与训练集内60000个点的L2范数（欧式距离）。

下图是运行结果：

结果领人惊讶，K的最佳取值出奇地小。

• K=3时，在MNIST数据集上取得最佳预测效果，此时正确率为9717
• K=4时，在FMNIST数据集上取得最佳预测效果，此时正确率为8596

3和4都没有到10个分类的一半！

而且，我们还能观察到，K值越大，预测效果越差。上图的两条曲线，呈现出单边下降的态势。

-- EOF --

相关文章

• 用XOR（异或）做数值交换
• 用位运算来判断数值的奇偶性
• 用减法模拟计算机除法
• 用移位和加法模拟计算机乘法
• 学习 interpolation 算法
• KNN算法
• 7bit压缩编码
• 用移位来进行乘除2的运算
• 霍夫曼（Huffman）压缩编码算法
• Shannon-Fano算法