蟠桃种植密度每亩用种多少斤?

小说:蟠桃种植密度每亩用种多少斤?作者:成建宗辛更新时间:2019-04-20字数:72065

KNN算法描述

输入:训练样本$X = (x_1,x_2,...,x_n)$。训练样本标签$Labels = (l_1,l_2,...,l_n)$。待测样本$y$。参数K

输出:待测样本$y$的标签t

算法描述:计算待测样本与每个训练样本的相似度,然后选出最相似的前K个训练样本,则待测样本的标签定义为这K个训练样本中出现次数最多的标签类别。

 

每个样本$x_i$都是一个向量$x_i = (x_{i1},x_{i2},...,x_{im})$,表示样本具有m个特征值。计算两个样本之间的相似度,可以用向量之间的距离表示。距离的计算通常采用欧式距离。

西瓜书上对KNN算法有如下描述:

它没有显示的训练过程。事实上,它是“懒惰学习”的著名代表,此类学习技术在训练阶段仅仅是把样本保存起来,训练时间开销为零,待收到测试样本后再进行处理

KNN分类器的性能

KNN分类器的性能主要跟两个方面有关系:一是距离的计算方式。除了采用欧式距离,还有用曼哈顿距离等其它的距离表示方式。不同的方法计算的结果有很大的不同。二是参数k的选择。假设一个二分类问题(0或1)。选出的与测试样本最相似的五个训练样本的标签分别为(100111)。则当k=1时,待测样本的标签t=1;k=3时,t=0;k=5时,t=1。可见不同的k的取值对结果有很大的影响。对于一个待测样本集,选取怎样的k才能使得训练误差最小,需要具体实验的测定。

Python2.x 代码实现

这是 《机器学习实战》上的源码

# -*- coding: utf-8 -*-
from numpy import *
import os
import operator

# 输入待分类向量inX,训练数据集dataSet,训练标号labels,使用近邻的K个数据测试
def classify0(inX,dataSet,labels,K):
    # 计算每个训练样本和待测样本之间的欧式距离
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    # 按距离排序
    sortedDistIndicies = distances.argsort()
    classCount = {}
    # 选出距离最近的K个训练数据的标号
    for i in range(K):
        voteIlabel = labels[sortedDistIndicies[i]]
        # 利用字典来存储选出的每个类别的个数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        # python 内置的排序函数,对任何可迭代对象进行排序。现在对字典的值(即类别的个数)进行排序
    sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    # 返回字典的值最高的那个键值(即类别)
    return sortedClassCount[0][0]

其中,inX和dataSet需要用numpy的array或者matrix表示。

手写体识别应用

每个样本的数据化表示如下

如图,这是一个3的样本。训练样本集里面总共有十个(0-9)数字的样本,每个数字有199个样本。每个样本由32*32的数字表示。

具体的源码就不放出来了。其实都是读取文件数据,转化成向量,然后调用上面的函数做训练。训练的结果和书上的结果一模一样

思考

有一个问题我想不太明白,KNN算法需要将样本向量化表示。假设一个电影样本有这么两个特征:参演的演员人数,票房。数据化之后,前者扣除龙套人物,一般在数十或者数百量级,后者则是数亿量级。现实中有很多这样的例子,它的特征数据化之后,有些特征会很大,有些特征会很小。很小的数字做差,依然很小,很大的数字做差可能会很大。这样,不同的特征对于距离的贡献便有很大区别。数字越大的贡献越多。如果一类样本有一个特征数字表现很大,其余的很小,那么这类样本之间的距离几乎都由该大数字特征决定。这显然是不合理的。

我觉得现实应用可能需要对特征进行同区间归一化,或者进行加权,以解决上述问题。不知道是不是这样做。

当前文章:http://scycxh.com/array/c5ueiyxms3.html

发布时间:2019-04-20 00:04:59

海桐绿篱一平米栽多少棵? 八角金盘一般冠幅多大? 广西红王子锦带都是哪里买的? 西府海棠夏季能栽植吗? 紫藤花种植后多久才能开花? 金边黄杨冬天落叶吗? 美洲杂交狼尾草种子有什么优势? 最新茺蔚子种子的市场行情价格? 厚朴的种子哪里能买到? 林下种植哪种牧草?

42962 58596 77690 85172 32145 19361 93682 94474 26621 80988 33940 17054 37600 22022 11185 35652 38513 33673 57691 64948 39436 11684 62046

我要说两句: (0人参与)

发布