R randomForest投票平局
有人知道R randomForest包用来解决分类联系的机制吗?也就是说，当树在两个或两个以上的类中以相等的票数结束时？
文件上说领带是随机断的。但是，当您在一组数据上对模型进行培训，然后使用单个验证数据多次对该模型进行评分时，绑定的类决策并不是50/50。
cnum = vector("integer",1000)
for (i in 1:length(cnum)){
cnum[i] = (as.integer(predict(model,val_x[bad_ind[[1]],])))
}
cls = unique(cnum)
for (i in 1:length(cls)){
print(length(which(cnum == cls[i])))
}其中，model是randomForest对象，而bad_ind只是匹配类投票的特征向量的索引列表。在我的测试用例中，使用上面的代码，两个绑定类之间的分布接近90/10。
此外，使用奇数树的建议通常不起作用，因为其他两个类别的选票会被其他两类人平分。
这些情况下，射频树打成平手的投票结果不应该是50/50吗？
更新:由于训练森林的随机性，很难提供一个示例，但是下面的代码(对斜率很抱歉)最终会产生林子无法确定明显胜利者的示例。我的测试运行显示，当领带断了时，它的分布是66%/33% --我预计这是50%/50%。
library(randomForest)
x1 = runif(200,-4,4)
x2 = runif(200,-4,4)
x3 = runif(1000,-4,4)
x4 = runif(1000,-4,4)
y1 = dnorm(x1,mean=0,sd=1)
y2 = dnorm(x2,mean=0,sd=1)
y3 = dnorm(x3,mean=0,sd=1)
y4 = dnorm(x4,mean=0,sd=1)
train = data.frame("v1"=y1,"v2"=y2)
val = data.frame("v1"=y3,"v2"=y4)
tlab = vector("integer",length(y1))
tlab_ind = sample(1:length(y1),length(y1)/2)
tlab[tlab_ind]= 1
tlab[-tlab_ind] = 2
tlabf = factor(tlab)
vlab = vector("integer",length(y3))
vlab_ind = sample(1:length(y3),length(y3)/2)
vlab[vlab_ind]= 1
vlab[-vlab_ind] = 2
vlabf = factor(vlab)
mm <- randomForest(x=train,y=tlabf,ntree=100)
out1 <- predict(mm,val)
out2 <- predict(mm,val)
out3 <- predict(mm,val)
outv1 <- predict(mm,val,norm.votes=FALSE,type="vote")
outv2 <- predict(mm,val,norm.votes=FALSE,type="vote")
outv3 <- predict(mm,val,norm.votes=FALSE,type="vote")
(max(as.integer(out1)-as.integer(out2)));(min(as.integer(out1)-as.integer(out2)))
(max(as.integer(out2)-as.integer(out3)));(min(as.integer(out2)-as.integer(out3)))
(max(as.integer(out1)-as.integer(out3)));(min(as.integer(out1)-as.integer(out3)))
bad_ind = vector("list",0)
for (i in 1:length(out1)) {
#for (i in 1:100) {
if (out1[[i]] != out2[[i]]){
print(paste(i,out1[[i]],out2[[i]],sep = "; "))
bad_ind = append(bad_ind,i)
}
}
for (j in 1:length(bad_ind)) {
cnum = vector("integer",1000)
for (i in 1:length(cnum)) {
cnum[[i]] = as.integer(predict(mm,val[bad_ind[[j]],]))
}
cls = unique(cnum)
perc_vals = vector("integer",length(cls))
for (i in 1:length(cls)){
perc_vals[[i]] = length(which(cnum == cls[i]))
}
cat("for feature vector ",bad_ind[[j]]," the class distrbution is: ",perc_vals[[1]]/sum(perc_vals),"/",perc_vals[[2]]/sum(perc_vals),"\n")
}更新：应该在randomForest的4.6-3版本中修复.
回答 3
Stack Overflow用户
发布于 2011-12-30 23:35:18
这个问题应该在randomForest的4.6-3版本中解决.
Stack Overflow用户
发布于 2011-12-07 23:40:41
如果没有完整的示例，很难判断这是否是唯一的错误，但上面包含的代码的一个明显问题是，您不是在复制模型拟合步骤，而是只复制预测步骤。如果你不重做这个部分，那么你的predict()调用就会给同一个类更高的概率/票数。
试一下这个示例，它正确地演示了您想要的行为：
library(randomForest)
df = data.frame(class=factor(rep(1:2, each=5)), X1=rep(c(1,3), each=5), X2=rep(c(2,3), each=5))
fitTie <- function(df) {
df.rf <- randomForest(class ~ ., data=df)
predict(df.rf, newdata=data.frame(X1=1, X2=3), type='vote')[1]
}> df
class X1 X2
1 1 1 2
2 1 1 2
3 1 1 2
4 1 1 2
5 1 1 2
6 2 3 3
7 2 3 3
8 2 3 3
9 2 3 3
10 2 3 3
> mean(replicate(10000, fitTie(df)))
[1] 0.49989Stack Overflow用户
发布于 2011-12-08 01:36:08
我认为这是因为你有这么少的联系。同样的问题，就像抛硬币10次一样，你不能保证以5头5尾的成绩结束。
在下面的案例1中，领带是均匀地被打破的，每节课1:1。在案例2中，3:6。
> out1[out1 != out2]
52 109 144 197 314 609 939 950
2 2 1 2 2 1 1 1
> out1[out1 != out3]
52 144 146 253 314 479 609 841 939
2 1 2 2 2 2 1 2 1 更改为更大的数据集：
x1 = runif(2000,-4,4)
x2 = runif(2000,-4,4)
x3 = runif(10000,-4,4)
x4 = runif(10000,-4,4)我得到：
> sum(out1[out1 != out2] == 1)
[1] 39
> sum(out1[out1 != out2] == 2)
[1] 41和
> sum(out1[out1 != out3] == 1)
[1] 30
> sum(out1[out1 != out3] == 2)
[1] 31不出所料，除非我误解了你的代码。
编辑
哦，我明白了。您正在重新运行有关联的情况，并期望它们被打破50/50，即：sum(cnum == 1)大约等于sum(cnum == 2)。使用这种方法可以更快地进行测试：
> for (j in 1:length(bad_ind)) {
+ mydata= data.frame("v1"=0, "v2"=0)
+ mydata[rep(1:1000000),] = val[bad_ind[[j]],]
+ outpred = predict(mm,mydata)
+ print(sum(outpred==1) / sum(outpred==2))
+ }
[1] 0.5007849
[1] 0.5003278
[1] 0.4998868
[1] 0.4995651看来你是对的，这是打破关系，有利于二班的次数是第一班的两倍。
https://stackoverflow.com/questions/8422279
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号