在过去的一周左右,我一直在尝试使用RGB图像来实现神经网络的功能,但无论我做什么,似乎只预测了一个类别。我已经阅读了所有我能找到的与遇到这个问题的人的联系,并尝试了许多不同的东西,但最终总是只能预测两个输出类中的一个。我检查了进入模型的批次,我增加了数据集的大小,我将原始像素大小(28*28)增加到56*56,增加了历元,做了大量的模型调整,我甚至尝试了一个简单的非卷积神经网络以及简化我自己的CNN模型,但它什么也改变不了。
我还检查了如何为训练集传递数据的结构(特别是imageRecordReader),但这种输入结构(就文件夹结构和如何将数据传递到训练集而言)在给定灰度图像时工作得很好(因为它最初是在MNIST数据集上以99%的准确率创建的)。
一些上下文:我使用以下文件夹名称作为我的标签,即folder(0),folder(1)用于训练和测试数据,因为只有两个输出类。训练集包含320个类0的图像和240个类1的图像,而测试集分别由79个和80个图像组成。
代码如下:
private static final Logger log = LoggerFactory.getLogger(MnistClassifier.class);
private static final String basePath = System.getProperty("java.io.tmpdir") + "/ISIC-Images";
public static void main(String[] args) throws Exception {
int height = 56;
int width = 56;
int channels = 3; // RGB Images
int outputNum = 2; // 2 digit classification
int batchSize = 1;
int nEpochs = 1;
int iterations = 1;
int seed = 1234;
Random randNumGen = new Random(seed);
// vectorization of training data
File trainData = new File(basePath + "/Training");
FileSplit trainSplit = new FileSplit(trainData, NativeImageLoader.ALLOWED_FORMATS, randNumGen);
ParentPathLabelGenerator labelMaker = new ParentPathLabelGenerator(); // parent path as the image label
ImageRecordReader trainRR = new ImageRecordReader(height, width, channels, labelMaker);
trainRR.initialize(trainSplit);
DataSetIterator trainIter = new RecordReaderDataSetIterator(trainRR, batchSize, 1, outputNum);
// vectorization of testing data
File testData = new File(basePath + "/Testing");
FileSplit testSplit = new FileSplit(testData, NativeImageLoader.ALLOWED_FORMATS, randNumGen);
ImageRecordReader testRR = new ImageRecordReader(height, width, channels, labelMaker);
testRR.initialize(testSplit);
DataSetIterator testIter = new RecordReaderDataSetIterator(testRR, batchSize, 1, outputNum);
log.info("Network configuration and training...");
Map<Integer, Double> lrSchedule = new HashMap<>();
lrSchedule.put(0, 0.06); // iteration #, learning rate
lrSchedule.put(200, 0.05);
lrSchedule.put(600, 0.028);
lrSchedule.put(800, 0.0060);
lrSchedule.put(1000, 0.001);
MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
.seed(seed)
.l2(0.0008)
.updater(new Nesterovs(new MapSchedule(ScheduleType.ITERATION, lrSchedule)))
.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
.weightInit(WeightInit.XAVIER)
.list()
.layer(0, new ConvolutionLayer.Builder(5, 5)
.nIn(channels)
.stride(1, 1)
.nOut(20)
.activation(Activation.IDENTITY)
.build())
.layer(1, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
.kernelSize(2, 2)
.stride(2, 2)
.build())
.layer(2, new ConvolutionLayer.Builder(5, 5)
.stride(1, 1)
.nOut(50)
.activation(Activation.IDENTITY)
.build())
.layer(3, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
.kernelSize(2, 2)
.stride(2, 2)
.build())
.layer(4, new DenseLayer.Builder().activation(Activation.RELU)
.nOut(500).build())
.layer(5, new OutputLayer.Builder(LossFunctions.LossFunction.SQUARED_LOSS)
.nOut(outputNum)
.activation(Activation.SOFTMAX)
.build())
.setInputType(InputType.convolutionalFlat(56, 56, 3)) // InputType.convolutional for normal image
.backprop(true).pretrain(false).build();
MultiLayerNetwork net = new MultiLayerNetwork(conf);
net.init();
net.setListeners(new ScoreIterationListener(10));
log.debug("Total num of params: {}", net.numParams());
// evaluation while training (the score should go down)
for (int i = 0; i < nEpochs; i++) {
net.fit(trainIter);
log.info("Completed epoch {}", i);
Evaluation eval = net.evaluate(testIter);
log.info(eval.stats());
trainIter.reset();
testIter.reset();
}
ModelSerializer.writeModel(net, new File(basePath + "/Isic.model.zip"), true);
}运行模型的输出:
任何洞察力都将不胜感激。
发布于 2018-11-12 15:50:21
我建议将第一层和第二层中的激活函数更改为非线性函数。您可以尝试使用Relu和Tanh函数。您可以参考此Documentaion获取可用激活函数的列表。
发布于 2018-11-12 21:56:06
CNN上的身份在99%的情况下几乎没有意义。如果可以,请坚持使用RELU。相反,我会将您的精力转移到渐变归一化或散布丢弃层。几乎每一次CNN没有学习,通常都是因为缺乏规范化。
另外:不要在softmax中使用平方损失。它永远不会起作用。坚持负对数可能性。
在实践中,我从未见过softmax使用平方损失。
你可以尝试l2和l1正则化(或者两者兼而有之:这称为弹性净正则化)。
发布于 2018-12-31 03:59:17
似乎使用ADAM优化器得到了一些有希望的结果,同时也增加了批处理大小(我现在有数千张图片),否则网络需要荒谬的时期(至少是50+)才能开始学习。
无论如何,感谢您的所有回复。
https://stackoverflow.com/questions/53256447
复制相似问题