首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Deeplearning4j神经网络仅预测1类

Deeplearning4j神经网络仅预测1类
EN

Stack Overflow用户
提问于 2018-11-12 13:39:33
回答 3查看 834关注 0票数 0

在过去的一周左右,我一直在尝试使用RGB图像来实现神经网络的功能,但无论我做什么,似乎只预测了一个类别。我已经阅读了所有我能找到的与遇到这个问题的人的联系,并尝试了许多不同的东西,但最终总是只能预测两个输出类中的一个。我检查了进入模型的批次,我增加了数据集的大小,我将原始像素大小(28*28)增加到56*56,增加了历元,做了大量的模型调整,我甚至尝试了一个简单的非卷积神经网络以及简化我自己的CNN模型,但它什么也改变不了。

我还检查了如何为训练集传递数据的结构(特别是imageRecordReader),但这种输入结构(就文件夹结构和如何将数据传递到训练集而言)在给定灰度图像时工作得很好(因为它最初是在MNIST数据集上以99%的准确率创建的)。

一些上下文:我使用以下文件夹名称作为我的标签,即folder(0),folder(1)用于训练和测试数据,因为只有两个输出类。训练集包含320个类0的图像和240个类1的图像,而测试集分别由79个和80个图像组成。

代码如下:

代码语言:javascript
复制
private static final Logger log = LoggerFactory.getLogger(MnistClassifier.class);
private static final String basePath = System.getProperty("java.io.tmpdir") + "/ISIC-Images";

public static void main(String[] args) throws Exception {
    int height = 56;
    int width = 56;
    int channels = 3; // RGB Images
    int outputNum = 2; // 2 digit classification
    int batchSize = 1;
    int nEpochs = 1;
    int iterations = 1;
    int seed = 1234;
    Random randNumGen = new Random(seed);

    // vectorization of training data
    File trainData = new File(basePath + "/Training");
    FileSplit trainSplit = new FileSplit(trainData, NativeImageLoader.ALLOWED_FORMATS, randNumGen);
    ParentPathLabelGenerator labelMaker = new ParentPathLabelGenerator(); // parent path as the image label
    ImageRecordReader trainRR = new ImageRecordReader(height, width, channels, labelMaker);
    trainRR.initialize(trainSplit);
    DataSetIterator trainIter = new RecordReaderDataSetIterator(trainRR, batchSize, 1, outputNum);

    // vectorization of testing data
    File testData = new File(basePath + "/Testing");
    FileSplit testSplit = new FileSplit(testData, NativeImageLoader.ALLOWED_FORMATS, randNumGen);
    ImageRecordReader testRR = new ImageRecordReader(height, width, channels, labelMaker);
    testRR.initialize(testSplit);
    DataSetIterator testIter = new RecordReaderDataSetIterator(testRR, batchSize, 1, outputNum);

    log.info("Network configuration and training...");
    Map<Integer, Double> lrSchedule = new HashMap<>();
    lrSchedule.put(0, 0.06); // iteration #, learning rate
    lrSchedule.put(200, 0.05);
    lrSchedule.put(600, 0.028);
    lrSchedule.put(800, 0.0060);
    lrSchedule.put(1000, 0.001);

    MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
        .seed(seed)
        .l2(0.0008)
        .updater(new Nesterovs(new MapSchedule(ScheduleType.ITERATION, lrSchedule)))
        .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
        .weightInit(WeightInit.XAVIER)
        .list()
        .layer(0, new ConvolutionLayer.Builder(5, 5)
            .nIn(channels)
            .stride(1, 1)
            .nOut(20)
            .activation(Activation.IDENTITY)
            .build())
        .layer(1, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
            .kernelSize(2, 2)
            .stride(2, 2)
            .build())
        .layer(2, new ConvolutionLayer.Builder(5, 5)
            .stride(1, 1)
            .nOut(50)
            .activation(Activation.IDENTITY)
            .build())
        .layer(3, new SubsamplingLayer.Builder(SubsamplingLayer.PoolingType.MAX)
            .kernelSize(2, 2)
            .stride(2, 2)
            .build())
        .layer(4, new DenseLayer.Builder().activation(Activation.RELU)
            .nOut(500).build())
        .layer(5, new OutputLayer.Builder(LossFunctions.LossFunction.SQUARED_LOSS)
            .nOut(outputNum)
            .activation(Activation.SOFTMAX)
            .build())
        .setInputType(InputType.convolutionalFlat(56, 56, 3)) // InputType.convolutional for normal image
        .backprop(true).pretrain(false).build();

    MultiLayerNetwork net = new MultiLayerNetwork(conf);
    net.init();
    net.setListeners(new ScoreIterationListener(10));
    log.debug("Total num of params: {}", net.numParams());

    // evaluation while training (the score should go down)
    for (int i = 0; i < nEpochs; i++) {
        net.fit(trainIter);
        log.info("Completed epoch {}", i);
        Evaluation eval = net.evaluate(testIter);
        log.info(eval.stats());
        trainIter.reset();
        testIter.reset();
    }
    ModelSerializer.writeModel(net, new File(basePath + "/Isic.model.zip"), true);
}

运行模型的输出:

Odd iteration scores

Evaluation metrics

任何洞察力都将不胜感激。

EN

回答 3

Stack Overflow用户

发布于 2018-11-12 15:50:21

我建议将第一层和第二层中的激活函数更改为非线性函数。您可以尝试使用ReluTanh函数。您可以参考此Documentaion获取可用激活函数的列表。

票数 0
EN

Stack Overflow用户

发布于 2018-11-12 21:56:06

CNN上的身份在99%的情况下几乎没有意义。如果可以,请坚持使用RELU。相反,我会将您的精力转移到渐变归一化或散布丢弃层。几乎每一次CNN没有学习,通常都是因为缺乏规范化。

另外:不要在softmax中使用平方损失。它永远不会起作用。坚持负对数可能性。

在实践中,我从未见过softmax使用平方损失。

你可以尝试l2和l1正则化(或者两者兼而有之:这称为弹性净正则化)。

票数 0
EN

Stack Overflow用户

发布于 2018-12-31 03:59:17

似乎使用ADAM优化器得到了一些有希望的结果,同时也增加了批处理大小(我现在有数千张图片),否则网络需要荒谬的时期(至少是50+)才能开始学习。

无论如何,感谢您的所有回复。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/53256447

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档