Deeplearning4j -3层神经网络不正确拟合
我正在尝试学习Deeplearning4j库。我试图用sigmoid激活函数来实现一个简单的3层神经网络来解决异或。我遗漏了什么配置或超参数？我从我在网上找到的一些MLP示例中获得了使用RELU激活和softmax输出的精确输出，但是对于sigmoid激活，它似乎不想精确地匹配。有人能分享为什么我的网络没有产生正确的输出吗？
DenseLayer inputLayer = new DenseLayer.Builder()
.nIn(2)
.nOut(3)
.name("Input")
.weightInit(WeightInit.ZERO)
.build();
DenseLayer hiddenLayer = new DenseLayer.Builder()
.nIn(3)
.nOut(3)
.name("Hidden")
.activation(Activation.SIGMOID)
.weightInit(WeightInit.ZERO)
.build();
OutputLayer outputLayer = new OutputLayer.Builder()
.nIn(3)
.nOut(1)
.name("Output")
.activation(Activation.SIGMOID)
.weightInit(WeightInit.ZERO)
.lossFunction(LossFunction.MEAN_SQUARED_LOGARITHMIC_ERROR)
.build();
NeuralNetConfiguration.Builder nncBuilder = new NeuralNetConfiguration.Builder();
nncBuilder.iterations(10000);
nncBuilder.learningRate(0.01);
nncBuilder.optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT);
NeuralNetConfiguration.ListBuilder listBuilder = nncBuilder.list();
listBuilder.layer(0, inputLayer);
listBuilder.layer(1, hiddenLayer);
listBuilder.layer(2, outputLayer);
listBuilder.backprop(true);
MultiLayerNetwork myNetwork = new MultiLayerNetwork(listBuilder.build());
myNetwork.init();
INDArray trainingInputs = Nd4j.zeros(4, inputLayer.getNIn());
INDArray trainingOutputs = Nd4j.zeros(4, outputLayer.getNOut());
// If 0,0 show 0
trainingInputs.putScalar(new int[]{0,0}, 0);
trainingInputs.putScalar(new int[]{0,1}, 0);
trainingOutputs.putScalar(new int[]{0,0}, 0);
// If 0,1 show 1
trainingInputs.putScalar(new int[]{1,0}, 0);
trainingInputs.putScalar(new int[]{1,1}, 1);
trainingOutputs.putScalar(new int[]{1,0}, 1);
// If 1,0 show 1
trainingInputs.putScalar(new int[]{2,0}, 1);
trainingInputs.putScalar(new int[]{2,1}, 0);
trainingOutputs.putScalar(new int[]{2,0}, 1);
// If 1,1 show 0
trainingInputs.putScalar(new int[]{3,0}, 1);
trainingInputs.putScalar(new int[]{3,1}, 1);
trainingOutputs.putScalar(new int[]{3,0}, 0);
DataSet myData = new DataSet(trainingInputs, trainingOutputs);
myNetwork.fit(myData);
INDArray actualInput = Nd4j.zeros(1,2);
actualInput.putScalar(new int[]{0,0}, 0);
actualInput.putScalar(new int[]{0,1}, 0);
INDArray actualOutput = myNetwork.output(actualInput);
System.out.println("myNetwork Output " + actualOutput);
//Output is producing 1.00. Should be 0.0回答 1
Stack Overflow用户
发布于 2017-10-23 00:06:14
所以总的来说，我要把你链接到：https://deeplearning4j.org/troubleshootingneuralnets
一些具体的提示。不要在零中使用权重，这是我们在示例中不使用的原因(我强烈建议您从零开始使用，而不是从头开始)：https://github.com/deeplearning4j/dl4j-examples
对于输出层，如果您想学习xor：https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/feedforward/xor/XorExample.java，为什么不直接使用二进制xent呢？
请注意，也请关闭迷你批处理(见上面的示例)，请参见：https://deeplearning4j.org/toyproblems
https://stackoverflow.com/questions/46879409
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号