线程安全还是多线程CRF在Java中支持连续变量？
我想使用Mallet在一个相当大的数据集上以离开一序列输出的方式运行条件随机字段。因此，我需要多线程计算来处理这个计算，要么通过并行训练多个CRF来处理，要么在单个线程上对每个CRF进行训练，或者2)以多线程的方式训练每个CRF。
在Mallet中，我找到了一个CRF训练器的多线程版本，它实现了选项2。然而，在我的情况下，我需要对连续变量的支持，对于这些变量，fst似乎没有支持，而且它似乎需要支持。通过一个小小的调整，我设法让GRMM处理连续的输入。然而，对于GRMM，就我所能找到的而言，似乎没有像fst那样的通过选项2来支持多线程培训。
作为另一种选择，我实现了备选方案1，在该选项中，我在不同的线程中并行地为实验的折叠训练CRF。我使用我自己的Minmo/Mallet github版本的Mallet，在2015年8月26日被检出。但是，GRMM代码似乎并不是线程安全的，因为当我并行运行代码时会抛出异常，而当我使用单个线程运行相同的代码时不会抛出这些异常。另外，当CRF被并行训练时，当我只捕获异常并让执行继续时，预测精度就会显著降低。在多个线程上执行时引发的异常如下：
java.lang.IndexOutOfBoundsException: Assignment does not give a value for variable I216_VAR[f=0][tm=38]
at cc.mallet.grmm.types.Assignment.get(Assignment.java:337)
at cc.mallet.grmm.types.Assignment.get(Assignment.java:315)
at cc.mallet.grmm.types.LogTableFactor.rawValue(LogTableFactor.java:255)
at cc.mallet.grmm.types.LogTableFactor.logValue(LogTableFactor.java:219)
at cc.mallet.grmm.inference.AbstractBeliefPropagation.lookupLogJoint(AbstractBeliefPropagation.java:553)
at cc.mallet.grmm.learning.ACRF$MaximizableACRF.computeLogLikelihood(ACRF.java:1348)
at cc.mallet.grmm.learning.ACRF$MaximizableACRF.getValue(ACRF.java:1270)
at cc.mallet.optimize.LimitedMemoryBFGS.optimize(LimitedMemoryBFGS.java:99)
at cc.mallet.grmm.learning.DefaultAcrfTrainer.train(DefaultAcrfTrainer.java:207)
at cc.mallet.grmm.learning.DefaultAcrfTrainer.train(DefaultAcrfTrainer.java:119)有没有办法绕过这些问题，以多线程的方式训练具有连续变量的条件随机场，或者训练每个CRF多线程，或者在不同线程中同时训练多个CRF？最好是使用Mallet (fst或GRMM)，因为这样可以保证切换的时间，但我也可以使用任何其他CRF/PGM Java库。
回答 1
Stack Overflow用户
发布于 2015-10-07 21:28:29
最近我一直在处理同样的问题，并认为我想出了一个不错的解决方案。看看这个回购，告诉我它是否有帮助。通过指定连续特性需要在regex‘a+=’后面有一个前缀，我就能够设置一个管道(松散地)设置到后面的double。我想我还有一些测试要做，但也许它会给你一些启发。
https://stackoverflow.com/questions/32362084
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号