我可以使用cmd.exe中的命令在windows上运行spark:
set CLASS=org.apache.spark.deploy.SparkSubmit
%SPARK_HOME%\bin\spark-class2.cmd %CLASS% --class "com.sel2in.TstFac" --master local[4] target\scala-2.11\theApp_2.11-1.0.jar在spark class2.cmd中,要添加远程调试选项:
set JOPTS=
set JOPTS=-agentlib:jdwp=transport=dt_socket,server=y,address=8001,suspend=y,timeout=30
REM set JOPTS=-Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=4000,suspend=y
REM set JOPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,timeout=3,address=4002但是设置不起作用。似乎有一个程序构建要构建的实际命令。任何人都能获得正确的set选项,这样就可以在调试模式下运行spark命令,就像任何Java进程一样附加到它上?(局部单火花模式)
发布于 2016-11-24 18:04:10
最后两行是有帮助的。
del %LAUNCHER_OUTPUT%
%SPARK_CMD%所以命令被写到一个文件中。然后读取、连接和运行该文件!在第二条lsat线上进行快速发射,或者添加一个回声和暂停,比如
echo %LAUNCHER_OUTPUT%
pause
REM del %LAUNCHER_OUTPUT%
%SPARK_CMD%或
del %LAUNCHER_OUTPUT%
echo %SPARK_CMD%
pause
%SPARK_CMD%然后编辑read命令,将调试选项添加到其他java程序中。然后从月食中附加到它上。
https://stackoverflow.com/questions/40789942
复制相似问题