搜索 - 腾讯云开发者社区-腾讯云

文章/答案/技术大牛

发布

1回答

bash: history: /home/test？

开发者实验室、bash

请描述您的问题[附加信息]

浏览 352提问于2018-08-01

0回答

k8s配置spark.kubernetes.driver.podTemplateFile不生效？

http、容器、kubernetes、spark、大数据

问题： spark on k8s 配置 --conf spark.kubernetes.driver.podTemplateFile 参数不生效，但是指定spark.kubernetes.executor.podTemplateFilecluster \--class org.apache.spark.examples.streaming.HdfsWordCount \--co

浏览 528提问于2021-12-24

0回答

spark sql报错了，本地没报错？？

java、scala、linux、编程算法、spark

:407) at org.apache.spark.executor.Executororg.apache.spark.SparkContext.runJob(SparkContext.scala:2102) at org.apache.spark.SparkContext.runJoborg.apache.spark.rdd.RDD$$anon

浏览 797提问于2020-03-09

0回答

spark2.4 创建SparkSession时报错？

java、python、scala、网站、spark

config("spark.some.config.option", "some-value"). at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:62) at org.apache.spark.ui.SparkU

浏览 2328提问于2019-04-01

0回答

linux下Python运行pyspark时报错？

python、linux、spark

(file:/usr/local/spark/jars/spark-unsafe_2.11-2.4.5.jar) to method java.nio.Bits.unaligned() at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:49) at org.apache.<

浏览 619提问于2020-05-24

1回答

腾讯云DLC的spark任务如何指定JDK版本？

spark、jdk、数据湖计算 DLC、腾讯云、程序

DLC默认JDK版本1.8，我的spark任务使用JDK17，之前在运行EMR上，在各节点安装JDK17，并通过spark submit指定单个程序的JDK 路径即可运行，配置参数如下：spark.yarn.appMasterEnv.JAVA_HOME与 spark.executorEnv.JAVA_HOME。

浏览 324提问于2024-04-08

0回答

sparkstreaming产生的日志，越来越大，如何定期删除？？

官方文档、消息队列 CKafka 版

sparkstreaming一直运行，hdfs://***:9000/spark-log 下的log文件很大，spark-default.conf下配置 spark.executor.logs.rolling.time.interval

浏览 326提问于2018-07-13

1回答

跑的是spark程序，想要自定义log4j输出日志到客户端目录log4j.rootCategory=INFO, console,FILE# log level for this class is used to overwrite the root logger's loglevel, so that # the user can have different defaults for the shell and

浏览 1978提问于2020-05-28

0回答

Spark 3.x中借助hdfs分发python环境出现问题？

python、打包、spark、apache-spark、hdfs

一、环境二、问题详情--conf spark.executorEnv.PYSPARK_PYTHON=./PyEnv/test_env/bin/python3.6 \ --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=.hdfs:/

浏览 225提问于2023-05-18

1回答

自行安装的spark如何识别cosn:// uri？

官方文档

我们是自行安装的spark集群，如何识别cosn uri？需要重编译spark？ BTW：最后一行的示例“park-submit”少了一个“s“。

浏览 522提问于2018-03-06

0回答

sparksql操作hive建表异常？

sql、spark、hive

在spark sql操作hive中，create table t_a like t_b stored as textfile 提示SQL异常,org.apache.spark.sql.catalyst.parser.ParseException

浏览 449提问于2020-07-13

4回答

spark on yarn 中文乱码问题，help？

yarn、spark

我遇到一奇怪问题spark on yarn client ==>file.encoding 字符集是UTF-8 spark on yarn cluster ==>file.encoding

浏览 5664提问于2018-09-28

1回答

云服务器上的spark2.1.0单机版怎么配置公网IP服务？

云服务器、bash、bash 指令、spark

我在spark-env.sh里面设置spark_master_ip为内网IP时ok，设置为公网ip就报错了。

浏览 639提问于2019-04-09

回答已采纳

2回答

spark写入hive表(orc格式)后查询异常？

python、jar、spark、hive

spark版本：2.4.3，jar包：spark-hive_2.11hive表格式为：orc 通过DataFrameWriter<Row> 写入hive表后，查询hive

浏览 3091提问于2019-09-25

0回答

org.apache.spark.executor.CoarseGrainedExecutor？

linux、腾讯云测试服务、yarn、spark

最近遇到一个问题org.apache.spark.executor.CoarseGrainedExecutor 我通过java调用yarn api去提交spark任务。通过日志查看到APPmaster已经启动，但是在启动executor的container时报出 org.apache.spark.executor.CoarseGrainedExecutorBackend

浏览 359提问于2020-05-26

0回答

spark 实现数据转成tfrecord？

tensorflow、spark

spark 实现数据转成tfrecord？

浏览 606提问于2019-01-07

0回答

关于Vue Router history 模式的SPA 应用配置?

云开发静态网站托管、history、router、spa、路由

已经进行了路由配置：描述：404路径：index.html 但页面刷新还是显示500问题是什么原因?

浏览 49提问于2026-03-26

2回答

spark连接bigquery的身份认证问题？

spark、大数据、client、key、url

我是一个初学者；我要用spark/pyspark连接bigquery读取数据，但是卡在了身份认证这道关卡；我有身份认证文件：ios-app.json文件，格式是：{ "client_x509_cert_url": *******************请问我该如何写身份认证的spark

浏览 264提问于2023-09-13

1回答

为何onEnter不在React-Router中调用？

react

pathname: '/front' }render( <Router history={history}> <Switch> <Route path="/front" component={Front} />

浏览 284提问于2018-01-30

1回答

vue 项目静态网址托管history路由模式404？

.net、vue.js、node.js、nginx、云开发 CloudBase

OGVmYzZiMmQzYjA2OWNhODk0NTRkMTBiOWVmMDAxODc0OWRkZjk0ZDM1NmI1M2E2MTRlY2MzZDhmNmI5MWI1OTQ5YWUxMjNkYTk3NzdjZmZ地址：https://router.vuejs.org/zh/guide/essentials/history-mode.html

浏览 711提问于2021-09-27

第 2 页第 3 页第 4 页

点击加载更多