检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 object SecurityKafkaWordCount { def main(args: Array[String]):
SparkStreaming任务运行一段时间后开始报TOKEN过期问题。 原因分析 问题1：Spark提交任务默认不会加载kafka的相关包，所以需要在启动命令中增加--jars来指定对应kafka版本的jar包 问题2：连接Kafka无法使用Spark的认证信息，需要将相关的认证使用JVM的参数设置进去。 问题3
Manager。 登录MRS管理控制台，进入MRS集群，在“概览”页面，单击“IAM用户同步”右侧的“单击同步”。 IAM同步完成，作业管理添加配置作业提交作业即可正常。 父主题： 集群管理类
障。 处理步骤 检查Manager中LdapServer进程是否正常。 登录主管理节点。 执行ps -ef | grep slapd，查询配置文件位于“${BIGDATA_HOME}/om-0.0.1/”路径下面的LdapServer资源进程是否正常。 判断资源正常有两个标识： 执行sh
如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，才能进入下一步操作。 卸载失败或者重试后仍然失败，不能直接再点安装，请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。 当前补丁只支持离线重启。 登
行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfs=true，可通过配置为false关闭）。开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放
-Dupdate.hfile.output=/user/output/：表示执行结果输出路径为“/user/output/”。 当HBase已经配置透明加密后，“批量更新”操作注意事项请参考7。 执行以下命令，加载HFiles： hbase org.apache.hadoop.hbase
Job，Receiver对于Spark是一个普通的任务，但它的生命周期和Spark Streaming任务相同，并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下，要时刻注意核数与Receiver个数的关系。 父主题： Spark Streaming
参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明： 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容，不超过2048字符。
框可根据关键字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志，日志中主要字段含义如下： result：策略校验结果，0表示拒绝，1表示允许。
install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache
-Dupdate.hfile.output=/user/output/：表示执行结果输出路径为“/user/output/”。 当HBase已经配置透明加密后，“批量更新”操作注意事项请参考7。 执行以下命令，加载HFiles： hbase org.apache.hadoop.hbase
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 public class KafkaWordCount { public static void
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时，outputMode用于配置写入Streaming接收器的数据。 public class KafkaWordCount { public static void
行/文件 写入数 写入到输出源的行数（文件数）。 行/文件 跳过数 转换过程中记录的坏行数（文件数）：输入格式不正确，无法进行转换。 转换过程中配置过滤条件后跳过的行数。 父主题： 管理Loader作业
BulkLoad导入数据成功，执行相同的查询时却返回不同的结果 HBase恢复数据任务报错回滚失败 HBase RegionServer GC参数Xms和Xmx的配置为31GB，导致RegionServer启动失败 在集群内节点使用LoadIncrementalHFiles批量导入数据，报错权限不足 使用Phoenix
Job，Receiver对于Spark是一个普通的任务，但它的生命周期和Spark Streaming任务相同，并且占用一个核的计算资源。 在调试和测试等经常使用默认配置的场景下，要时刻注意核数与Receiver个数的关系。 父主题： Spark Streaming
ionInsight-IoTDB-*/iotdb/ext/udf”下。 在部署集群的时候，需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。您可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBSe
install编译构建HBase Jar包失败报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache
install编译构建HBase Jar包报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache.c
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
