检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false”,则表示集群不支
nodemanager.remote-app-log-dir 在默认文件系统上(通常是HDFS),指定NM应将日志聚合到哪个目录。 logs 777 yarn.nodemanager.remote-app-log-archive-dir 将日志归档的目录。 - 777 yarn.app.mapreduce
是否建立了RAID,用户密码为安装前用户自定义,请咨询系统管理员。 其中/dev/sd[x]为2中获取到的上报告警的磁盘名称。 例如执行: lsscsi | grep "/dev/sda" 如果命令执行结果第三列显示ATA、SATA或者SAS,说明磁盘没有建立RAID;显示其他信息,则该磁盘可能建立了RAID。
列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 大任务下MapReduce任务运行失败,请参考MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常进行处理。 BulkLoad支持的数据源格式为带分隔符的文本文件。 已安装客户端。例如安装
spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:239) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237) at scala.Option
kafka.common.utils.AppInfoParser) [2017-03-07 10:19:18,478] INFO Kafka commitId : unknown (org.apache.kafka.common.utils.AppInfoParser) Consum
取消SQL的执行结果。默认返回SUCCEED,对于已经结束的任务也会返回SUCCEED,只有取消正在运行的SQL时没成功才会FAILED。 约束限制: 不涉及 取值范围: SUCCEED:成功 FAILED:失败 默认取值: 不涉及 状态码: 400 表3 响应Body参数 参数 参数类型 描述 message
bck2-*.jar reportClosedRegions [-details] [<TABLENAME>...] 其中: 不输入-details时只输出CLOSED状态的Region数量,输入-details时输出所有CLOSED状态的Region名称。 不指定TABLENAME时默认查看所有表。
--conf spark.hadoop.net.topology.node.switch.mapping.impl=org.apache.hadoop.net.ScriptBasedMapping 父主题: 使用Spark
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误: 原因分析 Hive的二次开发样例代码会加载core-site.xml,此文件默认是通过classload加载,所以使用的时候要把此配置
log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。
Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times, most recent failure: Lost task 2866.6 in stage 11.0 (TID
Parquet数据失败,报如下错误信息。 Job aborted due to stage failure: Task 2866 in stage 11.0 failed 4 times, most recent failure: Lost task 2866.6 in stage 11.0 (TID
B6C.COM,cn=krbcontainer,dc=hadoop,dc=com -w cn=root,dc=hadoop,dc=com用户密码 -e ppolicy | grep krbLoginFailedCount krbLoginFailedCount: 5 登录Manager,选择“系统
instant => '[instant]'); 查看某个表生效的某个instant信息: call show_active_instant_detail(table => '[table_name]', instant => '[instant]'); 查看某个表已被归档的instant
API,在下文中统称为新API。 Kafka访问协议说明 Kafka当前支持四种协议类型的访问:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 Kafka服务启动时,默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的访问监测。可通过设置Kafka服务配置参数“ssl
HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:104) at org.apache.hudi.HoodieSparkSqlWriter$$anonfun$1.apply(HoodieSparkSqlWriter.scala:100)
如下: client.sources.s1.type = TAILDIR client.sources.s1.filegroups = f1 client.sources.s1.filegroups.f1 = ${TAILDIR_PATH} client.sources.s1.positionFile
根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行4。 否,执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。