检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn原生页面上查看到作业日志。 图1 作业的“application ID” 是,执行16。 否,执行18。 单击失败作业application
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行12。 否,执行13。 单击失败作业application
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中,JobhistoryServer会定时去清理HDFS上存储的旧的日志文件(默认目录为H
集群中每个DataNode实例平均保存的Blocks= HDFS Block * 3 ÷ DataNode节点数。 HDFS Block:可以登录FusionInsight Manager,选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的“Name
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在参数配置界面中配置。 在MapReduce服务中,JobhistoryServer会定时去清理HDFS上存储的旧的日志文件(默认目录为H
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 日志归档规则: 表1 Yarn日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USE
WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行16。 否,执行18。 单击失败作业application
(TID 208574) in 15088 ms on 10-196-115-6 (59515/153378) 因此,处理这类网络超时任务,可以减少单个Executor的核数来规避该类问题。 父主题: Spark Core
<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 日志介绍 日志类型 日志文件 日志描述 运行日志 connect.log CDLConnector的运行日志。
table user_info; 执行以下命令退出Hive客户端。 !q 外部分区表操作 可使用insert语句直接向外部表中插入数据,也可以使用load data命令导入HDFS中的文件数据到外部表中。如果需要使用load data命令导入文件数据,需执行以下操作: 根据表1数据创建文件。例如,文件名为“txt
partitionpath.field 用于指定分区键,该值配合hoodie.datasource.write.keygenerator.class使用可以满足不同的分区场景。 无 hoodie.datasource.write.hive_style_partitioning 用于指定分区方式
<name>HBASE_ZK_SSL_ENABLED</name> <value>true</value> </property> 执行以下命令创建Hive表。 可以在Hue WebUI中Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF NOT
river端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
worker.gc.childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker.gc
不涉及 取值范围: 标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 values 否 Array of strings 参数解释: 标签的值。 约束限制: 标签的value值可以包含任意语种字母、数字、空格和_
river端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark
在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”。 在root根目录下,勾选“设置存储组”。 当用户具有该角色权限后,可以创建root根目录下的存储组。 设置用户创建时间序列的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > IoTDB > 普通用户权限”。
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HBase日志列表 日志类型 日志文件名 描述 运行日志 hbase-<SSH_USER>-<proc
参数解释: 标签的值。 约束限制: 不涉及 取值范围: 标签的value值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 最大长度255个unicode字符,可以为空字符串。 默认取值: 不涉及 响应参数 无 请求示例 更新一个弹性伸缩策略,