检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行4。 否,执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
[root@host01 bin]# yarn-session.sh 2018-10-25 19:27:01,397 | ERROR | [main] | Error while trying to split key and value in configuration file
列的名称不能包含特殊字符,只能由字母、数字和下划线组成。 大任务下MapReduce任务运行失败,请参考MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常进行处理。 BulkLoad支持的数据源格式为带分隔符的文本文件。 已安装客户端。例如安装
操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。 Create table xx (col_name data_type) stored as orc tblproperties ("orc.compress"="SNAPPY"); 可用:使用“ZLIB”压缩,适用于压缩比要求较高场景。
com.jolbox.bonecp.BoneCP.obtainInternalConnection(BoneCP.java:292) org.postgresql.util.PSQLException: FATAL: remaining connection slots are reserved
如下: client.sources.s1.type = TAILDIR client.sources.s1.filegroups = f1 client.sources.s1.filegroups.f1 = ${TAILDIR_PATH} client.sources.s1.positionFile
例如: https://<EIP>:9022/component/Yarn/NodeManager/15/node/containerlogs/container_e04_1627976981617_0002_01_000002/root/stderr?start=-4096 修改为:
Service Unavailable The server is temporarily unable to service your requster due to maintenance downtime or capacity problems.Please try again later
根据告警“定位信息”中的任务名找到失败任务,查找并记录失败作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行4。 否,执行6。 单击失败作业application ID进入作业界面。 单击作业“Logs”
默认取值: 不涉及 available_quota Integer 参数解释: 可使用配额大小。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求示例 无 响应示例 状态码: 200 请求成功 { "total_quota" : 10, "available_quota"
响应Body参数 参数 参数类型 描述 tags Array of TagPlain objects 参数解释: 标签列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表3 TagPlain 参数 参数类型 描述 key String 参数解释: 标签的键。 约束限制:
MemArtsCC服务安装的日志 sidecarStartDetail.log sidecar服务启动日志 sidecarStopDetail.log sidecar服务停止日志 workerStartDetail.log worker服务启动日志 workerStopDetail.log worker服务停止日志
本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景,例如:Taildir Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。
5 : LZ4 6 : SNAPPY Choose: Output directory: /user/loader/test File operate type: 0 : OVERRIDE 1 : RENAME 2 : APPEND 3 : IGNORE
5 : LZ4 6 : SNAPPY Choose: Output directory: /user/loader/test File operate type: 0 : OVERRIDE 1 : RENAME 2 : APPEND 3 : IGNORE
不涉及 取值范围: 不涉及 默认取值: 不涉及 availability_zone_id String 参数解释: 可用区域。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 tags Array of TagPlain objects 参数解释: 标签列表信息。 约束限制:
在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m -Xmx768m"” 保存并退出文件。 在Master节点执行如下命令重启knox进程。
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
cpu-vcores 可分配给container的CPU核数。 8 为达到最优性能,可配置为集群中节点最小CPU vCores。 yarn.scheduler.maximum-allocation-mb 为ResourceManager中每个container请求分配的最大内存。单位:
XML”,值为“客户端安装目录/Oozie/oozie-client-*/examples/apps/hive/hive-site.xml”上传至HDFS目录中所在路径,例如“/user/admin/examples/apps/hive2/hive-site.xml”。“HiveServer2 URL”及其他参数无需配置。