检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于运行任务的Container。 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applic
于运行任务的Container。 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applic
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 检查磁盘使用率是否达到上限 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。
时间间隔参数配置为mapreduce.jobhistory.max-age-ms,默认值为1296000000,即15天。 表1 MR日志列表 日志类型 日志文件名 描述 运行日志 jhs-daemon-start-stop.log 守护进程(Daemon)的启动日志。 hado
时间间隔参数配置为mapreduce.jobhistory.max-age-ms,默认值为1296000000,即15天。 表1 MR日志列表 日志类型 日志文件名 描述 运行日志 jhs-daemon-start-stop.log 守护进程(Daemon)的启动日志。 hado
CTBase对接Ranger权限插件,提示权限不足 问题 CTBase访问启用Ranger插件的HBase服务时,如果创建聚簇表,提示权限不足。 报错信息如下: ERROR: Create ClusterTable failed. Error: org.apache.hadoop
有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log.<DATE>.log Tomcat访问日志。 catalina
ClickHouse与其他组件的关系 ClickHouse安装部署依赖ZooKeeper服务。 ClickHouse通过Flink流计算应用加工生成通用的报表数据(明细宽表),准实时写入到ClickHouse,通过Hive/Spark作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序(Scala) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
properties Broker实例IP地址:登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
RENAME 命令功能 ALTER TABLE ... RENAME语法用于修改表名。 命令语法 ALTER TABLE tableName RENAME TO newTableName 参数描述 表1 RENAME参数描述 参数 描述 tableName 表名。 newTableName
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
TaskManager/JobManager的运行日志,GC日志等信息。 还可以使用如下命令获取指定名称日志。 获取container日志列表: yarn logs -applicationId application_* -show_container_log_info --containerId