检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拼接转换 概述 “拼接转换”算子,将已有字段的值通过连接符拼接,生成新的字段。 输入与输出 输入:需要拼接的字段 输出:拼接后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置拼接后的字段名。 string 是 无 分隔符 配置拼接符,可为空。
解决方法参考4。 解决办法 ZooKeeper连接失败导致。 Kafka客户端连接ZooKeeper服务超时。检查客户端到ZooKeeper的网络连通性。 网络连接失败,通过Manager界面查看Zookeeper服务信息。 图1 Zookeeper服务信息 配置错误,修改客户端命令中ZooKeeper地址。
备份MRS集群组件数据 备份Manager数据(MRS 2.x及之前版本) 备份Manager数据(MRS 3.x及之后版本) 备份CDL业务数据 备份ClickHouse元数据 备份ClickHouse业务数据 备份DBService元数据 备份Doris业务数据 备份Flink元数据
告警属性 告警ID 告警级别 是否自动清除 12180 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对
告警属性 告警ID 告警级别 是否自动清除 16009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
添加实例”,选择一个节点添加TimelineServer实例,选择“下一步 > 下一步 > 提交”,添加实例成功。 进入FusionInsight Manager主页,单击集群的名称后的,选择“重启配置过期的实例”,等待重启实例成功。 查看重启后的各实例状态,例如TimelineServer实例的主备显示和运行状态正常。
NULL COMMENT "用户id", `username` VARCHAR(50) NOT NULL COMMENT "用户昵称", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户年龄", `gender`
jobserver运行日志 job-gateway.log 服务运行时的日志 prestart.log 服务预启动日志 availability-check.log 服务可用性检查日志 verbose-gc-sp.txt 服务gc日志 gc.log 服务gc日志 jobserver审计日志 access_log
提供三种方式对工作流进行操作,详情请参见Oozie应用开发常见问题。 Shell命令 Java API Hue Oozie客户端提供了比较完整的examples示例供用户参考,包括各种类型的Action,以及Coordinator以及Bundle的使用。以客户端安装目录为“/opt/client”为例,ex
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例
Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例
MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题: 组件介绍
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.1.0.0.16补丁说明
MRS 3.2.0-LTS.1.10补丁说明 安装补丁前必读 安装补丁前准备 安装补丁 补丁安装后操作 回滚补丁 补丁基本信息说明 父主题: MRS集群补丁说明
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在com
使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScan
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写入安全认证代码,确保MapReduce程序能够正常运行。
执行以下命令配置环境变量。 source bigdata_env 集群认证模式是否为安全模式。 是,执行以下命令进行用户认证: kinit Hive业务用户 否,执行5。 执行以下命令登录Hive客户端。 beeline 执行如下命令创建Hive分区表“table_1”,指定分区“pt='2
S回收站,直接删除。使用前先设置HDFS客户端配置项“dfs.client.skipTrash.enabled=true”。 以root用户登录集群任一Master节点。 执行如下命令编辑HDFS用到的“hdfs-site.xml”文件。 vim 客户单安装目录/HDFS/had
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts