检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez
SQL查询样例代码说明 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
JobHistoryServer进程状态异常 告警解释 JobHistoryServer每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除
表1 支持变更计费模式的MRS计费项 计费项 变更说明 相关文档 MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计
RangerKMS进程状态异常 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 RangerKMS每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45294 重要 是 告警参数 类别 参数名称
Kafka开发指南(安全模式) Kafka应用开发简介 Kafka应用开发流程介绍 Kafka样例工程介绍 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更,所有DDL变更操作顺序为: 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
ALM-14032 JournalNode进程状态异常 告警解释 JournalNode每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 告警属性 告警ID 告警级别 是否可自动清除 14032 重要 是 告警参数 参数名称
ALM-18028 TimeLineServer进程状态异常 告警解释 TimeLineServer每20秒周期性检查进程状态,当进程状态异常,且长时间未转换为正常状态时触发该告警。 进程状态正常后告警清除。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别 是否可自动清除
否 distributed_product_mode 默认SQL中的子查询不允许使用分布式表,修改为local表示将子查询中对分布式表的查询转换为对应的本地表。 deny 根据场景定: deny/local/global/allow 否 background_pool_size 后台用于merge的线程池大小。
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
编辑已有作业或者新建作业,进入“转换”界面。 双击指定的算子进入编辑页面,在输入或输出字段的参数表格添加相应配置信息,单击“导出”。 选择导出的类型。 所有 所有的字段信息将以json文件格式导出保存到本地。 指导字段 在字段列表上勾选需要导出的字段以json文件格式导出保存到本地。 单击“确定”,完成导出操作。
hex(bigint|string|binary x) -> string 如果x为int或二进制形式,则十六进制格式数字以string类型返回。否则,如果x为string,则会将字符串的每个字符转换为十六进制表示形式,并返回结果string select hex(68); -- 44 select
就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于此类错误,请从源头数据采集的位置进行有效的数据类型转换。 父主题: Hudi常见问题