检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。
VIEW qualifiedName SET STATUS <status> 描述 修改物化视图的状态,仅支持ENABLE和SUSPEND相互转换,以及将DISABLE状态修改为SUSPEND或ENABLE。物化视图所有状态包含如下: INIT: 物化视图第一次创建时的状态 SUSP
BUILDING:索引数据正常批量生成,索引数据生成工具执行结束会自动转换到ACTIVE状态,此状态下可以正常读写。 DROPPING:索引正在被删除,跳过生成该索引的索引数据,查询数据时无法使用该索引。 基于工具的索引状态修改,支持图1所示的状态转换。 图1 索引状态转换图 场景介绍 用户可以使用全局二级索引工具禁用/启用某个索引。
s”。 “--transformer-class”指定SqlQueryBasedTransformer,可以通过SQL来操作数据转换,将源数据结构转换成目标表数据结构。 file:///opt/testconf/sourceCommon.properties: # source的公共属性
mer提供以下功能: 支持Kafka,DFS多种数据源接入 。 支持管理检查点、回滚和恢复,保证exactly once语义。 支持自定义转换操作。 示例: 准备配置文件kafka-source.properties #hudi配置 hoodie.datasource.write
所有值都为空时返回空值。例如sum()返回null而不是零,并且avg()在统计时不会包含null值。coalesce函数可用于将null转换为零。 聚合函数的子句 排序order by 有些聚合函数可能会因为输入值的顺序不同而导致产生不同的结果,可以通过在聚合函数中使用order
段。由于没有源表字段直接对应,需要配置表达式从源表的StartDate字段抽取。 图8 Hive字段映射 单击进入转换器列表界面,再选择“新建转换器 > 表达式转换”。 y、ym、ymd字段的表达式分别配置如下: DateUtils.format(DateUtils.parseDate(row[2]
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
表1 支持变更计费模式的MRS计费项 计费项 变更说明 相关文档 MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计
output-lines-terminated-by 输出步骤的行分隔符,当不指定时,默认等于lines-terminated-by的值。 trans 指定转换步骤,值为转换步骤文件所在的路径。当指定文件的相对路径时,默认为“sqoop2-shell”脚本所在路径下的文件。当配置了该属性,其他扩展属性都被忽略。
使用omm用户登录主管理节点。 执行调度器切换。 调度器切换分为三种模式: 0:将Capacity调度器配置转换到Superior,然后将Capacity调度器切换到Superior。 1:只将Capacity调度器配置转换到Superior。 2:只将Capacity调度器切换到Superior。
ngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest 描述:将所有输入的tdigest数据合并成一个tdigest。 v
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez