检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
lude”表示策略适用于除去当前输入内容之外的其他对象。 table 适用该策略的Spark2x表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 海量结构化数据分析汇总。 将
开始时间:如果未设置,则取默认的开始时间为0。 结束时间:如果未设置,则取默认的结束时间为当前操作提交的时间。 表名:如果未输入表名,则默认校验所有的启用了实时同步的用户表。 切换数据写入状态 set_clusterState_active set_clusterState_standby 设置集群HBase表是否可写入数据。
YEAR TO MONTH、INTERVAL DAY TO SECOND、BINARY/VARBINARY、UUID。 物化视图改写支持的函数 转换函数:只支持CAST函数。 字符串函数:支持所有字符串函数,包括char_length、character_length、chr、code
12028 主机D状态和Z状态进程数超过阈值 占用系统资源,业务进程响应变慢。 0 omm进程使用率 12061 进程使用率超过阈值 无法切换到omm用户。无法创建新的omm线程。 90 表3 集群监控指标转告警列表(未开启分级告警开关) 服务 监控指标名称 告警ID 告警名称 告警对系统的影响
hoodie.datasource.hive_sync.partition_extractor_class 用于提取Hudi分区列值,将其转换成Hive分区列。 org.apache.hudi.hive.SlashEncodedDayPartitionValueExtractor
获取MRS样例工程 MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载
开始时间:如果未设置,则取默认的开始时间为0。 结束时间:如果未设置,则取默认的结束时间为当前操作提交的时间。 表名:如果未输入表名,则默认校验所有的启用了实时同步的用户表。 切换数据写入状态 set_clusterState_active set_clusterState_standby 设置集群HBase表是否可写入数据。
获取MRS样例工程 MRS样例工程下载地址为https://github.com/huaweicloud/huaweicloud-mrs-example。 切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载
节点的实例规格配置越高,数据处理分析能力越强,集群所需费用也越高。 不同可用区内的实例规格可能有差异,如果当前可用区下的实例规格不满足需求,可尝试切换其他可用区。 当Core节点规格选择为HDD磁盘时,MRS无需为数据磁盘付费,但ECS需要为此付费。 当Core节点规格选择非HDD磁盘时
如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性和优化 新特性和优化: 支持磁盘分区扩容 弹性扩缩容过程中的异常告警优化 支持更换i/ir系列磁盘后,自动挂载磁盘 解决的问题 解决的问题 Manager 解决主机监控数据缺失问题; 解决主oms的gaussdb进程占用内存较大的问题;
String 参数解释: 作业类型。 约束限制: 不涉及 取值范围: MapReduce SparkSubmit SparkPython:该类型作业将转换为SparkSubmit类型提交,MRS控制台界面的作业类型展示为SparkSubmit,通过接口查询作业列表信息时作业类型请选择SparkSubmit。