检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi(集成在Spark2x中) 0.9.0 Hue 4.7.0 Kafka 2.11-2.4.0 KrbServer 1.18 LdapServer 2.7.0 Loader 1.99.3 Mapreduce 3.1.1 Oozie 5.1.0 Phoenix(集成在HBase中)
请确认包年/包月MRS集群还未到期。 在购买MRS集群页面开通自动续费 您可以在购买包年/包月的MRS集群页面开通自动续费。更多购买MRS集群的信息,请参见购买自定义集群。 在购买MRS集群时开通的自动续费遵循以下规则: 按月购买:自动续费周期为1个月。 按年购买:自动续费周期为1年。 在现有集群列表开通自动续费
手动续费 包年/包月MRS从购买到被自动删除之前,您可以随时在MRS控制台为集群续费,以延长集群的使用时间。 在MRS管理控制台续费 登录MRS管理控制台。 在现有集群列表中单击需要续费的集群所在行的“操作”列的“续费”即可进行续费。 图1 续费MRS集群 统一包年/包月资源的到期日
Flume 1.9.0 HBase 2.2.3 HDFS 3.3.1 HetuEngine 1.2.0 Hive 3.1.0 Hudi(集成在Spark2x中) 0.11.0 Hue 4.7.0 IoTDB 0.14.0 Kafka 2.11-2.4.0 KrbServer 1.18
支持POSIX globs配置。 No (在fileset标签内) <rules> 针对策略定义多个规则。 No (在policy标签内) <rule> 定义单一规则。 Yes (在rules标签内) <age>or<atime> 定义在<fileset>中定义的文件的age/a
storage特性,允许将ClickHouse表存储在包含多个设备的卷当中。通过在volume中定义不同类型的磁盘,根据数据的“冷”、“热”程度将数据存放在不同类型的磁盘上,即冷数据存储在OBS,热数据存储在ClickHouse中。实现了ClickHouse集群在提供查询性能的同时又能以低成本的方式实现数据的长期存放。
新增组件,支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS Manager页面上进行Impala SQL作业管理。 Spark2x 升级到3.1.1版本。 ZooKeeper 升级到3.6.3版本。
支持POSIX globs配置。 No (在fileset标签内) <rules> 针对策略定义多个规则。 No (在policy标签内) <rule> 定义单一规则。 Yes (在rules标签内) <age>or<atime> 定义在<fileset>中定义的文件的age/a
配置项中使用宏定义 用户在创建或者编辑Loader作业时,在配置参数时可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataform
Loader算子配置项中使用宏定义 用户在创建或者编辑Loader作业时,在配置参数时可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏
Hudi具有主键唯一性机制,但在分区表的场景下通常只能保证分区内主键唯一,因此如果分区键的值发生变更后,会导致相同主键的行记录出现多条的情况。在以日期分区的场景,可采用数据的创建时间为分区字段,切记不要采用数据更新时间做分区。 当指定Hudi的索引类型为Global索引类型时,Hud
更好。 分区表的分区键不允许更新,否则会产生重复数据。 例外场景:超大维度表和超小事实表 特殊情况如存在持续大量新增数据的维度表(表数据量在200G以上或日增长量超过60M)或数据量非常小的事实表(表数据量小于10G且未来三至五年增长后也不会超过10G)需要针对具体场景来进行例外处理:
TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 快速购买MRS集群 进入购买MRS集群页面。 在购买集群页面,选择“快速购买”页签。 参考下列参数说明配置集群基本信息。 表1 MRS集群配置参数 参数 描述 示例 计费模式 集群的计费模
row1:主键。 cf:a:自定义的列。 value1:插入的值。 数据查询 由于冷热数据都在同一张表中,因此用户所有的查询操作都只需在一张表内进行。在查询时,建议通过配置TimeRange来指定查询的时间范围,系统将会根据指定的时间范围决定查询模式,包括仅查询热存储、仅查询冷存储或
应用场景 大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL(Extract-Tran
加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。 在启用了安全服务的集群中执行如下操作,需要对涉及的表具有与操作对应的权限。 样例代码 -- 查看薪水支付币种为美元的雇员联系方式. SELECT
加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。 在启用了安全服务的集群中执行如下操作,需要对涉及的表具有与操作对应的权限。详情请参见Hive应用开发概述。 样例代码 -- 查看薪水支付币种为美元的雇员联系方式
x之前版本,如下参数见表4,在MRS的Flink默认配置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink
updateRangerJks.sh 主Master节点IP 主RangerAdmin节点IP 输入证书密码 该脚本会重启controller进程,在重启过程中,可能会影响到MRS Manager页面的查看,待controller进程重启后,会恢复正常。 请在MRS Manager页面“主机管理”中查看主Master节点IP。
集群中部分组件状态异常,导致集群异常,则其状态为“异常”。 删除中 在集群现有列表单击“删除”按钮并确认后,按需购买的集群节点正在删除中,则集群状态为“删除中”。 冻结 包年/包月资源宽限期到期未续费、按需资源扣费失败且在宽限期到期前未充值,系统会冻结这些资源,其状态为“冻结”。本文提