检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-append 当同时使用-update选项时,追加源位置的文件内容到目标位置的文件。 -f <urilist_uri> 将<urilist_uri>文件的内容作为需要拷贝的文件列表。 -filters 指定一个本地文件,其文件内容是多条正则表达式。
使用HDFS文件系统接口删除或修改文件hdfs:///apps/templeton/hive-3.1.0.tar.gz 该操作可能会导致WebHCat无法正常执行业务。 请勿执行该操作。
前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。
支持一种数据格式应用于多种用例场景:例如交互式OLAP-style查询,顺序访问(big scan),随机访问(narrow scan)。 CarbonData关键技术和优势 快速查询响应:高性能查询是CarbonData关键技术的优势之一。
文件写入分区后,通常需要通知下游应用程序。如将分区添加到Hive元存储中,或在目录中写入_SUCCESS文件。分区文件的提交操作基于触发器和策略的组合方式。
资源异常 ALM-12099 发生core dump ALM-12100 AD服务器连接异常 ALM-12101 AZ不健康 ALM-12102 AZ高可用组件未按容灾需求部署 ALM-12103 executor资源异常 ALM-12104 knox资源异常 ALM-12110 获取
也可以不配置HDFS的Ranger策略,通过之前Hive权限插件的方式,给角色添加权限,然后把角色赋予对应用户。如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。
MATCH PATTERN (STRT DOWN+ UP+) DEFINE DOWN AS DOWN.v < PREV(DOWN.v), UP AS UP.v > PREV(UP.v) ) 在以下查询中,聚合函数AVG应用于
根据修改日志,Standby节点将变动应用到本地文件系统元数据中。一旦发生故障转移,Standby节点能够确保与Active节点的状态是一致的。这保证了文件系统元数据在故障转移时在Active和Standby之间是完全同步的。
在大数据应用,尤其是周期性的数据分析处理场景中,需要根据业务数据的周期变化,动态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。
数据恢复后,需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份HDFS业务数据。
配置节点默认范围 输入Task实例弹性伸缩的数量范围,此约束应用于所有扩容缩容规则,取值范围为0~500。 例如本业务场景中,配置为1~10。 配置弹性伸缩规则 需要配置扩容或者缩容规则,否则弹性伸缩将不会启用。 规则类型选择“扩容”或者“缩容”。
常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。 NONE BLOCKSIZE 配置HFile中block块的大小,不同的block块大小,可以影响HBase读写数据的效率。
常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。 NONE BLOCKSIZE 配置HFile中block块的大小,不同的block块大小,可以影响HBase读写数据的效率。
在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。
MRS大数据组件 MRS hue支持Yarn任务的管理功能,如停止应用。 MRS解支持HBase压缩队列告警。
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。
Spark/HetuEngine等 user/<新增的业务用户>/.Trash MRS 3.3.0-LTS及之后的版本 MRS集群内各组件默认的回收站目录 Hive/Spark/HetuEngine等 /user/.Trash 例如集群新增的用户具有以下权限时,也需在并行文件系统中创建对应用户回收站目录清理策略
对于每个组使用strategyParams实例化适当的策略类(例如:sortColumns),然后应用该策略重写数据。 创建一个REPLACE提交,并更新HoodieReplaceCommitMetadata中的元数据。