检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问FusionInsight Manager(MRS 3.x及之后版本) 操作场景 MRS 3.x及之后版本的集群使用FusionInsight Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight
first 4:只显示开始的4个字符。 Hash:对数据进行Hash处理。 Nullify:用NULL值替换原值。 Unmasked(retain original value):不脱敏,显示原数据。 Date: show only year:日期格式数据只显示年份信息。 Custom:可使用任何有效Hive
BlockPlacementPolicyWithNodeLabel。 org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy host2tags 配置DataNode主机与标签的对应关系。 主机名称支持配置IP扩展表达式(如192
first 4:只显示开始的4个字符。 Hash:对数据进行Hash处理。 Nullify:用NULL值替换原值。 Unmasked(retain original value):不脱敏,显示原数据。 Date: show only year:日期格式数据只显示年份信息。 Custom:可使用任何有效Hive
2022-04-01 18:59:11 LoadFinishTime: 2022-04-01 18:59:11 URL: NULL JobDetails: {"Unfinished backends":{"5072bde59b74b65-8d2c0ee5b029adc0":[]},"ScannedRows":27
--------------------------------------- 1960-01-22 03:04:00.000 Asia/Shanghai (1 row) 常用提取函数 域 描述 YEAR year() QUARTER quarter() MONTH month() WEEK
char、varchar类型的字段生效,其他类型的字段会返回NULL值。 Nullify:用NULL值替换原值。 Unmasked(retain original value):原样显示。 Date: show only year:仅显示日期字符串的年份部分,并将月份和日期默认为01/01。
lter或SingleColumnRangeFilter,它会在一个在过滤条件中提供确定值column_family:qualifierpair(称该列为col1)。 若col1作为表上的第一个索引列,那么该表上的任何索引都可以成为查询期间使用的候选索引。例如: 如果有col1上
4:只显示开始的4个字符,其他用x代替。 Hash:用值的哈希值替换原值。 Nullify:用NULL值替换原值。 Unmasked(retain original value):原样显示。 Custom:可使用任何有效返回与被屏蔽的列中的数据类型相同的数据类型来自定义策略。 如需添加多列的脱敏策略,可单击按钮添加。
lter或SingleColumnRangeFilter,它会在一个在过滤条件中提供确定值column_family:qualifierpair(称该列为col1)。 如果col1作为表上的第一个索引列,那么该表上的任何索引都可以成为查询期间使用的候选索引。例如: 如果有col1
配置Guardian服务对接OBS 操作场景 该章节指导用户开启Guardian组件存算分离操作。开启后Guardian可以在存算分离场景下为HDFS、Hive、Spark、Loader、HetuEngine等服务提供访问OBS的临时认证凭据。 配置Guardian服务对接OBS主要操作如下:
恢复Hive业务数据 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对Hive进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight
备份Hive业务数据 操作场景 为了确保Hive日常用户的业务数据安全,或者系统管理员需要对Hive进行重大操作(如升级或迁移等),需要对Hive数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight
描述:按照buckets桶的数量,为所有的value计算近似直方图,每一项的宽度使用weight。本算法大体上基于。 Yael Ben-Haim and Elad Tom-Tov, "A streaming parallel decision tree algorithm", J
租户资源调度器。 为满足企业需求,克服Yarn社区在调度上遇到的挑战与困难,Superior调度器不仅集合了当前Capacity调度器与Fair调度器的优点,还做了以下增强: 增强资源共享策略 Superior调度器支持队列层级,在同集群集成开源调度器的特性,并基于可配置策略进一
Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量,减少网络IO,从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发
被导入。 导入到Hive分区表内表时,Hive默认不会扫描新导入的数据,需要执行如下HQL修复表才可以查询到新导入数据: MSCK REPAIR TABLE table_name; 转换步骤配置不正确时,传输的数据将无法转换并成为脏数据,脏数据标记规则如下: 任意输入类型步骤中,
修改相关配置项时请严格按照提示描述,确保修改后的值有效,且GC_OPTS与HBASE_HEAPSIZE参数值无冲突。 使用OfflineMetaRepair工具 导致HBase服务启动异常。 必须在HBase下线的情况下才可以使用该命令,而且不能在数据迁移的场景中使用该命令。 HDFS 修改
被导入。 导入到Hive分区表内表时,Hive默认不会扫描新导入的数据,需要执行如下HQL修复表才可以查询到新导入数据: MSCK REPAIR TABLE table_name; 转换步骤配置不正确时,传输的数据将无法转换并成为脏数据,脏数据标记规则如下: 任意输入类型步骤中,
HBase开源增强特性 HBase开源增强特性:HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序,因此,如果按照某个指定的RowKey去查询数据,或者指定某一个RowKey范围去扫描数据时,HBase可以快速定位到