检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
相关信息 更多HBase权限管理、使用索引及全局二级索引查询表数据、使用BulkLoad工具迁移HBase数据等操作请参见使用HBase。
若主集群的HBase表启用容灾功能同步数据,用户每次为HBase表增加新的索引,需要手动在备集群的灾备表增加二级索引,保持与主集群二级索引结构一致。
6 为提升查询性能,创建二级索引或者删除二级索引。 7 用户销户,删除用户信息表中该用户的数据。 8 A业务结束后,删除用户信息表。
说明: 在CarbonData表创建过程中,不允许使用tupleId,PositionId和PositionReference为列命名,因为具有这些名称的列由二级索引命令在内部使用。 table_name Database中的表名,由字母、数字和下划线(_)组成。
说明: 在CarbonData表创建过程中,不允许使用tupleId,PositionId和PositionReference为列命名,因为具有这些名称的列由二级索引命令在内部使用。 table_name Database中的表名,由字母、数字和下划线(_)组成。
oracle-connector:Oracle数据库专用连接器,使用row_id作为分区列,相对generic-jdbc-connector来说,Map任务分区更均匀,并且不依赖分区列是否有创建索引。
图1 冷热存储原理图 表1 模块说明 参数 描述 Volume 卷,有序的磁盘的集合。 Storage Policy 存储策略,卷的集合以及卷之间数据移动的规则。 创建OBS并行文件系统 登录云服务管理控制台。 选择“存储 > 对象存储服务”,进入对象存储服务界面。
实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点信息,节点信息包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。
实现方案 多主实例模式的HA方案原理如下图所示。 图1 Spark JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。
对每一个计划节点,都可以看到额外的统计信息,例如每个节点实例的输入平均值,哈希碰撞(hash collisions)的平均次数。这些统计信息对于分析一条SQL语句中的数据异常情况(skewness数据倾斜,abnormal hash collisions)非常有用。
Hash:用值的哈希值替换原值,采用的是hive的内置mask_hash函数,只对string、char、varchar类型的字段生效,其他类型的字段会返回NULL值。 Nullify:用NULL值替换原值。
Partition展示待迁移的Topic,其命名规则为“Topic名称-分区索引”。 Replicas展示当前该Topic分区所在Broker的ID。 单击“Generate Partition Assignments”按钮,生成分区迁移计划。
利用Elasticsearch-Hadoop插件,完成Hive和CSS服务的Elasticsearch直接的数据交互,通过Hive外部表的方式,可以快速将Elasticsearch索引数据映射到Hive表中。
ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。 该功能仅MRS 3.1.0及之后版本支持。
访问 select col1.b from row_tb; -- HetuEngine --命名和未命名的字段,都可以通过位置索引来访问,位置索引从1开始,且必须是一个常量 select col1[1] from row_tb; -- 1 IPADDRESS IP地址,可以表征
图1 Job Pipeline流图 Job Pipeline原理介绍 图2 Job Pipeline NettySink和NettySource Pipeline中上下游Job是直接通过Netty进行通信,上游Job的Sink算子作为Server,下游Job的Source算子作为Client
如果主集群的HBase表启用容灾功能同步数据,用户每次为HBase表增加新的索引,需要手动在备集群的灾备表增加二级索引,保持与主集群二级索引结构一致。
HASH Fragment会在固定数量的节点上执行,输入数据通过哈希函数进行分布。 ROUND_ROBIN Fragment会在固定数量的节点上执行,片段在固定数量的节点上执行,输入数据以轮询方式进行分布。
原理类似于“使用mapPartitions替代map”,也是一次函数调用处理一个partition的所有数据,而不是一次函数调用处理一条数 据。在实践中发现,foreachPartitions类的算子,对性能的提升还是很有帮助的。
tag.location.default: 1" ); 写时合并 Unique模型的写时合并实现与Aggregate模型是完全不同的两种模型,查询性能更接近于Duplicate模型,在有主键约束需求的场景上相比Aggregate模型有较大的查询性能优势,适用于在聚合查询以及需要用索引过滤大量数据的查询场景