检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
据导入功能。 导入的原子性保证 Doris的每一个导入任务,不论是使用Broker Load进行批量导入,还是使用INSERT语句进行单条导入,都是一个完整的事务操作。导入事务可以保证一批次内的数据原子生效,不会出现部分数据写入的情况。 同时,每个导入任务都会有一个Label。这
数据分区和分桶 Doris支持两层的数据划分。第一层是Partition(分区),支持Range(按范围)和List(按枚举值)的划分方式。第二层是Bucket(分桶),仅支持Hash的划分方式。分区和分桶都是对数据进行横向分割。 也可以仅使用一层分区。使用一层分区时,只支持Bu
Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名功能,与服务提供的SDK不同,使用时请注意。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将云服务资源委托给更专业、高效的其他云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CloudTable服务的其它功能。
index:表示需修改索引状态的数据表的名称。 idx_state_opt:表示修改索引的目标状态,可选参数如下: indexnames.to.inactive:表示将指定的索引转换为INACTIVE状态。 indexnames.to.active:表示将指定的索引转换为ACTIVE状态。
tablename.to.index:表示创建索引的数据表的名称。 indexspecs.to.add:表示与索引名与对应数据表的列的映射(索引列定义)。 indexspecs.covered.to.add(可选):表示索引中冗余存储的数据表的列(覆盖列定义)。 indexspecs.covered
String VPC ID,创建集群节点所在的虚拟私有ID。 sub_net_id String 子网ID,创建集群所在子网段。 security_group_id String 安全组对应的ID。 availability_zone String 集群所属的可用区。 表4 Datastore
“Apply”后,单击“OK”,如图5所示。 图5 设置Eclipse的编码格式 打开样例工程中的“conf/hbase-site.xml”文件,修改“hbase.zookeeper.quorum”的值为正确的Zookeeper地址。 <property> <name>hbase
择以下任一选项。 “按事件名称”:选择该选项时,还需选择某个具体的事件名称。 “按资源ID”:选择该选项时,还需选择或者手动输入某个具体的资源ID。 “按资源名称”:选择该选项时,还需选择或手动输入某个具体的资源名称。 “操作用户”:在下拉框中选择某一具体的操作用户,此操作用户指用户级别,而非租户级别。
是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。 请求参数 表2
IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3
ClickHouse水平扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持水平扩容。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。 在集群列表中,选定集群的操作列,单击“更多 >
备注:此字段只适用HBase1.3.1版本。 instance 是 Instance object 集群的实例对象。 name 是 String CloudTable集群的名称。 storage_size 否 Integer 存储值的大小。 HBase取值范围: 800GB-10TB。 storage_type
单击集群管理,显示当前集群列表。 选择操作集群,单击操作列的“磁盘扩容”,进入扩容页面。 图1 磁盘扩容页面 磁盘操作也可以在集群详情页面单击“磁盘扩容”,跳转磁盘扩容页面。 图2 磁盘扩容 选择变配节点。 按“+”确定扩容磁盘后的磁盘容量。 确定费用以及资源配额后,单击确定。 磁盘扩容状态
HBase集群水平扩容 为了提升系统的计算能力、存储能力,用户可以通过水平扩容来扩容集群。水平扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。
Doris集群水平扩容 水平扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 水平扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
待导入表的Partition信息,如果待导入数据不属于指定的Partition则不会被导入。这些数据将计入dpp.abnorm.ALL。 columns 待导入数据的函数变换配置,目前Stream load支持的函数变换方法包含列的顺序变化以及表达式变换,其中表达式变换的方法与查询语句的一致。 exec_mem_limit
参数类型 描述 clusters Array of ClusterDetail objects 查询到的集群详细列表,每个json体表示一个集群的详情。 count Integer 查询到的集群数量。 表4 ClusterDetail 参数 参数类型 描述 action_progress
IP MRS Manager的浮动IP地址,选择连接的集群后,ip地址会自动填充。 认证类型 MRS集群鉴权类型,安全集群可选“KERBEROS”,非安全集群可选“SIMPLE”。选择连接的集群后,安全类型会自动填充。 连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3