检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-Once。当label对应的导入作业状
Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统。 创建。
在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 指云资源所在的物理位置,同一区域内可用区间内网互通,不同区域间内网不互通。通过在不同地区创建云资源,可以将应用程序设计的更接近特定客户的要求,或满足不同地区的法律或其他要求。 可用区 一个可用
cloudtable.com</value> </property> 其中:value中的值为ZooKeeper集群的域名。登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 父主题: 准备开发环境
trash;命令后,容易导致数据不均衡,触发二次数据均衡,再次产生垃圾文件。 回收站时间过短,容易误删、异常原因导致被删除的tablet无法被恢复。建议根据实际业务,观察回收站占用的磁盘空间的平均值,并根据占用磁盘空间和所需的防误删时间窗口,设置合理时间值。 curl -X POST http://{be_ip}
集群无法连接 集群状态为创建失败、亚健康、冻结。 创建失败:删除创建失败的集群,重新创建新集群,创建成功后连接。 亚健康:删除原来的集群,创建新集群。 冻结:给账户充值确保账户余额不为0才能解冻。 说明: 违规冻结或公安冻结的云服务,如需解冻,请联系管理员操作。 连接命令是否正确,用户名、密码、IP地址或端口无误。
关于Partition和Bucket的数量和数据量的建议 一个表的Tablet总数量等于 (Partition num*Bucket num)。 一个表的Tablet数量,在不考虑扩容的情况下,推荐略多于整个集群的磁盘数量。 单个Tablet的数据量理论上没有上下界,但建议在1G-10G的范围内。如果单
根据连接的数据源类型,用户可以自定义连接名。 说明: 必须以字母开头,由字母、数字、中划线组成,不能包含其他的特殊字符,并且长度为4~64个字符。 连接器 Doris支持的外部数据目录组件,目前支持可选:Hive。 Hadoop类型 Doris支持hadoop组件,目前支持的可选:MRS。
ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和RDS服务下的MySQL数据库实例对接进行举例说明。 前提条件
访问ThriftServer操作表 操作场景 用户根据指定的host和port访问对应的ThriftServer实例,进行HBase表的创建,删除等操作。 前提条件 集群已启用ThriftServer并从集群详情页面获取到ThriftServer IP。 已下载Thrift安装包,安装包下载地址:链接。
Doris和ClickHouse组件是按照小时收费的,CU未满1小时,按照1小时收费。 按需产品周期结算说明: 按小时结算:华为云会每小时根据您的使用量计算费用,并到账户中进行扣费。例如,8:00~9:00期间产生的费用,通常会在10:00以前完成扣费。 按月结算:华为云会根据您的使用量计算费用,每月月初
HBase组件是按照小时收费的,CU未满1小时,按照1小时收费。 按需产品周期结算说明: 按小时结算:华为云会每小时根据您的使用量计算费用,并到账户中进行扣费。例如,8:00~9:00期间产生的费用,通常会在10:00以前完成扣费。 按月结算:华为云会根据您的使用量计算费用,每月月初
Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS
example_tbl:表的名称。 user_id,date,city,age,sex,last_visit_date,cost,max_dwell_time,min_dwell_time:列。 VALUES:插入的值。 查询数据。 查询数据,体验 Doris 的数据快速查询分析能力。
Doris暂不支持使用Catalog对接数据存储在并行文件系统的OBS MRS Hive集群 。 创建MRS Hive连接步骤 登录表格存储服务管理控制台。 用户在CloudTable集群管理界面,选择需要操作的集群进入集群详情页面。 单击tab页中的“连接设置”,弹出连接页面。 单击左上角“新建连接”创建MRS
中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。
[ENGINE = engine_name]; 表2 参数说明 参数 说明 db 数据库的名称,默认为当前选择的数据库。 table_name1 被复制表结构的源表。 table_name2 新创建的表。 ON CLUSTER ClickHouse集群名 在每一个节点上都创建一个表,固定为ON
可以看到,用户10004的已有数据和新导入的数据发生了聚合。同时新增了10005用户的数据。 数据的聚合,在Doris中有如下三个阶段发生: 每一批次数据导入的ETL阶段。该阶段会在每一批次导入的数据内部进行聚合。 底层BE进行数据Compaction的阶段。该阶段,BE会对已导入的不同批次的数据进行进一步的聚合。
错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 CloudTable.0101 参数为空 由于创建集群的请求为空,导致创建集群失败。 检查请求,保证请求不为空。 400 CloudTable
API概览 CloudTable提供的符合RESTful API的设计规范的接口,如表1所示。 表1 接口 接口 功能 API URI 集群管理 创建CloudTable集群 POST /v2/{project_id}/clusters 查询CloudTable集群详情 GET