检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SELECT子句。当数据写入物化视图中SELECT子句所指定的源表时,插入的数据会通过SELECT子句查询进行转换并将最终结果插入到物化视图中。 说明: SELECT查询可以包含DISTINCT、GROUP BY、ORDER BY和LIMIT等,但是相应的转换是在每个插入数据块上独立执行的。 示例: 创建源表。 create
max_bytes_per_broker_scanner配置限制了单个BE处理的数据量的最大值。max_broker_concurrency配置限制了一个作业的最大的导入并发数。最小处理的数据量(默认64M),最大并发数,源文件的大小和当前集群BE的个数 共同决定了本次导入的并发数。 本次导入并发数=Math.min
Doris建表是按照Partition粒度依次创建的。当一个Partition创建失败时,可能会报这个错误。即使不使用Partition,当建表出现问题时,也会报Failed to create partition,因为如前文所述,Doris会为没有指定Partition的表创建一个不可更改的默认的Partition。
除集群的权限,控制他们对CloudTable资源的使用范围。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用CloudTable服务的其它功能。 IAM是云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行
参见获取项目ID。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见IAM服务的获取用户Token。 POST https://{
在部署客户端工具时,ZK链接地址请配置为源表所在的CloudTable集群的“ZK链接地址(内网)”。 (可选)如果要将表复制到另一个集群,请获取CloudTable目标集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。
{ Class.forName("com.mysql.cj.jdbc.Driver"); // 认证用的密码直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量
导致集群异常,影响CloudTable集群的使用。 CloudTable集群使用的安全组请勿随意放开权限,避免被恶意访问。 CloudTable不会保存您设置的登录节点的初始密码,请您设置并保管好密码。为避免被恶意攻击,建议设置复杂度高的密码。 集群节点仅用于运行CloudTab
连接器版本 MRS集群的数据源组件的版本,HIVE支持3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。
何状态下的集群。 图1 集群列表 集群管理列表按照集群状态顺序排列,服务中的集群显示在最前端。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群当前所处状态,包括创建中、服务中、亚健康、创建失败、冻结。 任务状态 集群任务的状态信息。
umnFamily下的所有列。 PrefixColumnName:拥有某一前缀的列。 (3) 定义列的抽取标签的规则,可选值如下: QualifierExtractor:表示按照列名来抽取标签。 例如,qualifier是Male,value是1,那么抽取的标签是Male。 Qu
令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。这样同一批次数据的重复请求只会被接受一次,保证了At-Most-Once。当label对应的导入作业状
单击“查询”,查看对应的操作事件。 在需要查看的事件左侧,单击展开该记录的详细信息。 图1 事件 在需要查看的事件右侧,单击“查看事件”,弹出一个窗口,显示了该操作事件结构的详细信息。 图2 查看事件 关于云审计服务事件结构的关键字段详解,请参见《云审计服务用户指南》的事件结构章节。 父主题:
473+10565=10585.473元 Doris和ClickHouse组件是按照小时收费的,CU未满1小时,按照1小时收费。 按需产品周期结算说明: 按小时结算:华为云会每小时根据您的使用量计算费用,并到账户中进行扣费。例如,8:00~9:00期间产生的费用,通常会在10:00以前完成扣费。
合计 总费用:5790元 Doris和ClickHouse组件是按照小时收费的,CU未满1小时,按照1小时收费。 按需产品周期结算说明: 按小时结算:华为云会每小时根据您的使用量计算费用,并到账户中进行扣费。例如,8:00~9:00期间产生的费用,通常会在10:00以前完成扣费。
Migration,以下简称CDM),可以将云上云下或第三方云上的多种数据源的数据迁移到CloudTable集群的HBase表中。支持的数据源请参见《云数据迁移产品介绍》中的支持的数据源章节。 使用CDM迁移数据到CloudTable的流程如下: 创建CloudTable集群 使用CDM迁移数据到CloudTable
[ENGINE = engine_name]; 表2 参数说明 参数 说明 db 数据库的名称,默认为当前选择的数据库。 table_name1 被复制表结构的源表。 table_name2 新创建的表。 ON CLUSTER ClickHouse集群名 在每一个节点上都创建一个表,固定为ON
【强制】创建表指定分桶buckets时,每个桶的数据大小为应保持在100M-3G之间,单分区中最大分桶数据不超过5000。 【强制】表数据超过5亿条以上必须设置分区分桶策略。 【强制】分桶的列不要设置太多,一般情况下1或2个列,同时需要兼顾数据分布均匀和查询吞吐之间的均衡,考虑数据均匀是为了避免某些桶的数据存在倾斜
Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统。 创建。