检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以实现导入数据的Exactly-Once语义。 同步和异步 Doris目前的导入方式分为两类,同步和异步。如果是外部程序接入Doris的导入功能,需要判断使用导入方式是哪类再确定接入逻辑。 同步 同步导入方式即用户创建导入任务,Doris同步执行导入,执行完成后返回用户导入结果。
在。 环境准备 要将表复制到另一个集群,请先获取CloudTable目标集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 在复制表数据前,需要先确保在CloudTabl
HBase的连通性。 弹性资源和队列创建后,单击“资源管理 > 队列管理”,进入队列管理界面测试地址连通性,请参见测试地址连通性。 获取上游IP地址和端口:进入集群的Manager页面,单击“集群 > Kafka > 实例 > 管理IP(Broker)”,可获取IP地址。单击配置,进
取的数据导入到CloudTable集群的HBase表中。 有关新建连接的详细操作,请参见《云数据迁移用户指南》中的创建CDM连接章节。 新建目的连接的示例如下: 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。 选择“连接管理 > 新建
HBase的连通性。 弹性资源和队列创建后,单击“资源管理 > 队列管理”,进入队列管理界面测试地址连通性,请参见测试地址连通性。 获取上游IP地址和端口:进入集群的Manager页面,单击“集群 > Kafka > 实例 > 管理IP(Broker)”,可获取IP地址。单击配置,进
是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景。 是否开启https “是”表示已经开启安全通道,可以下载证书。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有
StarRocks集群管理 StarRocks简介 StarRocks是一款全托管分析型数据仓库,可以灵活创建和管理集群以及数据。使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各种实时和离
单击控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 选中需要重启的集群名,在对应的操作列单击更多>重启。 在弹出的对话框中,勾选了解重启集群的影响后,单击“确定”,重启集群。 图1 确认重启窗口 父主题: 管理集群
单击控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 选中需要重启的集群名,在对应的操作列单击更多>重启。 在弹出的对话框中,勾选了解重启集群的影响后,单击“确定”,重启集群。 图1 确认重启窗口 父主题: 集群管理
用户在弹性云服务器里可以通过手动安装客户端的方法,使用SQL访问集群。 创建集群的虚拟私有云、安全组需要和公网ECS保持一致,否则客户端无法访问集群。 ClickHouse手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 下载客户端,登录表格存储服务管理控制台,
可以看到,用户10004的已有数据和新导入的数据发生了聚合。同时新增了10005用户的数据。 数据的聚合,在Doris中有如下三个阶段发生: 每一批次数据导入的ETL阶段。该阶段会在每一批次导入的数据内部进行聚合。 底层BE进行数据Compaction的阶段。该阶段,BE会对已导入的不同批次的数据进行进一步的聚合。
CloudTable Doris集群重启过程中,不允许修改集群参数。 Doris修改参数步骤 登录CloudTable管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航栏中,单击“集群管理”。 在集群列表中找到所需要的集群,单击集群名称,进入“参数配置”页面。 在“参数配置”中单击“参数配置”页签,对Doris参数进行修改。
10。 数据导入 【建议】在Flink实时写入数据到Doris的场景下,CheckPoint设置的时间需要考虑每批次数据量,如果每批次数据太小会造成大量小文件,推荐值为60s。 【建议】建议低频攒批导入数据,平均单表导入批次间隔需大于30s,推荐间隔60s,一次导入10000~100000行数据。
如果集群正在处理业务数据,如导入数据、查询数据,一旦重启集群,有可能会导致文件损坏或重启失败。因此,建议停止所有集群任务后,再重启集群。 如果重启失败,将有可能会导致集群不可用,建议联系技术支持人员进行处理或稍后重试。 操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。
Distribution的数据分布,那么在数据导入的时候可以设置单分片导入模式(将load_to_single_tablet设置为true),那么在大数据量的导入的时候,一个任务在将数据写入对应的分区时将只写入一个分片,这样将能提高数据导入的并发度和吞吐量,减少数据导入和Compaction导致的写放大问题,保障集群的稳定性。
xml”文件,配置如下参数: “hbase.zookeeper.quorum”:该参数值为在集群管理列表中查找的对应集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。如下图所示: 图2
使用MySQL客户端访问集群 用户在弹性云服务器里可以通过手动安装客户端的方法,使用MySQL访问集群。 手动安装客户端 准备Linux弹性云服务器,具体操作请见准备弹性云服务章节。 安装客户端,连接集群。 使用SSH登录工具,通过弹性IP远程登录到Linux弹性云服务器。 具体
求不高的数据。 用户可以定义冷热管理表,将符合规则的冷数据切换至OBS上进行存储,可以按照分区自动进行冷热数据的判断和迁移。 原理介绍 创建表:创建含有冷热分离策略的数据表,其中存储策略值必须为hot_to_cold。 写数据:新数据会按照信息导入到对应的数据表中。在ClickH
期和是否发送通知等参数。本节介绍了设置CloudTable规则的具体方法。 设置集群的告警规则 登录表格存储服务管理控制台。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“查看监控信
和是否发送通知等参数。本节介绍了设置告警规则的具体方法。 ClickHouse集群创建告警规则 登录表格存储服务管理控制台。 在左侧导航树,单击集群管理。 在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“更多 >