检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable ClickHouse集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka任务制造数据实时同步给ClickHouse,实现Kafka实时入库到ClickHouse的过程。
应用背景 CloudTable作为大数据存储服务,提供高效的kv随机查询能力。在此基础上,CloudTable服务引入自研的分布式多维标签索引能力,存储格式与计算基于位图进行。用户可以根据自身业务需求来定义HBase表中的哪些字段需要构建标签索引,用户写入数据时将自动生成标签数据
StarRocks集群管理 StarRocks简介 StarRocks是一款全托管分析型数据仓库,可以灵活创建和管理集群以及数据。使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各种实时和离
Stream Load Stream load是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到Doris中。Stream load同步执行导入并返回导入结果。用户可直接通过请求的返回体判断本次导入是否成功。 Stream load主要适用于导入本地文件,或通过程序导入数据流中的数据。
索引信息查询 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 使用方法 在HBase客户端执行以下命令可索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer
SDK概述 本文介绍了CloudTable服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-Type”。
select数据超过1亿条后,建议拆分为多个insert into select语句执行,分成多个批次来执行。如果非要这样执行不可,必须在集群资源相对空闲的时候可以通过调整并发度来加快的数据导入速度 。 例如:set parallel_fragment_exec_instance_num = 8 建议数值是单BE节点上CPU内核的一半。
ClickHouse数据迁移 本章节为您介绍数据迁移能力。 使用场景 ClickHouse集群节点扩容后,需要使用数据迁移对数据进行迁移。 注意事项 每个数据表只能绑定一个任务。一个集群仅支持一个执行中的任务。 本地表的数据库必须为atomic(默认)或ordinary,且表类型
意放开权限,避免被恶意访问。 CloudTable不会保存您设置的登录节点的初始密码,请您设置并保管好密码。为避免被恶意攻击,建议设置复杂度高的密码。 集群节点仅用于运行CloudTable集群,其他客户端应用程序、用户业务程序建议申请独立弹性云服务器部署。 当前CloudTab
向分布式表写数据时待插入数据的文件个数。 Count 60 number_of_concurrency ClickHouse各节点并发度 当前ClickHouse各节点的并发度。 Count 60 zookeeper_quota_percentage ZooKeeper数量配额百分比 Click
关联企业项目。 用户名 Doris管理用户,用于连接Doris集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符($@!%*?&)。 不能与用户名或倒序用户名相同。
配置并导入工程 背景信息 将CloudTable样例代码工程导入到Eclipse,就可以开始CloudTable应用开发样例的学习。 前提条件 运行环境已经正确配置,请参见准备Windows运行环境。 操作步骤 把样例工程上传到Windows开发环境中。样例工程的获取方法请参见下载样例工程。
ClickHouse集群创建表格后提示另外一个节点不存在此数据库? 问题现象 创建表格时提示另外一个节点不存在此数据库。 图1 结果示意图 原因分析 在创建集群的时候,只在一节点上创建了数据库在其他的节点上未创建数据库。 处理方法 在其他的节点上创建数据库。 方法一: 创建数据库。
表5 用户名密码参数 参数 参数说明 用户名 管理用户,用于连接集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~16个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符($@!%*?&)。 不能与用户名或倒序用户名相同。
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费CloudTable资源的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的使用场景。 适用计费项 按需计费包含以下计费项。 HBase组件 表1 HBase适用计费项
修改索引状态 索引状态介绍 索引状态反映了索引当前的使用情况,全局二级索引支持以下五种状态: ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成这个索引的索引数据,查询数据时无法使用这个索引。
Doris监控页面 集群详情页面主要展示Doris每个节点的CPU使用率、内存使用率、磁盘使用率。 详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个Doris集群 进入详情页面,详情页面显示监控页面的指标。 图1 监控页面 单击详情页面的监控小图标,可以
包年/包月 包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月CloudTable集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。以下是一些适用于包年/包月计费模式的业务场景: