检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI Flink作业实时同步MRS Kafka数据至CloudTable HBase集群 此章节为您介绍数据实时同步的最佳实践,通过数据湖探索服务DLI Flink作业将MRS kafka数据实时同步给HBase,实现Kafka实时入库到HBase的过程。 了解DLI请参见数据湖探索产品介绍。
> 续费”,进入续费页面。 查看订单详情:查看当前集群的订单详情。单击“更多 > 查看订单详情”,进入我的订单页面。 开通自动续费:开通当前包周期集群的自动续费。单击“更多 > 开通自动续费”,进入自动续费页面。 表2 按钮说明 按钮 说明 单击查看所有项目。 单击,手动刷新集群列表。
不同。 分桶列的选择,是在查询吞吐和查询并发之间的一种权衡: 如果选择多个分桶列,则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件,那么该查询会触发所有分桶同时扫描,这样查询的吞吐会增加,单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。 如果仅选择一个或少
创建HBase表时开启标签索引 请参见创建数据表开启标签索引 2 HBase put写入数据 请参见写入数据 3 查询数据 请参见: 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。 可以为Get对象设定参数值,如列族的名称和列的名称。 查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 public void testGet() { LOG
开启时则无需授权操作。 查看集群日志 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击集群,进入集群列表。 在集群列表中单击集群名称,进入集群详情页面,左侧导航栏单击“日志服务”,进入日志服务页面。 选择查看日志,单击“操作 > 查看日志”。即可跳转到LTS云日志服务查看日志。
样例代码说明 配置参数 创建Configuration 创建数据表开启标签索引 写入数据 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
CloudTable集群管理接口V2 创建CloudTable集群 查询CloudTable集群详情 查询CloudTable集群列表 删除CloudTable指定集群 重启集群API入口 查询集群配置 修改集群配置 扩容组件 开启opentsdb组件
数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询到对应Bucket的根目录,并根据不同表下Part信息下载查询所需的数据到本地进行运算。 父主题: ClickHouse冷热分离应用
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 当您在中间的填充栏填入对应内容时, 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 在场景示例中可查看本服务更详细的场景SDK使用方法。 图3
在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“查看监控信息”,系统将跳转到该集群的“云服务监控”页面。 待查看监控信息的集群,其状态必须为“服务中”。 图1 监控页面 单击“创建告警规则”,进入创建告警规则页面进行添加。
SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。 父主题: Doris冷热分离应用
使用率。 详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个Doris集群 进入详情页面,详情页面显示监控页面的指标。 图1 监控页面 单击详情页面的监控小图标,可以跳转CES云服务监控查看Doris集群详细监控指标。具体操作请参见查看集群的监控信息 图2
安装客户端时编译并运行程序 或 未安装客户端时编译并运行程序 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 在Windows环境中:查看调测结果 在Linux环境中:查看调测结果 父主题: HBase应用开发指导
HBase集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个HBase集群 进入详情页面,详情页面显示监控页面的指标。 图1 HBase监控页面 单击详情页面的监控小图标,可以跳转CES云服务监控查看HBase集群详细监控指标。具体操作请参见查看集群的监控信息
创建时间 集群创建的时间。 计费模式 集群的计费模式分为按需和包年/包月。 ZK链接地址(内网) Zookeeper地址。 操作 查看监控信息:单击“查看监控信息”,进入“云服务监控 > 表格存储服务”的监控图表页面。 节点扩容:扩容集群中的计算单元。具体操作,请参见HBase集群节点扩容。
ClickHouse集群详情页面查看 登录表格存储服务管理控制台。 单击集群列表页面,选择其中一个ClickHouse集群 进入详情页面,详情页面显示监控页面的指标。 图1 ClickHouse监控页面 单击详情页面的监控小图标,可以跳转CES云服务监控查看ClickHouse集群详细
在集群管理列表中的右上角,输入要搜索的集群名称,单击。 在集群列表中,找到所需要集群,在对应的“操作”列中,单击“更多 > 查看监控信息”,系统将跳转到该集群的“云服务监控”页面。 待查看监控信息的集群,其状态必须为“服务中”。 图1 监控页面 单击“创建告警规则”,进入创建告警规则页面进行添加。
单击右上角的购买集群按钮,进入“购买集群”页面。 完成其他配置后,查看安全通道加密按钮是否开启,默认开启。 图1 安全通道 配置好参数,单击“立即购买”。 进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。 HBase安全集群连接步骤
创建CloudTable集群 POST /v2/{project_id}/clusters 查询CloudTable集群详情 GET /v2/{project_id}/clusters/{cluster_id} 查询CloudTable集群列表 GET /v2/{project_id}/clusters