检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名和字段映射(支持从源端拷贝字段名)后,作业运行时会自动在目的端新建对应的HBase表。 下面以ECS上的SFTP数据源为例,创建作业步骤如下: 在集群管理页面,找到刚创建的CDM集群,单击该CDM集群后的“作业管理”,进入作业管理界面。 选择“表/文件迁移 > 新建作业”。 基本信息配置如下:
hadoop/hdfs-site.xml 打开hdfs-site.xml配置文件,查找相关参数。 vim hdfs-site.xml Hive组件查看。 /opt/Bigdata/client/Hive/config/hive-site.xml 打开hive-site.xml配置文件,查找相关参数。
"error_code": "12000002" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
、政府、物流、制造、零售等行业。 CloudTable产品架构 CloudTable产品架构如下图所示: 图1 产品架构 Doris:MySQL生态,易上手,多表复杂分析性能优于传统MPP。 ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。
工程。 开发HBase应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 编译并运行程序 安装客户端时编译并运行程序 或 未安装客户端时编译并运行程序 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 在Windows环境中:查看调测结果
对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模板,“选择类型”设置为“自定义创建”,然后根据界面提示配置参数创建自定义告警规则。
HBase安全通道加密 您可以通过创建集群开启加密通道,实现数据加密传输。此章节介绍如何开通HBase安全通道。 打开安全通道操作步骤 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 完成其他配置后,查看安全通道加密按钮是否开启,默认开启。
对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模板,“选择类型”设置为“自定义创建”,然后根据界面提示配置参数创建自定义告警规则。
集群创建:在CloudTable集群管理界面完成集群的创建。 集群查看:在CloudTable集群管理界面可以查看集群详情。 重启集群:因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。
对节点的监控 - 配置告警策略,根据界面提示配置参数。 图4 告警策略 表2 配置告警策略参数说明 参数名称 参数说明 取值样例 选择类型 根据需要可选择从模板导入或自定义创建。 如果当前没有告警模板,“选择类型”设置为“自定义创建”,然后根据界面提示配置参数创建自定义告警规则。
字段表示版本数量,如果副本版本过多,则需要降低导入数据的频率或者停止导入。 show proc "/dbs/..."; 此处命令使用步骤1运行结果DetailCmd字段对应的值。 父主题: 数据导入
重启集群:当修改完集群HBase参数后,或者因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信
Flink作业”。 启动1中创建的作业,单击操作列的“启动 > 立即启动”。作业状态为“运行中”表示作业运行成功。 步骤四:结果验证 待MRS Flink任务和DLI任务运行成功后,回到ClickHouse集群运行命令的窗口,进入集群客户端。 查看数据库。 show databases; 使用数据库。
CloudTable HBase中如何查询某个表的创建时间? 在CloudTable中查询表的创建时间有如下方法: 创建新表的时候会显示在返回结果中。 连接集群,使用HBase Shell访问集群,具体操作请参见《用户指南》手册中的“使用HBase Shell访问集群”章节。 输入create命令,新建表。
集群被冻结,导致无法使用,如何解冻? 原因分析:当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 处理方法:当集群状态为“已冻结”时,您需要给账户充值以确保账户余额不为0才能解冻,详细操作请参见如何续费?。解冻后,集群状态将恢复为“可用”。
使用Doris 准备弹性云服务 使用MySQL客户端访问集群 Doris MySQL命令简介 父主题: Doris集群管理
如何查看HBase shell的TTL属性? 如果插入数据时,设置了CELL的TTL,TTL属性不支持查看,但是可以通过验证设置的TTL是否生效来确认。 如果插入数据时未设置CELL的TTL,此时系统会自动插入当前时间为时间戳。 父主题: 通用类
样例代码 此章节主要介绍CloudTable Doris冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 自动存储冷数据。 创建冷数据自动归档到冷存储的数据迁移策略testPolicy。 CREATE STORAGE POLICY testPolicy PROPERTIES(
Flink作业”。 启动1中创建的作业,单击操作列的“启动 > 立即启动”。作业状态为“运行中”表示作业运行成功。 步骤四:结果验证 待MRS Flink任务和DLI任务运行成功后,回到HBase集群运行命令的窗口,启动下游HBase shell客户端。 scan 'order' 可以看到数据源持续更新。
如何在其他云服务中访问CloudTable? 如果需要在其他云服务中访问CloudTable,请确保该云服务与CloudTable集群在相同的区域、可用区、虚拟私有云、子网和安全组内。 父主题: 连接访问类