检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI的图形化数据迁移管理工具,由Hue WebUI承载。 MRS 3.x及以后版本集群,在Manager页面选择“集群 > 服务 > Hue > Hue WebUI > Hue (主机名称,主)”。 Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具,由Hue
cleanupDBService.log 卸载日志(需执行DBService卸载日志操作) componentUserManager.log 数据库用户添加删除操作日志 (需添加依赖DBService的服务) install.log 安装日志 preStartDBService.log
ignorePattern = ^$ client.sources.static_log_source.trackerDir = 传输过程中元数据存储路径 client.sources.static_log_source.maxBlobLength = 16384 client.sources
cleanupDBService.log 卸载日志(需执行DBService卸载日志操作) componentUserManager.log 数据库用户添加删除操作日志 (需添加依赖DBService的服务) install.log 安装日志 preStartDBService.log
运行前准备: 使用Hive客户端,在beeline中执行以下命令创建源表t1: create table t1(col1 int); 向t1中插入如下数据: +----------+--+ | t1.col1 | +----------+--+ | 1
sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase;第二种方式则使用参数直接提供认证信息,这个方式有两种模式:密码模式和Kerberos认证模式。 进入交互模式命令
testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 clickhouse_dataSource_ip_list
不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_log
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
启动指定个数Consuemr线程来消费 // 注意:当该参数大于待消费Topic的Partition个数时,多出的线程将无法消费到数据 for (int threadNum = 0; threadNum < CONCURRENCY_THREAD_NUM; threadNum++)
datasource.write.recordkey.field 必填 表的主键。 根据实际填写 write.precombine.field 必填 数据合并字段。 根据实际填写 read.tasks 选填 读Hudi表task并行度,默认值为4。 4 read.streaming.enabled
资源状态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么集群将终止服务,系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
见Kafka安全接口介绍) SimpleConsumer API属于lowlevel的Consumer API需要访问zookeeper元数据,管理消费Topic队列的offset,一般情况不推荐使用。 代码样例 SimpleConsumer API主方法需要传入三个参数,最大消
导入并配置IoTDB样例工程 根据业务场景开发程序 提供了Java语言的样例工程,包含JDBC和Session两种连接方式,从创建存储组、创建时间序列,到插入数据再到删除存储组全流程的样例工程。 开发IoTDB应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测IoTDB应用 父主题:
开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级 使用CDM服务迁移数据至MRS HDFS时任务运行失败 MRS集群频繁产生节点间心跳中断告警 PMS进程占用内存高 Knox进程占用内存高 安全集群外的客户端访问HBase很慢
服务通过MySQL协议与Doris建立连接,部分语言的SDK已经提供了高可用能力,例如MySQL JDBC可以使用自动重试机制,建立连接时通过如下配置设置数据源: jdbc:mysql:loadbalance://[host1][:port],[host2][:port][,[host3][:port]]
user.keytab路径写错。 user.principal写错。 集群做过切换域名操作但客户端拼接url时使用旧的principal。 有防火墙相关设置,导致客户端本身无法通过kerberos认证,Kerberos需要开放的端口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。
对系统的影响 如果一直无法获取到新的临时委托凭据,会导致在当前使用的临时委托凭据过期后,系统无法访问OBS,对于配置冷热分离策略的表无法进行OBS冷数据读写等操作。 可能原因 ClickHouse配置的OBS参数错误。 IAM服务异常。 处理步骤 检查冷热分离相关配置信息是否正确。如果不正
运行前准备: 使用Hive客户端,在beeline中执行以下命令创建源表t1: create table t1(col1 int); 向t1中插入如下数据: +----------+--+ | t1.col1 | +----------+--+ | 1
testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。 batchNum 10 写入数据的总批次。 clickhouse_dataSource_ip_list