检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getInstance(conf); job.setJarByClass(MultiComponentExample.class); // 设置mapper&reducer类 job.setMapperClass(MultiComponentMapper.class);
实时写入接口功能，只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置： 在“hbase-dual.xml”中新增主备集群的相关配置。 将主备集群相关配置设置到HBaseMultiClusterConnection中（仅MRS 3.3.0及之后版本支持）。
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在drs-avro-oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
是否启用Kerberos认证。 开启 用户名 登录集群管理页面及ECS节点的用户名。 admin/root 密码 设置登录集群管理页面及ECS节点用户的密码。 - 确认密码 再次输入设置用户密码。 - 企业项目 选择集群所属的企业项目。 default 通信安全授权 勾选确认授权。 勾选 图1
实时写入接口功能，只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置： 在“hbase-dual.xml”中新增主备集群的相关配置。 将主备集群相关配置设置到HBaseMultiClusterConnection中（仅MRS 3.3.0及之后版本支持）。
作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
Kafka应用开发简介 Kafka简介 Kafka是一个分布式的消息发布-订阅系统。它采用独特的设计提供了类似JMS的特性，主要用于处理活跃的流式数据。 Kafka有很多适用的场景：消息队列、行为跟踪、运维数据监控、日志收集、流处理、事件溯源、持久化日志等。 Kafka有如下几个特点：
得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放，读取数据时就可以只扫描需要的列。 使用Hash Shuffle时，通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，减少shuffle文件的数量，减少文
> 下载”。 在“服务”中勾选待操作集群的“ClickHouse”。 在“主机”中选择异常的主机，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
警信息，查看系统在定时检查时是否会再次产生此告警。 是，执行8。 否，处理完毕。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请联系运维人员，并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题：
在弹出的窗口勾选“我已阅读此信息并了解其影响。”，单击“确定”完成解锁操作。 MRS 2.x及之前版本： 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户管理”。 图1 用户管理 在要解锁用户所在行，选择“解锁用户”。 图2 解锁用户 在弹出的提示窗口，单击“确定”完成解锁操作。
在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除
MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS大数据组件 解决Ranger日志不能设置个数，有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表： MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题
组件操作用户（例如developuser） 创建输入Topic和输出Topic，与样例代码中指定的Topic名称保持一致，输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
得task大小合理化。 修改并行度。 优化数据结构 把数据按列存放，读取数据时就可以只扫描需要的列。 使用Hash Shuffle时，通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，减少shuffle文件的数量，减少文
用户，例如admin用户）不具备该目录的rwx权限。 上述问题可通过执行以下步骤解决： 在客户端将“hbase.fs.tmp.dir”参数设置为当前kerberos用户的目录（如“/user/admin/hbase-staging”），或者为客户端（kerberos用户）提供已配置的目录所必须的rwx权限。
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑，开发对应的Spark应用程序，并设置用户编写的Spark应用程序的主类等常数。 如果您使用的是普通模式，准备业务应用代码及其相关配置即可。 调用org.apache.spark
getAbsolutePath() + ") is not a file."); } // 3.设置并检查krb5config setKrb5Config(krb5ConfFile.getAbsolutePath());
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
