检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
r2的地址连接。 hiveserver2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题:
在“备份配置”指定需要备份的数据。 支持备份元数据和业务数据。 各组件不同数据的备份任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在备份任务列表,可以查看刚创建的备份任务。 在指定的备份任务“操作”列,选择“更多 > 即时备份”,可以立即运行备份任务。 创建元数据备份任务(MRS 2.x及之前版本)
"obs://testhudi/cow_table/"是OBS路径,“testhudi”是OBS并行系统文件名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中单击“按Znode数量”,查看监控中是否有顶级Znode被写入较多数据。 是,执行2。 否,执行4。 登录FusionInsight Manager,选择“运维 > 告警
在“脏数据目录”填写一个脏数据的保存位置,例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”,查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题: 使用Loader
持默认即可。 单击“立即购买”,确认配置信息,并单击“提交”。 创建完成后,在“负载均衡器”界面,选择对应的区域即可看到新建的负载均衡器。查看并获取该负载均衡器的私有IP地址。 添加ELB监听器 详细操作步骤请参考添加监听器。 在“负载均衡器”界面,单击需要添加监听器的负载均衡名称。
登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。
表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
启用Kerberos认证的MRS集群默认创建“admin”用户账号,用于集群管理员维护集群。 直接执行组件的客户端命令。 例如:使用HDFS客户端命令查看HDFS根目录文件,执行hdfs dfs -ls /。 集群外节点安装客户端 根据在集群外节点安装客户端前提条件,创建一个满足要求的弹性云服务器。
或删除“krb5.conf”配置文件的“renew_lifetime = 0m”配置项。 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况。 运行结果出现如下信息表示程序运行成功。 2020-03-13 14:54:13,369 INFO [main] client
灰色不能选择的用户组和用户则不能进行IAM用户同步。 同步请求下发后,返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是否成功,日志相关说明请参考查看MRS云服务操作日志。 同步成功后,即可使用IAM同步用户进行后续操作。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS
表会增加作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
通过IntelliJ IDEA可直接运行Producer.java,如图1所示: 图1 运行Producer.java 运行后弹出控制台窗口,可以查看到Producer正在向默认Topic(example-metric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口
e服务。 在“拓扑调整”页面勾选服务部署的节点,部署方案可参考表2。 确认操作影响后,单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 如果需要删除服务,可以在指定服务所在行,单击“删除”操作。 如果确认删除,在弹出的“删除服务”窗口中输入“DELETE ”,单击“确定”,删除该服务。
Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在表“资源使用(按二级Znode)”中,查看告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。
r2的地址连接。 HiveServer2服务的主机名可以在Manager界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题:
createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 将1导出的本地Jar包,5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包,请参见打包Storm业务。
置,从而控制不同的用户可以访问不同的Topic。Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求,为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。