检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题： Kafka开发指南
单击委托右侧的“管理委托”选择创建的委托名称，例如：mrs_clickhouse_obs，单击“确定”进行绑定。 创建普通账号委托并绑定集群 登录云服务管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 配置外网客户端访问Kafka Broker 父主题： 使用Kafka
前提条件 确保本地PC的时间与集群的时间差要小于5分钟，若无法确定，请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备连接HBase集群配置文件。
管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。
各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。
启用Kerberos认证的分析集群创建CarbonData表时，如果用户需要在默认数据库“default”以外的数据库创建新表，则需要在Hive角色管理中为用户绑定的角色添加指定数据库的“Create”权限。
访问Ranger WebUI及同步Unix用户到Ranger WebUI 用户可以通过Ranger WebUI，在图形化界面上对Ranger进行管理。 访问Ranger Admin WebUI 在MRS控制台，单击集群名称进入集群详情页面。 选择“组件管理”。
选择“节点管理 > 节点名称” ，进入弹性云服务器界面。单击“远程登录”按钮，完成Hive节点的登录。 MRS3.x及后续版本： 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客户端安装目录，例如“/opt/client”。
在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 以客户端安装用户，登录安装HBase客户端的节点。 进入HBase客户端安装目录： 例如：cd /opt/client 执行以下命令配置环境变量。
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_topic
操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger WebUI界面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。
答： 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。
表中的数据划分为多个Region，并由Master分配给对应的RegionServer进行管理。
采集MRS集群服务堆栈信息 为了满足实际业务的需求，集群管理员可以在Manager中采集指定角色或实例的堆栈信息，保存到本地目录，并支持下载。 采集内容包括： jstack栈信息。 jmap -histo堆统计信息。 jmap -dump堆信息快照。
Flume企业级能力增强 使用Flume客户端加密工具 配置Flume对接安全模式Kafka 父主题： 使用Flume
MRS应用开发简介 MRS应用开发概述 MRS是企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对海量信息数据的分析挖掘，发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序，开发者用户可基于样例工程进行相关数据应用的开发与编译
（NodeLabel） 配置NameNode内存参数 设置HBase和HDFS的句柄数限制 配置HDFS单目录文件数量 HDFS企业级能力增强 HDFS性能调优 HDFS运维管理 HDFS客户端常见命令说明 HDFS常见问题 HDFS故障排除
表1 Maxwell配置项说明 配置项 是否必填 说明 默认值 user 是 连接MySQL的用户名，即2中新创建的用户 - password 是 连接MySQL的密码，配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题： 使用Kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
