检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据集群实际情况，确认是否存在无用的Topic。 是，参考如下步骤清理无用的Topic。清理Topic为高危操作，清理前需要确保Topic未使用，确保删除的准确性。 使用已具有KafkaUI页面访问权限的用户登录Manager。 选择“集群 > 服务 > Kafka”。在“KafkaManager
0及以后版本，Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源，需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka，MySQL等外源数据，需要确保对应用户具备数据操作的权限。 开发思路 导入Flink相关依赖包，版本需与集群Flink版本一致。
在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。 Oozie应用开发常见概念 准备开发和运行环境 Oozie的应用程序当前推荐使用Java语言进行开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程
修复Manager nodeagent 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点，备份$NODE_AGENT_HOME/bin/nodeagent_ctl.sh文件。 cp $NODE_AGE
生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value
quorumpeer”查看ZooKeeper实例所在的各节点主机信息。 在MRS集群详情页面，单击“节点管理”并展开节点组信息。 在“磁盘使用率”列，检查ZooKeeper实例所在的各节点磁盘空间是否不足（使用率超过百分之80）。 是，执行9。 否，执行11。 参考ALM-12017 磁盘容量不足（2.x及以前版本）进行处理，对磁盘进行扩容。
容前备份重要数据。 系统不稳定：如果扩容过程中出现错误，可能会对系统文件造成损坏，导致系统不稳定或无法启动。 磁盘无法使用：如果扩容失败，可能会导致磁盘无法使用，需要重新格式化磁盘，以便重新分区。 性能降低：如果磁盘分区过于拥挤，可能会导致系统性能降低。扩容失败后，磁盘仍然过于拥挤，可能会继续影响系统性能。
安全认证代码（Java版） 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中，不同的样例工程，使用的认证代码不同，基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal
成Hive的dialect。使用Hive dialect需要注意： Hive dialect只能用于操作Hive表，不能用于普通表。Hive方言应与HiveCatalog一起使用。 虽然所有Hive版本都支持相同的语法，但是是否有特定功能仍然取决于使用的Hive版本。例如仅在Hive-2
生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value
在开始开发应用前，需要了解Oozie的基本概念，了解场景需求等。 Oozie应用开发常用概念 准备开发和运行环境 Oozie的应用程序当前推荐使用Java语言进行开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程
Spark应用程序开发流程 表1 Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。
在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址
在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址
SQL基本概念和Spark Streaming基本概念。 基本概念 准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。
在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址
重启服务”，输入密码进行验证后，在“重启服务”页面确认操作影响。 可以勾选“同时重启上层服务。”一次性重启所有影响组件，期间将导致影响服务不可用，谨慎使用。 单击“确定”，等待服务重启成功。 选择“集群 > 主备集群容灾”，查看当前集群是否配置了主备容灾。 是，执行7。 否，操作结束。 主集
创建Hive表时，可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时，即可将对应的列进行加密。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种，具体使用的算法在建表时指定。 AES（对应加密类名称为：org
慢盘故障”告警。 是，查看并记录告警详细信息中的磁盘信息，执行6。 否，执行5。 获取发生慢操作的磁盘信息。 使用omm用户登录1中获取的DataNode节点IP地址，使用如下命令查看运行日志。 cd /var/log/Bigdata/hdfs/dn/ vim hadoop-omm-datanode-主机名
设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源的时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 安全模式集群中，支持使用Ranger鉴权的组件包括：HD
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
