检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以在现有集群列表的所在集群“创建时间”列查看集群创建成功的时间点。
请在MRS Manager页面“主机管理”中查看主Master节点IP。 请在MRS Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin节点IP。 输入的证书密码为用户自定义密码。
不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。(下图以HDFS组件为例) 单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。
表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
表1 开发环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 开发和运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。
您需支付按需资源在宽限期内产生的费用,相关费用可登录管理控制台,选择页面上方的“费用 > 费用账单”,进入费用中心,单击“总览”,在“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。
properties.sasl.kerberos.service.name' = 'kafka', 'properties.security.protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名
调测Kafka应用 查看程序运行结果 程序运行结果可以输出到Linux命令行页面。也可通过Linux客户端进行Topic数据消费的方式查看数据是否写入成功。 调测Kafka应用 父主题: Kafka应用开发概述
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
表3 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力,一般并行度设置为集群CPU总和的2-3倍。
对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。 大集群下会导致管理节点性能有所下降,建议集群不超过200节点时开启该功能。 前提条件 已确认主备管理节点IP。
系统跳转至该集群详情页面。 单击“通信安全授权”右侧的“一键修复”。 单击“确定”,完成修复。 父主题: MRS集群安全加固
INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及数据库底层数据传输的信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
登录FusionInsight Manager页面,选择“集群 > 服务 > Yarn > 概览”,单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看对应任务。 图3 作业任务 父主题: Flink企业级能力增强
管理FlinkServer作业 查看FlinkServer作业健康状况 导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer