检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。
参考管理Kafka Topic中的消息，执行以下命令查看Sink表中是否接收到数据，即9执行完成后查看Kafka topic是否正常写入数据。
准备运行环境 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 如果本地Windows开发环境和集群业务平面网络互通，然后直接在Windows中进行程序调测。 如果使用Linux环境调测程序，需准备Linux节点。
Flink Job Pipeline样例程序（Scala） 发送消息 下面代码片段仅为演示，完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.Information： package com.huawei.bigdata.flink.examples
如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。另外VPC相关设置，也可能影响网络连通性。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面，单击“管理连接”。
准备连接Kafka集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，用于验证应用程序运行。 场景一：准备本地Windows开发环境调测程序所需配置文件。
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性，迁移前需要掌握现有集群的详细信息，以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图（包括峰值和均值流量等）。 识别平台数据接入源、大数据平台数据流入方式（实时数据上报、批量数据抽取
当该通道中接收到消息时，该Handler负责将消息注入到Job内部。另外，为保证数据安全传输，该通道通过SSL加密，与NettySink进行通信。
准备Spark连接集群配置文件 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 场景一：准备本地Windows开发环境调测程序所需配置文件。
表2 客户端高可用性和高性能参数说明 参数 默认值 说明 acks 1 需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0 ：Producer将不会等待服务端任何响应。消息将会被认为成功。
前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。 以omm用户登录Flume服务端所在节点。
说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。
密码维护建议 用户身份验证是应用系统的门户。用户的账户和密码的复杂性、有效期等需根据客户的安全要求进行配置。 对密码的维护建议如下： 专人保管操作系统密码。 密码需要满足一定的强度要求，例如密码最少字符数、混合大小写等。 密码传递时注意加密，尽量避免通过邮件传递密码。
表2 客户端高可用性和高性能参数说明 参数 默认值 说明 acks 1 需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0：Producer将不会等待服务端任何响应。消息将会被认为成功。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 集群已经存在的任务无法运行；集群可接收新的Storm任务，但是无法运行。
建议使用命令（hdfs fsck /）验证是否有文件完全损坏。 告警属性 告警ID 告警级别 可自动清除 14004 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。
向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。 确保集群安装完成，包括HDFS、Yarn、Flink和Kafka。 创建Topic。
集群可接收新的Storm任务，但是无法运行。 可能原因 集群中Supervisor处于异常状态。 处理步骤 检查Supervisor状态。 登录MRS集群详情页面，选择“组件管理”。 选择“Storm > Supervisor”，进入Storm服务管理页面。
在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 可执行以下命令查看： tail -4 log4j.properties 图2 查看日志级别 父主题： MRS集群服务对接
您可以在管理控制台选择页面上方的“费用 > 费用账单”，进入费用中心后，在“总览”页面设置“可用额度预警”功能，当可用额度低于预警阈值时，系统自动发送短信和邮件提醒。 当产生欠费后，请您及时充值使可用额度大于0。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
