检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume采用基于Transactions的方式保证数据传输的可靠性，当数据从一个Agent流向另外一个Agent时，两个Transactions已经开始生效。发送Agent的Sink首先从Channel取出一条消息，并且将该消息发送给另外一个Agent。如果接收消息的Agent成功地接收并处理
然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
up”列的“Read”和“Other”列的“Read”，单击“Set”。 通过使用HDFS命令直接上传： 登录HDFS服务客户端所在节点，切换到客户端安装目录，如“/opt/hadoopclient”。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source
9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令，实现A业务。
登录FusionInsight Manager。 选择“集群 > 服务 > LdapServer > 实例”，查看LDAP服务对应的节点。 切换到“配置”，查看集群LDAP端口号，即“LDAP_SERVER_PORT”参数值，默认为“21780”。 以root用户通过LDAP服务的IP地址登录LDAP节点。
9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 运行Impala客户端命令，实现A业务。
9.2.3补丁安装完成之后，需要重启OMS服务。如果集群之前安装了1.9.2.2补丁，不需要做此操作。 使用root用户登录主备OMS节点，切换至omm用户，执行命令sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh重启OMS服务。 主备OMS节点都需要重启。
insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 如果修改服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 父主题： 使用Kafka
对磁盘健康状态进行检查，建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储，筛选出明显数据增加或不足的硬盘，并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文件实施的操作，为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志，例如BMC系统日志，并进行分析。
化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将
hive_client”，记作“$HCAT_CLIENT”，并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息（以客户端安装路径为“/opt/client”为例）：
hive_client”，记作“$HCAT_CLIENT”，并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息（以客户端安装路径为“/opt/client”为例）：
enabled”的值置为“false”并保存配置。单击“实例”，勾选所有HSBroker，选择“更多 > 重启实例”，根据界面提示重启实例以使配置生效。 父主题： 管理HetuEngine计算实例
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复
> 待操作集群的名称 > HDFS > 实例”勾选状态为“配置过期”的DataNode实例，选择“更多 > 重启实例”使GC_OPTS配置生效。 重启期间服务业务可能受损或中断，建议选择业务低峰期操作。 等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行5。 查看是否有关联告警
用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 开启 选择开启时，将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时，该规则不会生效，即不会向订阅者发送订阅消息。 主题名称 mrs_topic 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 告警 选择需要订阅的消息类型。
查看Master1节点 使用root用户登录Master1节点，密码为购买集群时配置用于登录集群节点的“root”用户的自定义密码。 执行以下命令切换到客户端软件包所在目录，并解压客户端软件包。 cd /tmp/FusionInsight-Client/ tar -xvf FusionI
merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce.shuffle.merge.percent 发起
的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示 表4 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log
merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce.shuffle.merge.percent 发起
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
