检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
四种类型实际命令示，以ReadFromKafka为例，集群域名为“HADOOP.COM”： 命令1： bin/flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka /opt/client/FlinkKafkaJavaExample.jar
在HetuEngine所在集群的所有节点的“/etc/hosts”文件中，添加待对接数据源所在集群的主机名称和对应的IP映射，及其“/etc/hosts”文件中的“10.10.10.10 hadoop.系统域名”（如“10.10.10.10 hadoop.hadoop.com”），
通过管理控制台启停组件步骤 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“组件管理”。 在指定服务所在行，单击“停止”执行停止操作。 如果需要启动服务则单击“启动”。
<系统域名>@<系统域名> 说明： “flume_server/hadoop.<系统域名>”为用户名，用户的用户名所包含的系统域名所有字母为小写。
假定用户有某个网站周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Flink的DataStream应用程序实现实时统计总计网购时间超过2个小时的女性网民信息。 源数据内容如下，日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。
用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 场景一：准备本地Windows开发环境调测程序所需配置文件。
loader_ctl.log Loader执行服务启停脚本（sqoop.sh）的日志。
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。
loader_ctl.log Loader执行服务启停脚本（sqoop.sh）的日志。
env.log 实例启停前的环境信息日志。 审计日志 mapred-audit-jobhistory.log MR操作审计日志。 SecurityAuth.audit MR安全审计日志。 日志级别 MapReduce中提供了如表2所示的日志级别。
env.log 实例启停前的环境信息日志。 审计日志 mapred-audit-jobhistory.log MR操作审计日志。 SecurityAuth.audit MR安全审计日志。 日志级别 MapReduce中提供了如表2所示的日志级别。
yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。
yarn-start-stop.log Yarn服务启停操作日志。 yarn-prestart.log Yarn服务启动前集群操作的记录日志。 yarn-postinstall.log Yarn服务安装后启动前的工作日志。
/webhcat/webhcat-console-error.out Webhcat进程启停异常日志 /webhcat/prestartDetail.log WebHCat启动前的工作日志 /webhcat/cleanupDetail.log Webhcat卸载时或安装前的清理日志
/webhcat/webhcat-console-error.out Webhcat进程启停异常日志 /webhcat/prestartDetail.log WebHCat启动前的工作日志 /webhcat/cleanupDetail.log Webhcat卸载时或安装前的清理日志
四种类型实际命令示，以ReadFromKafka为例，集群域名为“HADOOP.COM”： 命令1： bin/flink run --class com.huawei.bigdata.flink.examples.ReadFromKafka /opt/client/FlinkKafkaJavaExample.jar
be/stop_be.log BE进程停止日志 /be/check_be_status.log BE服务启动是否成功的检查日志 /be/be.out BE进程标准/错误输出的日志（stdout和stderr） /dbroker/start_broker.log DBroker进程启停正常日志
解决Hive对接外部LDAP的时候，客户需要支持域名的方式连接，当前Hive只支持IP的方式进行连接的问题。 解决HiveConction异常未打印，影响问题定位的问题。 解决DGC提交Hive作业，执行偶现并发修改ArrayList报错的问题。
如果一个job，每个map或reduce的执行时间只有几秒钟，就意味着这个job的大部分时间都消耗在task的调度和进程启停阶段，因此需要增加每个task处理的数据大小。建议一个task处理时间为1分钟。 控制单个task处理时间的大小，可以通过如下配置来调整。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
