检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
connectionTimeout shuffle操作时连接远程节点的超时时间。单位：秒。 120s spark.network.timeout 所有涉及网络连接操作的超时时间。单位：秒。 360s 回答 由于当前数据量较大，有16T，而分区数只有200，造成每个task任务过重，才会出现上面的问题。
单击“ALM-38002 Kafka堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 单击“组件管理 > Kafka > 实例 > Broker（对应上报告警实例IP地址） > 定制 > Kafka堆内存资源状况”。查看堆内存使用情况。 查看Kafka使用的堆内存
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43008”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制 > JobHistory直接内存”。单击“确定”，查看直接内存使用情况。
配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性，此处支持配置多个IP地址和端口，并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口，其余的可根据业务需求配置。 10.96.26.111:21351
选择主DBServer实例，记录IP地址。 以root用户登录上述IP所在主机，执行ifconfig命令查看DBService的浮动IP在该节点是否存在，用户密码为安装前用户自定义，请咨询系统管理员。 是，执行5。 否，执行9。 执行ping 浮动IP地址命令检查DBService的浮动IP的状态，是否能ping通。
务申请资源以重启任务。 Container Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等（目前仅封装内存和CPU），当AM向RM申请资源时，RM为AM返回的资源便是用Container表示。YARN会为每个任务分配一个Con
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults
创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后，删除用户信息表。 表1 用户信息 编号 姓名 性别 年龄 地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203
仅可在“properties.properties”文件中配置。 kafka.bootstrap.servers - brokers地址列表，多个地址用英文逗号分隔。 kafka.consumer.group.id - Kafka消费者组ID。 kafka.topics - 订阅的kafka
-hDoris FE实例IP地址 Doris FE的查询连接端口，可以通过登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址，可以通过登录FusionInsight
活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器，执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式，执行以下命令认证用户身份。
x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”。 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。
在“python-examples/pyCLI_sec.py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 将“python-examples/pyCLI_sec
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43007”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory（对应上报告警实例IP地址） > 定制 > JobHistory进程的非堆内存统计”。单击“确定”，查看非堆内存使用情况。
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“43012”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer（对应上报告警实例IP地址） > 定制 >JDBCServer直接内存”。单击“确定”，查看直接内存使用情况。
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“44005”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Presto > 实例 > Coordinator（对应上报告警实例IP地址） > 定制 > Presto进程GC时间”。单击“确定”，查看GC时间。 查看Co
登录MRS集群详情页面，选择“告警管理”。 选中“告警ID”为“44006”的告警，查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Presto > 实例 > Worker（对应上报告警实例IP地址） > 定制 > Presto进程GC时间”。单击“确定”，查看GC时间。 查看Worker进程的GC时间是否大于5秒。
活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器，执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式，执行以下命令认证用户身份。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
