检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkOnStreamingToHbase /** * 运行streaming任务，根据value值从hbase table1表读取数据，把两者数据做操作后，更新到hbase table1表 */
参数文件等内容。 如需还原某次配置变更，可单击记录所在行“操作”列的“还原配置”按钮，在弹出的窗口中单击“确定”。 针对同一服务实例下的同一配置，如果修改了多次，还原配置时必须从该配置的最新修改时间开始还原，不能从中间某次进行还原。 部分配置项在修改参数值后需重启对应服务才会生效
1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包： mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号} 执行客户端补丁升级。 登录客户端所在节点，并执行以下命令： cd /opt/{MRS补丁版本号}/client
然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
然后单击“添加”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称（默认为“My Workflow”），可以直接单击该名称进行修改，例如“Subworkflow-Workflow”。 保存完成后，单击，提交该作业。 作业提交后，可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
良好”。 是，执行2.a。 否，执行1.e。 选择故障的JournalNode，单击“更多 > 重启实例”。查看JournalNode能否成功启动。 是，执行1.f。 否，执行5。 等待5分钟后，在“告警管理”页签，查看该告警是否恢复。 是，处理完毕。 否，执行2.a。 检查DataNode实例状态。
描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 登录FusionInsight
在操作列表中选择Hive脚本，将其拖到操作界面中。 在弹出的“HiveServer2 Script”框中, 选择之前保存的Hive脚本，关于保存Hive脚本参考通过Hue执行HiveQL章节。选择脚本后单击“添加”。 配置“作业 XML”，例如配置为hdfs路径“/user/admin/examples/apps/hive2/hive-site
Manager登录页面，此时Chrome浏览器暂时还不能登录MRS Manager页面，请继续操作后续步骤。 查找证书。 单击浏览器左上角，单击“证书无效”所在行的。 获取证书。 选中该证书拖动到电脑桌面，即可获得证书。 在Mac应用中选择钥匙串访问。 “钥匙串”选择“登录”，“种类”选择“证书”。 将步骤3获得的证书拖动到钥匙串列表中。
管理员。 执行ping 备DBService心跳IP地址命令检查备DBService节点是否可达。 是，执行6。 否，执行4。 联系网络管理员查看是否为网络故障。 是，执行5。 否，执行6。 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行6。 检查备DBService状态是否正常
已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env kinit 创建的用户 执行hudi-cli.sh进入Hudi客户端， cd {客户端安装目录}/Hudi/hudi/bin/
已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点，执行如下命令： cd {客户端安装目录} source bigdata_env source Hudi/component_env kinit 创建的用户 执行hudi-cli.sh进入Hudi客户端， cd {客户端安装目录}/Hudi/hudi/bin/
// 构造执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool
/opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证（普通模式跳过此步骤）。 kinit 组件业务用户 执行以下命令，切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-balancer.sh”进行用户集群均衡，常用命令如下：
setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图，从Kafka读取数据并换行打印 DataStream<String> messageStream
Colocation 功能简介 同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性，将那些需进行关联操作的文件存放在相同数据节点上，在进行关联操作计算时避免了到别的数据节点上获取数据，大大降低网络带宽的占用。 在使用C
准备ClickHouse应用运行环境 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
https://Oozie业务IP:21003/oozie https://10.10.10.176:21003/oozie 选择运行的样例工程： OozieMapReduceExcample样例工程，执行5。 OozieSparkHBaseExample和OozieSparkHiveExample样例工程，
ColocationExample。 在运行Colocation工程时，需要设置运行用户，此用户需绑定supergroup用户组。 在运行Colocation工程时，HDFS的配置项fs.defaultFS不能配置为viewfs://ClusterX。 初始化 使用Colocation前需要设置运行用户。 private
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
