检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外，LTS版集群还支持HetuEngine、IoTDB等组件，可以根据不同集群版本选择不同的组件，具体各版
考MRS组件版本一览表和组件操作指南。 LTS版 功能说明 LTS版集群除支持集群基础操作外，还提供版本升级能力。如需使用该功能请联系智能数据专家服务。 组件介绍 除共有组件外，LTS版集群还支持HetuEngine、IoTDB等组件，可以根据不同集群版本选择不同的组件，具体各版
新目录。 更改NodeManager的存储目录以后，需要重新下载并安装客户端。 前提条件 在各个数据节点准备并安装好新磁盘，并格式化磁盘。 规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager，选择“集群 >
TBLPROPERTIES ("hbase.table.name" = "thh"); 创建好的Hive表和HBase表分别保存在Hive的数据库“default”和HBase的命名空间“default”中。 在FusionInsight Manager角色管理界面创建一个角色，例
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode堆内存使用率过高，会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端，用户密码为
onf”，该目录需要与2上传的“MRTest-XXX.jar”包所在目录相同）。 已参考规划MapReduce访问多组件样例程序数据准备好待处理的数据。 运行程序 进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}"
生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立，更新字段的值；如果不成立，则不更新。 当更新字段为数值类型时，更新值需要为数值。 当更新字段为字符串类型时，更新操作不能为“-”。
生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立，更新字段的值；如果不成立，则不更新。 当更新字段为数值类型时，更新值需要为数值。 当更新字段为字符串类型时，更新操作不能为“-”。
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
HiveServer负责接收客户端请求（SQL语句），然后编译、执行（提交到YARN或运行Local MR）、与MetaStore交互获取元数据信息等。HiveServer运行日志记录了一个SQL完整的执行过程。 通常情况下，当遇到SQL语句运行失败，首先需要查看HiveServer运行日志。
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
ALM-12010 Manager主备节点间心跳中断 ALM-12039 OMS数据库主备不同步 ALM-14000 HDFS服务不可用 ALM-14010 NameService服务异常 ALM-14012 Journalnode数据不同步 ALM-16004 Hive服务不可用 ALM-18000
default库新建表。请充分考虑实际应用场景，再决定是否做出调整。 因为对执行用户做了限制，使用非管理员用户执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理
conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用
提交Flink任务时launcher-job被Yarn终止如何处理？ 提交Flink作业时报错slot request timeout如何处理？ DistCP作业导入导出数据常见问题 如何通过Yarn WebUI查看Hive作业对应的SQL语句？ 如何查看指定Yarn任务的日志？ 添加Hive服务后，提交hiv
不涉及 取值范围： 不涉及 默认取值： 不涉及 input String 参数解释： 数据输入地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 output String 参数解释： 数据输出地址。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_log
如上操作后可以用sparksql访问hive MetaStore，如需访问hive表数据，需要按照•同时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeep
Master和Core节点数据磁盘存储空间，单位为GB。为增大数据存储容量，创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小： 数据存储和计算分离，数据存储在OBS系统中，集群费用相对较低，计算性能不高，并且集群随时可以删除，建议数据计算不频繁场景下使用。 数据存储和计算不
查看Spark应用调测结果 调优程序 您可以根据程序运行情况，对程序进行调优，使其性能满足业务场景诉求。 调优完成后，请重新进行编译和运行 请参考数据序列化至Spark CBO调优章节 父主题： Spark应用开发概述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
