检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
createStream进行应用程序开发。原有API仍然可以使用，但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题，多以逗号分隔。
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题：
安装好客户端，详情请参见集群内节点使用MRS客户端章节，登录安装客户端的节点。 集群外部节点：用户可以将客户端安装在集群外部节点上，详情请参见集群外节点使用MRS客户端章节，登录安装客户端的节点。 使用Spark客户端 登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
查询时返回结果为乱码。 可能原因 Hive默认压缩格式不是ARC4格式或者未开启输出压缩。 解决方案 在select结果乱码时，在beeline中进行如下设置。 set mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop
方案1： 登录Manager界面，修改Hive参数。 MRS Manager界面操作：登录MRS Manager页面，选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。 FusionInsight Manager界面操作：登录FusionInsight
出现缺类错误。 登录Manager界面，选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > 自定义”，在“impalad.customized.configs”中添加参数“--local_library_dir”值为用户指定的目录，指定
Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本、Scala SDK版本，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
Module”，然后单击“Next”。 如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本和Scala SDK，然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Flink应用开发环境
检查备份文件是否软链接到系统盘且系统盘空间是否足够。如果软链接到系统盘且系统盘空间不足，请执行步骤2。如果否，说明不是由于系统盘空间不足导致，请联系技术服务。 将历史备份数据移到数据盘的新目录中。 以root用户登录Master节点。 执行su - omm命令，切换到omm用户。 执行rm
MRS支持已开通企业项目服务的用户在创建集群时为集群配置对应的项目，然后使用企业项目管理对MRS上的资源进行分组管理： 支持用户为多个资源进行分组管理。 支持用户查看企业项目下的资源信息、消费明细。 支持用户对企业项目级别的访问权限控制。 支持用户分企业项目查看具体的财务信息，包括订单、消费汇总、消费明细等。
e_name}表示表名称）： set hoodie.${table_name}.consume.mode=INCREMENTAL; //设置增量读取模式 set hoodie.${table_name}.consume.max.commits=3; // 指定最大消费的commits数量
进入Yarn服务实例页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 实例”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS
UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = false”，使hoodie采用Avro兼容的parquet文件写入类进行写入。
partitions = XXX;命令调大“hive.exec.max.dynamic.partitions”参数值。 SparkSQL中需要设置“spark.hadoop.hive.exec.max.dynamic.partitions”参数。 父主题： 使用Hive
UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer.enable = false”，使hoodie采用Avro兼容的parquet文件写入类进行写入。
题。 运维授权：MRS服务提供运维授权功能，用户在使用MRS集群过程中，发生问题可以在MRS页面发起运维授权，由运维人员帮助用户快速定位问题，用户可以随时收回该授权。 健康检查 MRS为用户提供界面化的系统运行环境自动检查服务，帮助用户实现一键式系统运行健康度巡检和审计，保障系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
