检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
MRS集群Task节点弹性伸缩 MRS集群Task节点弹性伸缩概述 添加MRS集群Task节点弹性伸缩策略 管理MRS集群弹性伸缩策略 父主题： MRS集群容量调整
优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题： 使用Spark2x（MRS 3.x及之后版本）
采集数据时报错HoodieKeyException 问题 创建Hudi表时，是否可以使用包含空记录的可空字段作为主键？ 回答 不可以。 使用包含空记录的可空字段作为主键时会返回HoodieKeyException异常： Caused by: org.apache.hudi.exception
"userName", ""); // 建表 // 表建完之后，如果要往表中导数据，可以使用LOAD语句将数据导入表中，比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
authentication.type 登录认证的方式。 “kerberos”，表示使用安全模式，进行Kerberos认证。Kerberos认证提供两种认证方式：密码和keytab文件。 “simple”，表示使用普通模式，不进行Kerberos认证。 kerberos authentication
取决于IAM同步时，用户所绑定的IAM策略，提交作业策略请参考IAM用户同步MRS集群说明章节中表1。 用户提交作业，如果涉及到具体组件的资源使用，如HDFS的目录访问、Hive表的访问等相关组件的权限时，需由admin（Manager管理员）用户进行授权，给提交作业用户赋予相关组件权限。
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
创建具有访问OBS权限的ECS委托 创建存算分离集群 创建OBS文件系统用于存放数据 配置生命周期规则 创建具有访问OBS权限的ECS委托 MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托，可在集群创建过程中选择该委托，该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES
C_OPTS参数中自定义添加。 具体的配置方法如下： 用户可登录FusionInsight Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述
rk2x/hbase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录（如“/opt/client/Spark2x/spark/conf”）
K_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容： -XX:OnOutOfMemoryError='kill -9 %p' 父主题： Spark应用开发常见问题
运行Colocation相关操作的样例代码，则此用户需属supergroup用户组。设置运行用户有两种方式，添加环境变量HADOOP_USER_NAME或者修改代码。 添加环境变量HADOOP_USER_NAME：可参考调测HDFS应用。 修改代码：在没有设置HADOOP_USE
getConnection(url, "", ""); // 建表 // 表建完之后，如果要往表中导数据，可以使用LOAD语句将数据导入表中，比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
namenode.decommission.force.replication.min”参数设置的值时，可以执行退服，系统将同时执行退服和添加HDFS副本数的操作。快速退服期间如果有写入数据操作，可能导致数据丢失，请谨慎操作。快速退服相关参数如下，可以在Manager界面的HDFS服务参数全部配置页面搜索查看：
查看指定hudi表的hoodie.properties文件中的配置。 命令格式 call show_hoodie_properties(table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名，支持database.tablename格式。
p vi log4j.properties 在文件中添加OBS日志级别配置： log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 业务程序添加依赖包 在MRS HDFS客户端安装包中获取jar包
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长，文件浏览器报错Read timed out 父主题： 使用Hue（MRS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
