检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE
删除作业执行对象（废弃） 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
MRS集群是否支持切换操作系统？ 问： MRS集群是否支持切换操作系统？ 答： MRS集群内节点操作系统为ECS初始镜像，不支持切换操作系统。 父主题： 节点管理类
新增作业并执行（废弃） 功能介绍 在MRS集群中新增一个作业，并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
查询作业exe对象详情（废弃） 功能介绍 查询指定作业的exe对象详细信息。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1
codec”（可选：uncompressed, zlib, lzo, snappy）来选择Parquet和Orc表的压缩格式；由于Hive和Spark表在可选的压缩格式上有区别，除以上列出的压缩格式外，其他的压缩格式不支持。 合并桶表数据，需要先在Spark2x客户端的hive-site.xml里加上配置：
MRS集群是否支持重装系统？ 问： MRS集群是否支持重装系统？ 答： MRS集群内节点操作系统为ECS初始镜像，不支持重装操作系统。 父主题： 节点管理类
查询作业exe对象列表（废弃） 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool
选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，可以减少网络时延，提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面，同一个国家各个区域间区别不大，如果您或者您的目标用户在同一个国家，可以不用考虑不同区域造成的网络时延问题。
通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。 回答 可以通过以下两种方式生成： 手动通过analyze命令，触发统计信息收集。如果没有插入数据
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool
配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力，针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。
E}/namenode/data”，该参数用于确定HDFS文件系统的元数据信息的保存路径。 HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”，需要设置该值为“true”，系统即可定期备份NameNode的数据。
e和Datasource表的插入写操作逻辑，使用Hive表时逻辑不会自动格式化时间戳，使用Datasource表时会自动格式化时间戳。 如果写入的分区字段是a='2016-8-1 11:45:5'会自动格式化成a='2016-08-01 11:45:05'，此时查询使用a='2016-8-1
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓 操作步骤 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool
如果设置为true，为分区表 location 表的存储路径 outputFormat 输出格式 columns 列名，类型，备注 owner 所有者 partitionColumns 分区的列 inputFormat 输入格式 totalNumberFiles 分区下文件个数 totalFileSize
Encodings”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，使用IntelliJ IDEA开发工具时，可选择“File
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
