检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
查询可用区信息 功能介绍 在创建集群时，需要配置实例所在的可用区ID，可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
功能介绍 将IAM用户和用户组同步到manager，指定用户的情况下，会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权，普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面，具体请参见访问集群Manager。选择“集群 > 服务 > 需要启用Ranger鉴权的服务名称”。
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权，普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面，具体请参见访问FusionInsight Manager（MRS
多副本场景下，运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本，比如mv改名，内核不会感知到该副本丢失，执行查询时如果请求运行在副本丢失的BE节点，报错： 处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_
MRS 1.9.3.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.3.3 发布时间 2021-01-04 解决的问题 MRS 1.9.3.3 修复问题列表： MRS Manager 解决隔离节点问题 MRS大数据组件 解决Hive加载hook内存泄漏问题 MRS
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
配置创建Hive内部表时不能指定Location 操作场景 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。 开启此功能后，在创建Hive内部表时，不能指定location。即表创建成功之后，表的location路
partitions 所属配置文件 spark-defaults.conf 适用于 数据查询 场景描述 Spark shuffle时启动的Task个数。 如何调优 一般建议将该参数值设置为执行器核数的1到2倍。例如，在聚合场景中，将task个数从200减少到32，有些查询的性能可提升2倍。 表2
通过Java API提交Oozie作业开发思路 通过典型场景，用户可以快速学习和掌握Oozie的开发过程，并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，代码示例只涉及了MapReduce作业，其他作业的API调用代码是一样的，只是job配置“job
获取已经同步的IAM用户和用户组 功能介绍 获取已经同步的IAM用户和用户组 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述
场景说明 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务，并至少有一个实例对外服务。在hdfs上创建"/home/data"目录，新增包含如下内容的文件并上传到h
件的管理权限，如需正常访问各组件的Web UI界面，请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。 操作视频 本视频为您介绍如何为MRS集群绑定弹性公网IP，并访问集群中组件的WebUI页面。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 访问开源组件Web页面
开源sqoop-shell工具使用示例（SFTP - HDFS） 操作场景 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
HBase客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 操作视频 该视频为您介绍如何在MRS集群创建成功后，通过登录HBase客户端实现创建表，往表中插入数据并修改表数据等功能。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。
使用命令行运行Loader作业 操作场景 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请
使用客户端运行Loader作业 操作场景 一般情况下，用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时，必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端，如果重新安装集群或Loader服务，请
长度为128个字符，value为255个字符。删除时tags结构体不能缺失，key不能为空，或者空字符串。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/tags/action 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
