检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
下载MRS集群用户认证凭据文件 用户开发大数据应用程序并在支持Kerberos认证的MRS集群中运行程序时，需要准备访问MRS集群的用户认证文件。认证文件中的keytab文件可用于认证用户身份。 该任务指导管理员用户通过Manager下载用户认证文件并导出keytab文件。 修改用户密码后
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
典型场景：从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，且该用户具备
在Windows中调测Presto应用开发 申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下： 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台
初始化MRS集群用户密码 用户如果遗忘密码或公共账号密码需要定期修改时，管理员可通过Manager初始化密码。初始化密码后系统用户首次使用账号需要修改密码。 初始化MRS集群用户密码对系统的影响 初始化MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 0023 Failed to obtain cluster details. 获取集群详情信息失败！ 请检查MRS集群状态、Master
数据序列化 操作场景 Spark支持两种方式的序列化 ： Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说，具有很大的影响。在特定的数据格式的情况下，KryoSerializer的性能可以达到JavaSerializer
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据，实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作，以确保产品安全使用。适用于以下场景： 首次安装好集群以后，需要更换企业证书。 企业证书有效时间已过期或安全性加强
切换MRS租户资源调度器 操作场景 新安装的MRS集群默认即使用了Superior调度器，集群管理员可以根据实际情况参考以下指导切换集群调度器。 前提条件 确保集群网络通畅，网络环境安全，Yarn服务状态正常。 在切换调度器期间，不允许做添加、删除、修改租户，以及启停服务等操作。
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算
计费类 创建MRS集群时计价器为什么未显示价格？ MRS集群中的弹性伸缩功能如何收费？ MRS集群的Task节点如何收费？ 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理？
Manager关键特性 Manager关键特性：统一监控告警 Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标，并评测集群健康状态，同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况，并在故障时实时上报告警。通过界面的联机帮助
MRS服务如何对接云日志服务？ 前提条件 已获取账号AK和SK，详情请参考：如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent，详情请参考：安装ICAgent（华为云主机）。 首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。 创建主机组，
集群生命周期管理 MRS支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型、组件范围、各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，MRS将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群
写入OpenTSDB数据 功能简介 使用OpenTSDB的接口(/api/put)写入数据。 函数genWeatherData()模拟生成的气象数据，函数putData()发送气象数据到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb.examples
MRS集群Kerberos认证介绍 Hadoop社区版本提供两种认证方式Kerberos认证（安全模式）和Simple认证（普通模式），在创建集群时，MRS支持配置是否启用Kerberos认证，集群创建完成后不支持修改。 安全模式（启用Kerberos认证） 安全模式的MRS集群统一使用
使用CDM服务迁移MySQL数据至MRS Hive 应用场景 MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。 其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
