检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本，spark-beeline查询Hive视图报错，报错如下： 根据提示set spark.sql.hive.manageFilesourcePartitions=false后，查不到数据（但是实际在Hive查询中是有数据的）。
EL操作转换 概述 “EL操作转换”算子，对字段值进行运算后生成新的字段，目前支持的算子有：md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入：需要转换的字段 输出：经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型
MRS集群更换磁盘（适用于2.x及之前） 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于MRS 3.x之前版本分析集群，如需为流式集群或混合集群更换磁盘，请联系华为云技术支持处理。
Hive WebHCat接口介绍 以下示例的IP为WebHCat所在节点的业务IP，端口为安装时设置的WebHCat HTTP端口。 除“:version”、“status”、“version”、“version/hive”、“version/hadoop”以外，其他API都需要添加user
的分区字段。由于没有源表字段直接对应，需要配置表达式从源表的StartDate字段抽取。 图8 Hive字段映射 单击进入转换器列表界面，再选择“新建转换器 > 表达式转换”。 y、ym、ymd字段的表达式分别配置如下： DateUtils.format(DateUtils.parseDate(row[2]
典型场景：从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，
er）用于提供从0至N的优先值数字（0的优先级最高）。 多级队列（位于FairCallQueue内部）保持调用在内部按优先级排列。 多路转换器（提供有WeightedRoundRobinMultiplexer）为队列选择提供逻辑控制。 在对FairCallQueue进行配置后，由
MRS集群更换磁盘（适用于3.x） 用户问题 磁盘无法访问。 问题现象 客户创建本地盘系列MRS集群，其中1个Core节点的磁盘存在硬件损坏，导致读取文件失败。 原因分析 磁盘硬件故障。 处理步骤 该指导适用于本地盘系列（d/i/ir/ki系列）MRS集群，针对Core、Task类型节点的磁盘存在硬件故障。
er）用于提供从0至N的优先值数字（0的优先级最高）。 多级队列（位于FairCallQueue内部）保持调用在内部按优先级排列。 多路转换器（提供有WeightedRoundRobinMultiplexer）为队列选择提供逻辑控制。 在对FairCallQueue进行配置后，由
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中，支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时，存在以下限制：
使用CDM服务迁移MRS HDFS数据至OBS 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 CDM支持文件到文件类数据的迁移，本章节以MRS
更换CA证书 操作场景 MRS CA证书用于组件客户端与服务端在通信过程中加密数据，实现安全通信。该任务指导集群用户通过FusionInsight Manager完成CA证书替换工作，以确保产品安全使用。适用于以下场景： 首次安装好集群以后，需要更换企业证书。 企业证书有效时间已过期或安全性加强，需要更换为新的证书。
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后，可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Ma
查看Storm应用调测结果 操作场景 Storm应用程序运行完成后，可通过登录Storm WebUI查看应用程序的运行情况。 操作步骤 登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址，地址格式为“https://FusionInsight Ma
开源sqoop-shell工具使用指导 概述 sqoop-shell是一个开源的shell工具，其所有功能都是通过执行脚本“sqoop2-shell”来实现的。 sqoop-shell工具提供了如下功能： 支持创建和更新连接器 支持创建和更新作业 支持删除连接器和作业 支持以同步或异步的方式启动作业
Spark应用开发简介 Spark简介 Spark是分布式批处理框架，提供分析挖掘与迭代式内存计算能力，支持多种语言（Scala/Java/Python）的应用开发。 适用以下场景： 数据处理（Data Processing）：可以用来快速处理数据，兼具容错性和可扩展性。 迭代计算（Iterative
Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
登录MRS集群节点 本章节介绍如何使用弹性云服务器管理控制台上提供的远程登录（VNC方式）和如何使用密钥或密码方式（SSH方式）登录MRS集群中的节点，远程登录主要用于紧急运维场景，远程登录弹性云服务器进行相关维护操作。其他场景下，建议用户采用SSH方式登录。 如果需要使用SSH
典型场景：从HDFS导入数据到ClickHouse 操作场景 该任务指导用户使用Loader将文件从HDFS导入到ClickHouse。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS目录和数据。 ClickHous
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
