检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S
数组函数和运算符 下标操作符：[] 描述：下标操作符用于访问数组中的元素，并从1开始建立索引。 select myarr[5] from (values array [1,4,6,78,8,9],array[2,4,6,8,10,12]) as t(myarr); _col0
的数据写入到新的文件。在查询时，所有被标记删除的数据都会在文件级别被过滤，读取出来的数据是最新的数据，消除了读时合并中数据聚合的过程，并且支持多种谓词的下推，因此在聚合查询场景下能带来较大的性能提升。 Duplicate模型 数据既没有主键，也没有聚合需求时，可以使用Duplic
MRS最佳实践汇总 本文汇总了MapReduce（MRS）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题： 使用HDFS
更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题： 使用HDFS
keytab 文件上传到客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user
[format_as] [properties] file_path format_as properties format_as：表示指定导出格式，支持CSV、PARQUET、CSV_WITH_NAMES、CSV_WITH_NAMES_AND_TYPES、ORC，默认为CSV。 示例 导出到HDFS
否，table和path二选一 spec String类型，正则表达式 是 level String类型，TTL级别 是，PARTITION或者RECORD，目前仅支持PARTITION value String类型，保留的时长 是 units String类型，保留时长的单位 是，YEARS、MONTHS、WEEKS和DAYS。
为keytab文件和krb5.conf文件。具体使用方法在样例代码的“README.md”中会有详细说明。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。
查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知 父主题： MRS集群运维
计算结果，并进行打印。 方案架构 Spark Streaming是一种构建在Spark上的实时计算框架，扩展了Spark处理大规模流式数据的能力。当前Spark支持两种数据处理方式：Direct Streaming和Receiver。 Direct Streaming方式主要通过采用Direct API对数据进行处理。以Kafka
请等待5分钟，待新策略生效之后，再进行提交作业，否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时（例如admin 01），不支持添加作业。 单击“作业管理”，在作业列表界面单击“添加”。 “作业类型”选择“Flink”并参考表1配置Flink作业信息。 图1 添加Flink作业
导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置 修改MRS集群Manager路由表 父主题： 管理MRS集群
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI
sources/”路径下获取。 keytab和krb5.conf文件获取方法请参考准备MRS应用开发用户。 安全认证主要采用代码认证方式。支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。
stgreSQL、Oracle等）。 本指导中导出的Hive表元数据即存储在关系型数据库中的Hive表的描述信息。 业界主流大数据发行版均支持Sqoop的安装，如果是自建的社区版大数据集群，可下载社区版Sqoop进行安装。借助Sqoop来解耦导出的元数据与关系型数据库的强依赖，将
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的WebUI
创建数据连接 功能介绍 创建数据连接 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/data-connectors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
准备ClickHouse应用运行环境 准备运行环境配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
