检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可
准备本地应用开发环境 Hive组件可以使用JDBC、HCatalog、Python、Python3接口进行应用开发。 准备JDBC/HCatalog开发环境 表1 JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本
MRS 1.9.2.3及之后版本补丁说明 MRS 1.9.2.5补丁说明 表1 补丁基本信息 补丁号 MRS 1.9.2.5 发布时间 2024-05-30 安装前处理 安装此补丁前，如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁，需要先卸载该补丁
调测OpenTSDB应用 操作场景 在程序代码完成开发后，您可以在Windows开发环境中运行应用。 操作步骤 在Windows上配置集群的IP与主机名映射关系。登录集群后台，执行命令cat /etc/hosts后，把hosts文件中的IP与主机名映射关系拷贝到“C:\Windows
org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only
MRS集群切换VPC后集群状态异常不可用 问题现象 客户MRS集群，在ECS侧将所有节点的VPC切换后集群状态异常。 所有服务不可用，其中Hive beeline报错如下： 原因分析 MRS不支持切换VPC，切换VPC后，节点的内网IP变化，但是配置文件和数据库还是原有的IP，导致集群通信等功能异常
算子逻辑，用户代码（如UDF）正常对象占用内存的地方。 taskmanager.memory.task.off-heap.size：0 默认值为0，task使用的off heap内存。
在Linux环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可
在Windows中调测Impala JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Impala JDBC客户端中导入和修改样例后，并从集群Manager获取到keytab文件放置到样例工程的conf下（普通模式集群可忽略），即“impala-examples/conf
Alluxio应用开发简介 Alluxio简介 Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易、更快地被访问。同时使得应用程序能够通过一个公共接口连接到许多存储系统
Alluxio Alluxio是一个面向基于云的数据分析和人工智能的数据编排技术。在MRS的大数据生态系统中，Alluxio位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端
在Windows中调测Hive JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Hive JDBC开发环境中导入和修改样例后，并从集群的任一Master节点的路径“/opt/client/Hive/config/hiveclient.properties”下获取“
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker
HetuEngine应用开发简介 HetuEngine简介 HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine基本概念 HSBroker
DataSet DataSet是一个由特定域的对象组成的强类型集合，可通过功能或关系操作并行转换其中的对象。 每个Dataset还有一个非类型视图，即由多个列组成的DataSet，称为DataFrame。
使用约束 Scan算子当前支持的数据类型为：Boolean、Integer、Long、Float、Double、String、Date、Decimal 支持的数据格式：parquet、orc 支持的文件系统：obs、hdfs 支持的机型： AMD64、ARM 支持的场景：spark-sql
LakeFormation服务概述 该LakeFormation入门教程介绍了如何创建一个LakeFormation实例并与MRS集群对接，实现统一的数据湖元数据及权限管理。 使用流程简介 MRS与LakeFormation对接的使用流程如下图所示： 图1 LakeFormation
MRS 1.9.0.5补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.5 发布时间 2020-03-21 解决的问题 MRS 1.9.0.5 修复问题列表： MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
