检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备本地应用开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
更细粒度地去开发、配置和调优作业。 Spark SQL常用概念 DataSet DataSet是一个由特定域的对象组成的强类型集合，可通过功能或关系操作并行转换其中的对象。 每个Dataset还有一个非类型视图，即由多个列组成的DataSet，称为DataFrame。 DataF
tions并在IoTDBSource中实现抽象方法convert()，convert()定义了您希望如何转换行数据。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsight
选择安全区内包含的服务及具体资源。 在“Select Resource Services”中选择服务后，需要在“Resource”列中添加具体的资源对象，例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/t
MRS 1.9.2.3及之后版本补丁说明 MRS 1.9.2.5补丁说明 表1 补丁基本信息 补丁号 MRS 1.9.2.5 发布时间 2024-05-30 安装前处理 安装此补丁前，如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁，
Manager 解决反复扩缩容导致MRS Master节点executor内存溢出问题 MRS大数据组件 MRS Presto新增Presto支持OBSFileSystem MRS Presto解决频繁打印jstack，以及日志文件太大不滚动问题 补丁兼容关系 MRS 2.0.1.2补丁包中包含MRS
准备本地应用开发环境 在进行二次开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚
--negotiate -u : "https://10.120.85.2:26014/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，26014为JobHistoryServer的端口号。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例RPC队列平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 或Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。
> 配置 > 全部配置”，进入HetuEngine服务配置页面。 搜索“jobsystem.customized.properties”，添加用户自定义配置名称为“hetuserver.engine.jobsystem.inner.principal”，值为如下内容，添加完成后单击“保存”，根据界面提示保存配置。
队列配置同步。如果您需要配置同步，建议基于新的调度器重新配置。 存算分离 当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 组件特性 MRS集群中HBase服务禁止开启MOB特性，使用
--conf spark.shuffle.service.enabled false true 调整Spark调度参数优化OBS场景下Spark调度时延 开启对于OBS存储，可以关闭Spark的本地性进行优化，尽可能提升Spark调度效率 配置项 集群默认值 调整后 --conf spark
Core或者Task节点最多支持添加10块磁盘，有如下应用场景： 数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。 数据存储和计算不分离，数据存储在
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢，严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小，频繁Full GC造成JVM卡顿。
org.apache.hadoop.hbase.coprocessor.CoprocessorHost$ObserverOperationWithoutResult.callObserver(CoprocessorHost.java:581) at org.apache.hadoop
准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。 运行环境：Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下：
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
parseInt(hbase1Value) + Integer.parseInt(hbase2Value); // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes(qualifier)
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
