检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多租户资源管理 特性简介 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 部分用户（例如银行、政府单位等）对数据安全非常关注，不接受将自己的数据与其他用户放在一起。
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段： // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段： // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
HDFS时任务运行失败 用户问题 使用CDM从旧的集群迁移数据至新集群的HDFS过程失败。 问题现象 使用CDM从源HDFS导入目的端HDFS，发现目的端MRS集群故障，NameNode无法启动。 查看日志发现在启动过程中存在“Java heap space”报错，需要修改NameNode的JVM参数。
在计算侧的VM中，通过智能预取OBS上的数据来加速计算任务的执行。 图1 MemArtsCC结构图 表1 MemArtsCC结构图说明 名称 说明 CC SDK 提供OBSA（OBSA，hadoop客户端插件） FS客户端使用的可访问OBS服务器对象的SDK。 ShardView
“私有IP地址”选择“现在创建”，填写1中查询对应节点的IP。 切换成功后，单击节点名称，需要在节点的“弹性网卡”中重启“源/目的检查”。 将虚拟IP重新绑定到集群的Master节点上，操作如下： 登录MRS管理控制台，进入MRS集群，在“概览”页面单击“前往Manager”后的 ， “访问方式”选
client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位：字节。 在万兆网部署下，可适当增大该参数值，来提升传输的吞吐量。 262144
client-write-packet-size 客户端写包的大小。当HDFS Client往DataNode写数据时，将数据生成一个包。然后将这个包在网络上传出。此参数指定传输数据包的大小，可以通过各Job来指定。单位：字节。 在万兆网部署下，可适当增大该参数值，来提升传输的吞吐量。 262144
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
队列配置同步。如果您需要配置同步，建议基于新的调度器重新配置。 存算分离 当集群已对接了OBS（存算分离或者冷热分离场景），若需要删除组件或者MRS集群，需要在删除组件或者集群后，手工将OBS上相关的业务数据进行删除。 组件特性 MRS集群中HBase服务禁止开启MOB特性，使用
Yarn提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种： 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。 配置描述 参数入口： 参考修改集群服务配置参
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user
MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。
mapreduce/jar(POST) mapreduce/streaming(POST) hive(POST) jobs(GET) jobs/:jobid(GET) jobs/:jobid(DELETE) Hive授权说明 Hive授权（数据库、表或者视图）推荐通过Manager授权
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
nux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
