检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdo
群名称。 将OBS中的txt文件导入至HDFS中。 选择“文件管理”。 在“HDFS文件列表”页签中单击“新建”，创建一个名称为userinput的文件夹。 进入userinput文件夹，单击“导入数据”。 选择OBS和HDFS路径，单击“确定”。 OBS路径：obs://spa
前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight M
同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以obs://开头，以.sh结尾。例如：obs://mrs-samples/xxx.sh 虚拟
查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面，选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task，选择“Stdo
/user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hbase hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hive
Ranger鉴权的具体策略请参见鉴权策略。 OBS存算分离细粒度鉴权 对于OBS存算分离集群，如果您想对OBS上的资源进行细粒度的权限控制，可以通过MRS提供的基于IAM委托的细粒度权限控制方案进行配置，请参见配置MRS多用户访问OBS细粒度权限。 父主题： 安全
WebUI查看应用程序运行情况。 Spark主要有两个Web页面。 Spark UI页面，用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。
2.1.0.8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表： MRS Manager 解决委托访问OBS，ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题
MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表： MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。
如需添加多个参数，请单击右侧的“添加”按钮。 例如增加以下服务配置参数： fs.obs.access.key：通过AK/SK方式访问OBS时访问OBS的密钥ID。 fs.obs.secret.key：通过AK/SK方式访问OBS时访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。
件夹： /user/developuser/myjobs/apps/spark2x/lib /user/developuser/myjobs/apps/spark2x/hbase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。
件夹： /user/developuser/myjobs/apps/spark2x/lib /user/developuser/myjobs/apps/spark2x/hbase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录，请参考表2。
支持从SFTP/FTP服务器导入数据到HDFS/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器
在spark-beeline中执行命令，例如在obs://mrs-word001/table/目录中创建表test。 create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show
/user/developuser/myjobs/apps/spark2x/lib hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hbase hdfs dfs -mkdir -p /user/developuser/myjobs/apps/spark2x/hive
当使用Kryo序列化数据时，是否跟踪对同一个对象的引用情况。适用于对象图有循环引用或同一对象有多个副本的情况。否则可以设置为关闭以提升性能。 true spark.kryo.registrationRequired 是否需要使用Kryo来注册对象。当设为“true”时，如果序列化一个未使用Kryo注册的对象则会发生
如需添加多个参数，请单击右侧的“添加”按钮。 例如作业需要通过AK/SK方式访问OBS，增加以下服务配置参数： fs.obs.access.key：访问OBS的密钥ID。 fs.obs.secret.key：访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。
答： MRS集群内使用主流的大数据Hadoop，目前支持Hadoop 3.x版本，并且随集群演进更新版本。 同时MRS也支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式。 更多信息MRS各版本支持的组件情况请参见MRS组件版本一览表。 父主题： 产品咨询类
产生告警的主机名称。 对系统的影响 集群获取不到最新的临时AK/SK，存算分离场景下，可能导致访问OBS失败，引起组件业务无法正常处理。 可能原因 MRS集群meta角色状态异常。 集群绑定过委托且访问过OBS，但是已经解绑了，现在未绑定委托。 处理步骤 检查meta角色状态。 在集群的FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
