检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS M
表列名”时，默认该表的所有列或者是“SQL语句”配置项里配置的查询条件中指明的列。 配置的输入字段个数不能大于实际指定的列数，否则全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以sqlserver 2014为例，创建测试表test： create
只有运行中的集群才能进行扩容操作。 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数。系统呈现集群使用的到期时间和此次扩容节点所需的费用。“启动组件”和“执行引导操作”参数部分版本的集群可能不支持，请以界面实际参数为准。 如果创建集群时添加了引导操作，则“执行引导操作
返回结果 状态码 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请
/etc/hosts，获取hosts文件中的IP与hostname映射关系。 在本地Windows的“C:\Windows\System32\drivers\etc\hosts”中，配置3中获取的映射关系，并将所有Master节点的IP修改为对应节点绑定的弹性公网IP。 将MRS集群中的“/opt/cli
需要启用Ranger鉴权的服务名称”。 在服务“概览”页面右上角单击“更多”，选择“启用Ranger鉴权”。在弹出的对话框中输入密码，单击“确定”，操作成功后单击“完成”。 如果“启用Ranger鉴权”是灰色，表示已开启Ranger鉴权，如图1所示。 已启用Ranger授权的组件（HDFS
如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > HDFS > 配置 > 全部配置”。
支持用户将数据块的各个副本存放在指定具有不同标签的节点，如某个文件的数据块的2个副本放置在标签L1对应节点中，该数据块的其他副本放置在标签L2对应的节点中。 支持选择节点失败情况下的策略，如随机从全部节点中选一个。 如图7所示。 /HBase下的数据存储在A，B，D /Spark下的数据存储在A，B，D，E，F
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。 以下操作
已创建的MRS集群如何修改Kerberos状态？ 问： 已创建的MRS集群如何修改Kerberos认证的开启状态？ 答： MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务，如需更换Kerberos认证状态，建议重新创建MRS集群，然后进行数据迁移。 父主题： 用户认证及权限类
性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。 以下操作
BS访问403如何处理？ 问： SparkStreaming作业运行几十个小时后失败，报OBS访问403如何处理？ 答： 当用户提交作业需要读写OBS时，提交作业程序会默认为用户添加访问OBS的临时accesskey和secretkey，但是临时accesskey和secretkey有过期时间。
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据？ 回答 配置： 要在不同namespaces之间逻辑地分割数据，必须更新HDFS，Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源，通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表，以及每次写操作之后如何读取快照和增量数据。 前提条件 已下载并安装Hudi客户端，目前Hudi集成在MRS集群的Spark/Sp
如何通过happybase连接到MRS服务的HBase？ 问： 大数据应用如何通过happybase连接到MRS服务的HBase？ 答： MRS服务集群的HBase服务使用的是thriftserver2，thriftserver1和thriftserver2不能同时并存，但hap
对请求进行签名的过程中会自动填充该字段。AK/SK认证的详细说明请参见认证鉴权的“AK/SK认证”。 X-Sdk-Date：请求发送的时间，可选，当使用AK/SK方式认证时，使用SDK对请求进行签名的过程中会自动填充该字段。AK/SK认证的详细说明请参见认证鉴权的“AK/SK认证”。
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。 以下操作
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*.py）即可。 以下操作
时访问两个集群的HDFS：的操作步骤配置且指定对端集群nameservice为LOCATION后才能访问表数据。 访问对端集群的HBase： 先将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的/etc/hosts文件中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
