检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。 testRDD.groupByKey(24)
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置”，参数类别设置为“全部配置”，搜索“ssl.mode.enable”并配置为“true”。
6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完
6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完
“服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目
Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值，如果单个map任务的错误记录超过设置阈值则任务自动结束，已经获取的数据不回退。
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。
“服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权限，HBase读写权限以及Yarn的队列提交权限。
“服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目
keytab文件 开启安全模式时填写此参数。安全认证的密钥，在本地选择2获取的“user.keytab”文件。 user.keytab krb5文件 开启安全模式时填写此参数。Kerberos认证用到的配置文件，在本地选择2获取的“krb5.conf”文件。 krb5.conf hbase-site文件
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量进程连接到ZooKeeper，导致ZooKeeper连接数被占满，无法对外正常提供服务，导致上游组件（例如Yarn、Flink、Spark等）服务异常。 可能原因 客户端大量进程连接到ZooKeeper，或者自定义阈值设置不合理。 处理步骤
“服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “服务器共享路径”：填写用户配置的NAS服务器共享目
DataArts Studio实例保持一致。 创建具有访问OBS权限的ECS委托，详细操作请参考配置MRS集群通过IAM委托对接OBS中“创建具有访问OBS权限的ECS委托”部分。例如委托名称为“mrs_ecs_obs”。 创建包含Hive、Spark等组件的MRS集群，并创建用户、安装客户端。
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL（任意节点），这个URL将是客户端提交流程任务的目标地址。 URL格式为：https://Oozie业务IP:21003/oozie。例如，“https://10
普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。 用户需要对密码加密，加密方法： 进入“encrypt
开源镜像站下载，其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。
使用HBase二级索引可以加速带Filter的条件查询，支持HIndex（本地索引，即Local Secondary Index，简称为LSI）和全局二级索引（Global Secondary Index，简称为GSI）。全局二级索引相较于本地索引（HIndex），查询性能更好，适合读时延要求高的场景。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
