检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark，能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
x及之前版本，操作步骤如下： 使用admin用户登录MRS Manager界面，选择“服务管理 > HBase > 服务配置”，将“参数类别”的“基础配置”切换为“全部配置”，选择“HMaster > 自定义”，给参数“hbase.hmaster.config.expandor”新增名称为“hbase
执行以下命令获取HA进程的“pid”： ps -ef |grep "ha.bin" |grep DBSERVICE 执行以下命令，查看协议是否全部变更为TCP： netstat -nap | grep pid | grep -v unix 是，结束操作。 否，请联系运维人员。 [omm@host03]\>netstat
查看log4j 修改后可以正常提交作业。 图4 提交作业正常 处理步骤 判断用户是在集群外还是集群内使用客户端提交作业。 若在集群内使用客户端，切换到omm用户提交作业。 若在集群外使用客户端，则要使用root用户提交作业。 检查“flink-conf.yaml”文件各参数是否配置正确。
根据业务情况，准备好客户端，登录安装客户端的节点。 请根据客户端所在位置，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
修改omm和ommdba用户需要获取root用户密码。 修改MRS集群节点操作系统用户密码 以root登录待修改密码节点。 执行以下命令切换用户。 sudo su - root 执行如下命令，修改omm/ommdba/root用户密码。 passwd omm passwd ommdba
选择“叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 计算资源 选择“Yarn”，系统将自动在Yarn中以租户名称创建任务队列。计算资源不选择“Yarn”时，系统不会自动创建任务队列。 配置模式 计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。
aster节点）并切换到omm用户执行sh /opt/knox/bin/restart-knox.sh命令重启knox进程。单Master节点集群无需执行该操作。 可通过执行ps -ef |grep knox命令查询knox进程是否启动，当显示knox进程号时表示启动成功。 （可选）MRS
配置clickhouse-to-hdfs-customize自定义参数时，涉及到nameservice必须使用小写（无论HDFS集群的nameservice是否大写），例如hdfs集群的nameservice为NS1，则在clickhouse-to-hdfs-customize中配置时应该是ns1。 参考样例如下： <property>
用Oozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点，切换到客户端所在目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
本章节适用于MRS 3.x及以后版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作，不支持在备管理节点上配置定时备份。 执行以下命令，切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令，配置定时备份Manager告警、审计或者服务审计信息。
nkServer实例。 已安装包含Flink服务的集群客户端，例如安装路径为“/opt/client”。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。 在IntelliJ
据盘存放个人私有化数据，避免慢盘隔离时对业务造成影响； 自动触发慢盘隔离动作后，对于原来写两副本数据存在单副本运行的场景，存在一定风险，请知；同时华为侧运维人员会尽快对慢盘进行替换； 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点，此时该节点会变成隔离状
house”用户密码也会重置，需要重新修改密码。 修改ClickHouse默认用户密码 使用root用户登录ClickHouse安装节点，切换到omm用户，进入“$BIGDATA_HOME/FusionInsight_ClickHouse_*/install/FusionInsi
记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况，准备好客户端，参考使用MRS客户端章节，登录安装客户端的节点。 执行以下命令，切换到客户端目录，例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
表1 软件配置 参数名称 参数说明 取值样例 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 选择“华北-北京四” 说明： 本指导以“华北-北京四”为例进行介绍，如果您需要选择其他区域进行操作，请确保所有操作均在同一区域进行。
kerberos authentication.user 普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。
kerberos authentication.user 普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。
本章节适用于MRS 3.x及后续版本。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令： cd /opt/client 执行以下命令配置环境变量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
