检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区别于管理控制台独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 企业项目管理 标签管理 标签是集群的标识,为集群添加标签,可以方便用户识别和管理拥有的集群资源。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。
步骤1:新建数据连接 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。
配置OBS目录生命周期规则 登录OBS控制台。 选择“并行文件系统”,单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”,单击“创建”,创建指定目录的生命周期规则,相关参数详细介绍请参见配置生命周期规则。
切换回MRS控制台,单击创建好的MRS集群名称,进入“概览”,单击“IAM用户同步”所在行的“同步”,等待约5分钟同步完成。 图4 同步IAM用户 将数据文件上传HDFS。 在“文件管理”页签,选择“HDFS文件列表”,进入数据存储目录,如“/tmp/test”。
es.nodes:需要连接的IP,可登录CSS管理控制台,在集群列表的“内网访问地址”列即可查看对应集群的IP地址。 es.port:外部访问Elasticsearch集群端口,默认为9200。 es.resource:1创建的索引名称。
登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”,修改RangerAdmin配置。
获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK).
检查防火墙是否关闭。
在$YARN_CONF_DIR/core-site.xml中添加AK配置项“fs.obs.access.key”和SK配置项“fs.obs.secret.key”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。
检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。
通过管理控制台添加租户 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“添加租户”,打开添加租户的配置页面,根据集群版本参见对应表格内容为租户配置属性。
通过VPC管理控制台获取子网名称: 登录管理控制台。 单击“虚拟私有云”,从左侧列表选择虚拟私有云。 单击对应虚拟私有云所在行的“子网个数”查看子网,获取子网名称。
全量数据迁移 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和待迁移的MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。
查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。
-q,--sysoutLogging:禁止flink日志输出至控制台。 -s,--fromSavepoint <savepointPath>:指定用于恢复job的savepoint路径。
-q,--sysoutLogging:禁止flink日志输出至控制台。 -s,--fromSavepoint <savepointPath>:指定用于恢复job的savepoint路径。
如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。 在MRS集群概览页面,获取弹性IP,使用该IP登录Master节点,执行如下命令刷新集群内置客户端。
如果需要在管理控制台执行作业提交操作,需要更新集群内置客户端配置文件。 在MRS集群概览页面,获取弹性IP,使用该IP登录Master节点,执行如下命令刷新集群内置客户端。