检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Distributed表引擎本身不存储任何数据,而是作为数据分片的透明代理,能够自动路由数据到集群中的各个节点,分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表,而实际上数据的存储在各个节点的本地表中。 图1 Distributed Distributed表引擎的创建模板:
用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。 处理步骤 给VPC所在的企业项目添加VPC只读权限后问题解决。
登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
MRS集群阈值转告警监控指标可分为节点信息指标与集群服务指标,相关指标及其对系统的影响、默认阈值等信息请参考监控指标参考。 方案架构 Manager的整体逻辑架构如图1所示。 图1 Manager逻辑架构 Manager由OMS和OMA组成: OMS:操作维护系统的管理节点,OMS一般有两个,互为主备。
存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。
N Resource Manager组件进行交互,以提供资源调度功能。图1为其整体系统图。 图1 Superior Scheduler内部架构 图1中,Superior Scheduler的主要模块如下: Superior Scheduler Engine:具有丰富调度策略的高性能调度器引擎。
LTS版集群时使用该计费项。 MRS专属集群管理服务费:专属区域购买MRS集群时使用该计费项,相关操作请参见创建专属云MRS集群。 IES边缘小站MRS集群服务费:在智能边缘小站 IES可用区购买MRS集群时使用该计费项。 包年/包月、按需计费 核个数 * 节点个数 * 核规格单价 *
单击“属性+”,添加下列属性。 左边框填写属性名称“mapred.input.dir”,右边框填写属性值“/user/admin/examples/input-data/text”。 左边框填写属性名称“mapred.output.dir”,右边框填写属性值“/user/admi
单击“属性+”,添加下列属性。 左边框填写属性名称“mapred.input.dir”,右边框填写属性值“/user/admin/examples/input-data/text”。 左边框填写属性名称“mapred.output.dir”,右边框填写属性值“/user/admi
使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS 周边云服务对接类 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统
选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“查看”按钮。 图1 查看弹性伸缩策略 修改已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“编辑”按钮。 图2 编辑弹性伸缩策略
单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列,单击“修改”。 修改资源池主机。 增加主机:在界面左边主机列表,勾选指定的主机名称加入资源池。 删除主机:在界面右边主机列表,单击指定主机后的将选中的主机移出资源池。资源池中的主机列表可以为空。 单击“确定”保存。 如需删除
登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“
Hint使用 eliminate-state.left.threshold:表示左边关联次数的阈值,超过阈值后,该条数据就会过期。 eliminate-state.right.threshold:表示右边关联次数的阈值,超过阈值后,该条数据就会过期。 示例一: SELECT * FROM
a/spark_workflow”。 单击“属性+”,添加oozie使用的sharelib,左边文本框填写属性名称“oozie.action.sharelib.for.spark”,右边文本框填写属性值“spark2x”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My
txt”。然后单击“添加”。 单击右上角的配置按钮,在打开的“属性”页签配置界面中,单击“属性+”,在左边文本框中填写属性名称“oozie.launcher.mapreduce.job.hdfs-servers”,在右边文本框中填写属性值“hdfs://source_ip:source_port,hd
txt”。然后单击“添加”。 单击右上角的配置按钮,在打开的“属性”页签配置界面中,单击“属性+”,在左边文本框中填写属性名称“oozie.launcher.mapreduce.job.hdfs-servers”,在右边文本框中填写属性值“hdfs://source_ip:source_port,hd
“资源标签”:配置资源池的资源标签,包括数字、字母、下划线(_)或减号(-),长度为1~50个字符,且只能以数字或者字母开头。 “可用主机”:在界面左边主机列表,勾选指定的主机名称加入资源池。只支持选择本集群中的主机。资源池中的主机列表可以为空。 单击“确定”保存。 完成资源池创建后,用户可
a/spark_workflow”。 单击“属性+”,添加oozie使用的sharelib,左边文本框填写属性名称“oozie.action.sharelib.for.spark”,右边文本框填写属性值“spark2x”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My