检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该部署方式适用于100个以下的节点,可以减少成本。 Master节点数量大于等于3个,小于等于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。
请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。
使用FusionInsight Manager界面图形化的角色管理功能来管理HetuEngine数据库和表的权限,只需要设置元数据权限,系统会自动关联HDFS文件权限,减少界面操作,提高效率。
0.7 是否开启动态伸缩 若开启动态伸缩,可以在不重启实例的情况下,增加或者减少Worker数量;开启后可能会影响实例性能。多实例模式下,无法开启动态伸缩功能。开启动态伸缩参数介绍见配置HetuEngine Worker节点数量章节。
使用Manager界面图形化的角色管理功能来管理SparkSQL数据库和表的权限,只需要设置元数据权限,系统会自动关联HDFS文件权限,减少界面操作,提高效率。 SparkSQL使用场景及对应权限 用户通过SparkSQL服务创建数据库需要加入Hive组,不需要角色授权。
只有当热存储中的行数小于要查询的最小行数时,才会查询冷存储中的数据,减少了冷存储的访问提高了响应速度。
请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 MRS提供两种计费模式: 包年/包月 按需计费 选择“按需计费”时,可能需要冻结一定的保证金。详细内容,请参见计费说明。 按需计费 集群名称 集群名称不允许重复。
Red Hat-7.5-x86_64(Red Hat 7.5) CentOS CentOS-7.6版本(CentOS 7.6) 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS-7.6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间
解决DBService的数据库表占用磁盘空间监控指标不展示的问题。 解决一批次删除5个节点,删除节点事件重复上报2次的问题。 解决安装集群前上报的告警,在集群安装成功之后不能自动清除的问题。 解决节点内存不足导致diskmgt服务误踢磁盘的问题。
模式或表空间 databasename2 数据库名,根据实际情况配置。 表名 tablename2 根据实际情况配置。 图5 新建作业 单击“下一步”进入字段映射的操作页面。确认字段映射界面字段映射正确。 单击“下一步”,确认配置界面信息。
对庞大的数据集查询需要耗费大量的时间去处理,在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。
minimumRequiredSpace 524288000 缓冲区空闲空间最小值,单位:字节。 capacity 1000000 缓存在Channel中的最大Event数。 transactionCapacity 10000 每次存取的最大Event数。
请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据业务实际需求选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。
reduce(array(T), initialState S, inputFunction(S, T, S), outputFunction(S, R)) 返回从数组减少的单个值。将按顺序为数组中的每个元素调用inputFunction。
minimumRequiredSpace 524288000 缓冲区空闲空间最小值,单位:字节。 capacity 1000000 缓存在Channel中的最大Event数。 transactionCapacity 10000 每次存取的最大Event数。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。
资源计划:按时间段设置Task节点数量范围,若数据量变化存在周期性规律,则可通过资源计划在数据量变化前提前完成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者必须至少配置其中一种,也可以叠加使用。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时,确保外部数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP、FTP和HDFS/OBS导入数据时,确保外部数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。