检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群,请及时清理资源以免产生额外扣费。 准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。 已准备具有创建
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
导入任务指定的过滤条件。Stream Load支持对原始数据指定where语句进行过滤,被过滤的数据将不会被导入,也不会参与filter ratio的计算,但会被计入num_rows_unselected。 Partitions 待导入表的Partition信息,如果待导入数据不属于指定的P
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor
1 spark.shuffle.service.enabled NodeManager中一个长期运行的辅助服务,用于提升Shuffle计算性能。 fasle spark.sql.adaptive.enabled 是否开启自适应执行框架。 false spark.executor
准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表2 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4(SUSE 12.4)
果date1比date2晚,结果就是正数,那么结果就是负数;如果两个日期的日数相同,那么结果就是整数,否则按照每月31天以及时分秒的差异来计算小数部分。date1和date2的类型可以是date,timestamp,也可以是“yyyy-MM-dd”或“yyyy-MM-dd HH:mm:ss”格式的字符串
获取AK/SK和Endpoint信息 使用AK/SK方式对接OBS前,需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的
取模转换:取模运算步骤,配置已生成的字段通过取模,转换出新的字段。 剪切字符串:字符串截取步骤,配置已生成的字段通过指定位置截取,转换出新的字段。 EL操作转换:计算器,可以对字段值进行运算,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换:字
carbon.sort.size 500000 内存排序的数据大小。 carbon.enableXXHash true 用于hashkey计算的hashmap算法。 carbon.number.of.cores.block.sort 7 数据加载时块排序所使用的核数。 carbon
carbon.sort.size 500000 内存排序的数据大小。 carbon.enableXXHash true 用于hashkey计算的hashmap算法。 carbon.number.of.cores.block.sort 7 数据加载时块排序所使用的核数。 carbon
请根据业务需要规划集群节点的磁盘,如果需要存储大量业务数据,请及时增加云硬盘数量或存储空间,以防止存储空间不足影响节点正常运行。 MRS集群扩容(包含存储能力和计算能力)可通过增加Core节点或者Task节点的方式实现。 密码要求 MRS不会保存您设置的登录Master节点的初始密码,请您设置并保管好
取模转换:取模运算步骤,配置已生成的字段通过取模,转换出新的字段。 剪切字符串:字符串截取步骤,配置已生成的字段通过指定位置截取,转换出新的字段。 EL操作转换:计算器,可以对字段值进行运算,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换:字