检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Doris相关样例工程: 表1 Doris相关样例工程 样例工程位置 描述
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
HBase数据模型中的一个Column Family。 MemStore 一个Store包含一个MemStore,MemStore缓存客户端向Region插入的数据,当RegionServer中的MemStore大小达到配置的容量上限时,RegionServer会将MemStore中的数据flush到HDFS中。
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
1:执行错误,终止执行。 2:执行完成并且成功。 3:已取消。 默认取值: 不涉及 hive_script_path String 参数解释: Hive脚本地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by String 参数解释: 创建作业的用户ID。 约束限制:
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
准备MRS应用开发用户 操作场景 开发用户用于运行样例工程。进行不同服务的组件开发时,需要赋予不同的用户权限。 操作步骤 登录FusionInsight Manager。 在FusionInsight Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
3:已取消。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 hive_script_path String 参数解释: Hive脚本地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by String 参数解释: 创建作业的用户ID。 约束限制:
该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 最多为150000字符,不能包含;|&>'<$!"\特殊字符,可为空。 说明: 用户输入带有敏感信息(如登录密码)的参数时,可通过在参数名前添加“@”的方式,为该参数值加密,以防止敏感信息被明文形式持久化。在查看作业信息时,敏感信息显示为“*”。
配置“节点类型”、“节点规格”、“节点数量”、“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。 单击“确定”。 弹性伸缩规则与资源计划叠加使用 登录MRS管理控制台。 选择“现有集群”,单击待操作的集群名称,进入集群详情页面。 选择“弹性伸缩”页签,进入配置弹性伸缩界面。 单击“新增弹
ues(保持源RDD的分区方式,这与map不同); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进
login_log(user,last_login); -- 0 07:15:30.000 假设有日志表记录用户距离上次登录的时间,那么这个结果表明平均登录时间间隔为0天7小时15分钟30秒 bool_and(boolean value) 描述:当每个输入值都是true,返回true,否则返回false。
4]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS 3.1.0”。如果请求客户端不支持自动转义,则需要将空格转义为%20,例如“MRS%203.1.0”。 约束限制: 不涉及 取值范围: 长度为[1-64]个字符。 默认取值:
strings 参数解释: 缩容节点时指定待删除节点的资源ID列表。resource_ids为空时,按照系统规则自动选择删除节点。仅支持删除状态异常的ecs节点。会针对指定节点进行强制删除。可通过查询主机接口获取resource_id。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase运行依赖到Job TableMapReduceUtil.addDependencyJars(job);
介绍开启RocksDB监测和告警和相关调优参数。 开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。