检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保存。 (若安装了HBase,则配置)编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > HBase > HBase Scope > global > hbase”,勾选“hbase:meta”的“执行”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称
x之前的版本集群执行以下操作: 用户在MRS控制台上,选择“租户管理 > 资源分布策略”。 参数说明以default为例,其他队列的配置类似,单击“修改”编辑。 表1 参数说明 配置参数 说明 默认值 资源容量 队列的资源容量(百分比)。当系统非常繁忙时,应保证每个队列的容量得到满足,而如果每个
配置项中使用宏定义 用户在创建或者编辑Loader作业时,在配置参数时可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏dataform
Loader算子配置项中使用宏定义 用户在创建或者编辑Loader作业时,在配置参数时可以使用宏,在执行作业任务时会自动替换为宏对应的值。 宏定义只在该作业范围内生效。 宏定义支持随作业导入导出,如果作业中有使用宏定义,则导出的作业包括宏定义。导入作业时默认也导入宏定义。 时间宏
节点,并从2开始执行。 如果集群内节点与集群外节点时间不同步,请登录集群外节点,并从1开始执行。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。 server master1_ip prefer
IC)) .withTupleToKafkaMapper( new FieldNameBasedTupleToKafkaMapper("word", "count")); kafkaBolt.withProducerProperties(getKafkaProducerProps());
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS
IC)) .withTupleToKafkaMapper( new FieldNameBasedTupleToKafkaMapper("word", "count")); kafkaBolt.withProducerProperties(getKafkaProducerProps());
builder.setBolt("count", bolt, 1).fieldsGrouping("split", new Fields("word")); Config conf = new Config(); //命令行提交拓扑
告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE节点使用的内存比率 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 使用
告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 > FE节点堆内存的使用率 (FE)”。 单击“平滑次数”后的编辑按钮,根据实际使用情况,修改平滑次数配置项,单击“确定”。 单击“操作”列的“修改”,根据实际使用情况,更改告警阈值,单击“确定”。 在FusionInsight
setBolt("count", new WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return builder; } 如果拓扑开启了ack,推荐acker的数量不大于所设置的worker数量。
setBolt("count", new WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return builder; } 父主题: 开发Storm应用
setBolt("count", new WordCountBolt(), 12).fieldsGrouping("split", new Fields("word")); return builder; } 如果拓扑开启了ack,推荐acker的数量不大于所设置的worker数量。
通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例 数据迁移类 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使
Kafka作为一个消息发布-订阅系统,为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息,并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示: 图1 与其他组件关系 父主题: Kafka
在弹出页面中查看“数据连接ID”。 在MRS控制台,单击“数据连接”。 在数据连接列表中根据集群所关联的数据连接ID查找对应数据连接。 在对应数据连接的“操作”列单击“编辑”,查看该数据连接所连接的RDS实例及数据库。 父主题: 组件配置类
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用
在HMaster Web UI中显示处于“Dead Region Servers”状态的RegionServer什么时候会被清除掉? 回答 当一个在线的RegionServer突然运行停止,会在HMaster Web UI中显示处于“Dead Region Servers”状态。当停止运