检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持变更计费模式的MRS计费项 计费项 变更说明 相关文档 MRS服务管理费用 变更MRS集群的计费模式会同时变更MRS服务管理的计费模式。 按需转包年/包月 弹性云服务器 变更MRS集群的计费模式会同时变更集群所包含的弹性云服务器的计费模式。 云硬盘 变更MRS集群的计费模式会同时变
单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 public 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存在,配置要查询的SQL语句,使Loader可通过SQL语句查询结果并作为导
的业务IP和RPC端口,在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。修改后参数值例如为“10.1.1.1:8020”和“10.1.1.2:8020”。 “haclusterX.remotenn1”和“haclusterX
park作业加工生成通用的报表数据(明细宽表),批量导入到ClickHouse。 ClickHouse暂不支持对接Kafka普通模式和HDFS安全模式。 父主题: ClickHouse
1_20230322”补丁。 否,检查结束。 使用root用户卸载补丁。 禁止主备倒换。 卸载补丁过程会重启Controller和Tomcat,可能会引起HA主备倒换,安装前需要禁止主备倒换,主备倒换禁止有设置超时时间10分钟,超过该时间后会自动取消禁止主备倒换: su - omm -c "/opt/Big
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。 大集群下会导致管理节点性能有所下降,建议集群不超过200节点时开启该功能。 前提条件 已确认主备管理节点IP。 配置Controller与Agent间数据传输加密
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
在“/block_numbers”目录下自动创建一个和分区名称一样的znode的问题。 解决调用MRS的作业管理接口API,返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积,导致磁盘被打满的问题。
生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。
ka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入kafka-clients-*.jar,该jar包可在client目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。
包年/包月是一种先付费再使用的计费模式,适用于对资源需求稳定且希望降低成本的用户。本文将介绍包年/包月MRS集群资源的计费规则。 适用场景 包年/包月计费模式需要用户预先支付一定时长的费用,适用于长期、稳定的业务需求。 以下是一些适用于包年/包月计费模式的业务场景: 用户基于业务需求可预估资源使用周期。
同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载pr
ors中。 无 HDFS的二次开发过程中,可以获取DFSColocationAdmin和DFSColocationClient实例,进行从location创建group、删除group、写文件和删除文件的操作。 使用Colocation功能,用户指定了DataNode,会造成某些
本文将以从Oracle导入数据到HBase的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行Loader作业。 交互模式示例 使用安装客户端的用户登录Loader客户端所在节点。
生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。
HDFS包含主、备NameNode和多个DataNode,如图1所示。 HDFS是一个Master/Slave的架构,在Master上运行NameNode,而在每一个Slave上运行DataNode,ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都
单击“下一步”,进入“输入设置”界面,设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在,数据库模式名。 public 表名 “表方式”模式下存在,数据库表名。 test SQL语句 “SQL方式”模式下存在,配置要查询的SQL语句,使Loader可通过SQL语句查询结果并作为导