检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节只适用于MRS产品Storm与Kafka组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认华为MRS产品Storm和Kafka组件已经安装,并正常运行。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\storm-examples”目录下的样例工程文件夹s
参数解释: SQL查询语句的最终结果归档路径。只有select的语句才会在将SQL的执行结果转储到result_location中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 content Array<Array<String>> 参数解释: SQL的执行结果。只有非s
Manager 支持安装root权限的补丁。 解决的问题 不涉及 安装完成后必须的手动操作 请参考安装完成后必须的手动操作。 补丁兼容关系 MRS 3.1.5.0.2补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 MRS 3.1.5.0
Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统,从而实现了对计算和存储的分离。 商用 Alluxio简介 3 MRS支持Tez组件 Tez是Apache最新的支持DAG作业的开源计算框架
0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
1.0.9补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
确认IDEA自动识别的依赖库以及建议的模块结构,默认即可,单击“Next”。 确认工程所用JDK,然后单击“Next”。 导入结束,单击“Finish”,IDEA主页显示导入的样例工程。 图17 导入结束 图18 已导入工程 导入样例工程依赖的Jar包。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后,
图4 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图6 选择JDK目录
该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库,将下载下来的数据库将传入Linux客户端(如"/opt"),并解压。 在Derby的安装目录下,进入bin目录,输入如下命令:
jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 使用Flink Jar提交SQL作业程序 FlinkServer REST API程序 flink-dist_*.jar flink-table_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。
0.11补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
际数据连接的类型为xxx! RDS实例虚拟私有云的ID xxx与集群的虚拟私有云ID xxx不一致! RDS实例子网的ID xxx与集群的子网ID xxx不一致! RDS实例的安全组ID xxx与集群的安全组ID xxx不一致! 集群已经存在相同位置的数据连接,xxx! 数据连接已经被其他集群使用(xxx)
beros认证的集群中提交作业的内置用户名为omm。 hbase shell在开启Kerberos认证的集群提交作业的内置用户名为hbase,在未开启Kerberos认证的集群中提交作业的内置用户名为omm。 Presto在开启Kerberos认证的集群提交作业的内置用户名为om
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为“-1”(配置方式和其他Producer配置参数的配置方式一致),否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
“cooldown_ttl”值为“1d”表示新导入的数据将在一天后开始冷却,并且冷却后的冷数据会存放到2创建Resource时配置的OBS对应的路径下。 通过时间节点设置数据冷却策略: 除了设置TTL以外,在Policy中也支持设置冷却的时间点: CREATE STORAGE POLICY
JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用
解决OMS频繁主备倒换的问题。 解决查看指定时间段内主机资源概况,监控数据为空,查看失败的问题。 解决磁盘监控指标计算不正确的问题。 大数据组件 解决Yarn的ResourceManager频繁主备倒换的问题 解决Yarn的NodeManager健康检查太敏感的问题 解决Yarn健康
S所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。 该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 core_node_size 否 String 参数解释: Core节点的实例规格,
er的服务性能。可通过如下方法确认单个备份或恢复任务的znode数量: 单个备份或恢复任务的znode数量要少于操作系统的文件句柄限制。查看句柄限制的方式如下: 使用shell命令输入:cat /proc/sys/fs/file-max,用于查看系统级的最大限制。 使用shell命令输入:ulimit
否 String 参数解释: 集群安全组的ID。 当该ID为空时MRS后台会自动创建安全组,自动创建的安全组名称以mrs_{cluster_name}开头。 当该ID不为空时,表示使用固定安全组来创建集群,传入的ID必须是当前租户中包含的安全组ID。 支持多个安全组ID,以逗号分隔。