检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
切换分支为与MRS集群相匹配的版本分支,例如“mrs-3.2.0.1”,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 图1 MRS样例工程代码下载 MRS LTS版本对应样例工程下载地址: MRS 3.3.0-LTS版本:https://github.com/
个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。 在Linux环境中添加样例工程运行所需的classpath,例如 export
个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。 在Linux环境中添加样例工程运行所需的classpath,例如 export
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
示异常的问题。 解决Manager页面内核空间占用CPU百分比数值错误问题。 解决Manager页面主机线管监控页面切换到分布图后在切换时间段查看图标,图标的默认区间取值错误的问题。 解决主OMS的Gaussdb的进程占用内存较大的问题。 解决Manager组件自定义配置完后添加实例自定义配置没有显示的问题。
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
对接OpenLDAP服务器创建ClickHouse用户 登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 参考下图图1,选择“ClickHouseServer(角色)> 自定义”,在“clickhouse-config-customize”配置项中添加如下OpenLDAP配置参数。
对接OpenLDAP服务器创建ClickHouse用户 登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 参考下图图1,选择“ClickHouseServer(角色)> 自定义”,在“clickhouse-config-customize”配置项中添加如下OpenLDAP配置参数。
登录Manager首页,选择“集群 > 服务 > HDFS > 实例”,单击任意实例名称,在“概览”界面的“配置文件”区域单击配置文件“hdfs-site.xml”。 从hdfs-site.xml中获取以下配置的参数值,例如HDFS配置了两个nameservice,一个是hacluster,一个是ns1,则需要获取以下配置的参数值:
Execution特性前,Spark SQL根据RBO和CBO的优化结果创建执行计划,此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图,与其他大表join时,即便视图的结果集很小,也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后,Spark
Execution特性前,Spark SQL根据RBO和CBO的优化结果创建执行计划,此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图,与其他大表join时,即便视图的结果集很小,也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后,Spark
上述结果列表指出,正如预期的那样,id为1和3的文本非常相似。 Data sketches(数据草图)可以序列化为varbinary,也可以从varbinary反序列化。因此可以用varbinary来存储数据草图。 函数 make_set_digest(x)→setdigest 描述:将所有的输入值X,组合到setdigest中。
CLI:使用--client-tags选项。 JDBC:在Connection实例上设置ClientTags client info属性。 配置示例 图1 配置示例 如图1所示: 对于global资源组而言,最多可同时运行100个查询,有1000查询处于排队状态,在它下面有三个子资源组:data_definition、adhoc
wxyzABCDEFGHIJKLMNOPQRSTUVWZYX0987654321" // source算子的逻辑,即:每秒钟向流图中注入10000个元组 override def run(sourceContext: SourceContext[SEvent]):
uvwxyzABCDEFGHIJKLMNOPQRSTUVWZYX0987654321" // source算子的逻辑,即:每秒钟向流图中注入10000个元组 override def run(sourceContext: SourceContext[SEvent]): Unit
Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample' compile output”,右键选择“Put
添加MRS租户资源池 在MRS集群中,用户从逻辑上对YARN集群的节点进行分区,使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
隔离MRS集群节点 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。
作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller,重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群,集群重启时无法访问。 Manager数据恢复后,会丢失从备份时刻到恢复
息,包括实例所属租户名、对应实例数量、实例状态和资源总量等,实例状态信息如下: 图1 计算实例状态 绿色图标:实例处于运行中或亚健康状态。 红色图标:实例故障。 灰色图标:实例已停止、待启动。 蓝色图标:实例处于其他状态,包括扩容中、缩容中、滚动重启中、创建中、启动中、安全启动中