检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具。同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件
级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Client安装,具体请参考集群外节点使用MRS客户端。本操作以MRS客户端安装路径为“/srv/client/”为例进行说明。
SQL诊断“,参数“qas.sql.auto.diagnosis.enabled”为“true”表示开启SQL诊断功能,可根据业务需求配置SQL诊断推荐参数。 单击“保存”,保存配置。 单击“实例”,勾选所有QAS实例,选择“更多 > 重启实例”,输入密码重启QAS所有实例使参数生效。 查看SQL诊断结果
“设置最小授权范围”根据实际情况选择授权的资源范围,单击“确定”,创建委托。 在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43010”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JDBCServ
Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43012”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的JDBCServ
Spark应用开发的流程说明 阶段 说明 参考文档 准备开发环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境
http.server.session.timeout.secs Spark:修改配置spark.session.maxAge的值 Hive:添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
客户可以有效地降低业务失败的概率,提升用户体验和业务质量。 操作步骤 先获取clickhouse-example样例代码工程。 代码获取地址:https://github.com/huaweicloud/huaweicloud-mrs-example/blob/mrs-3.1.
enable=false --config min.insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 参数配置项为服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: Kafka企业级能力增强
ClickHouse应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,ClickHouse的应用程序支持多种语言开发,推荐使用Java语言,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。 准备ClickHouse应用开发环境 准备连接集群配置文件
MapReduce应用程序开发流程 表1 MapReduce应用开发的流程说明 阶段 说明 参考文档 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用Java语言进行开发,使用IntelliJ IDEA工具,同时完成JDK、Maven等初始配置。 准备MapReduce开发环境 准备连接集群配置文件
升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 Flink样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹
协议。 ipFilter false 是否开启ip过滤。 ipFilter.rules - 定义N网络的ipFilters,多个主机或IP地址用逗号分隔。ipFilter设置为“true”时,配置规则有允许和禁止两种,配置格式如下: ipFilterRules=allow:ip:127
是,需要先给集群安装MRS_3.2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁,以支持密钥方式的root补丁特性。 软件包获取地址: 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
JobGateway手动更新服务客户端 本章节适用于MRS 3.3.1及之后版本。 操作场景 该操作指导用户在MRS集群添加多服务更新服务客户端失败时,手动更新客户端。 前提条件 Manager上已成功添加服务。 仅适用于Spark 、Hive 、Flink服务。 操作步骤 登录Manager页面,选择“集群
= b.id) WHERE b.email like '%cn'; 扩展使用 配置Hive中间过程的数据加密 指定表的格式为RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式,RCFile是Hiv
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Execute:执行权限 Select/Deselect
ClickHouse由C++语言开发,定位为DBMS,支持HTTP和Native TCP两种网络接口协议,支持JDBC、ODBC等多种驱动方式,推荐使用社区版本的clickhouse-jdbc来进行应用程序开发。 基本概念 cluster cluster(集群)在ClickHouse里