检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并购买一个包含Kafka组件的MRS 3.1.0版本集群,集群未开启Kerberos认证,详情可参考创建MRS集群。 安装MRS集群客户端,具体请参考安装客户端。 步骤一:配置Kafka Eagle对接MRS参数 下载Kafka Eagle,此处以EFAK3.0.1版本为例,具体以实际为准。
cipher.list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "https:
(可选)在SQL防御中配置了自读自写拦截规则后,对于涉及动态分区场景默认情况下是按照nonstrict模式拦截的,如果需要按照分区精准拦截,可执行以下命令进行设置,参数介绍请参见设置Hive动态分区表精准拦截: set hive-ext.dynamic.partition.intercept.mode=strict;
(ExpireUDF.java:19) 为指定Jar包配置权限 登录FusionInsight Manager,访问Flink Web UI,请参考访问FlinkServer WebUI界面。 查看Jar包存储路径。 记录UDF的存储路径 单击“UDF管理”,在UDF列表查看并记录其“存储路径”。
/jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。 subtasknum 子任务的总和。
/jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id subtasknum 子任务的总和 attempt
0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1
数。 配置“基本配置”,填写数据源名称,选择数据源类型“JDBC > ClickHouse”。 配置“ClickHouse配置”,参数配置请参考表1。 表1 ClickHouse配置 参数 描述 取值样例 驱动 默认为“clickhouse”。 clickhouse JDBC URL
Topic1中的消息,同时会广播到Consumer Group1与Consumer Group2中。 关于Kafka架构和详细原理介绍,请参见:https://kafka.apache.org/24/documentation.html。 Kafka原理 消息可靠性 Kafka
登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称,例如“doris-obs”。 企业项目需要与MRS集群保持一致,其他参数请根据需要填写。 单击“立即创建”。 在并行文件系统列表中单击新建的并行文件系统名称,单击“概览”,查看并记录“Endpoint”信息。 用户
集群基本信息 参数 说明 集群名称 - 集群版本 MRS、CDM等集群的版本信息。 节点数及规格 调研现有集群节点数和节点规格。 如果集群硬件异构,请收集多种规格和对应节点数,参见表2。 例如: 2台32U64G机器部署NameNode + ResourceManager 2台32U64G机器部署HiveServer
/jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id。 vertexid 流图的顶点id。 subtasknum 子任务的总和。
询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。
serviceDiscoveryMode=zooKeeper&zooKeeperNamespace=hsbroker 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 zkNode_IP
询。 统计结果写入kafka。 应用中监控流处理任务的状态。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user
单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台同步配置 同步集群配置: 登录MRS管理控制台,单击待操作的集群名称。 在集群详情页,单击页面右上角“配置
s WebUI界面连接数据库。 执行以下命令创建角色: CREATE ROLE dorisrole; 执行以下命令给角色授权,具体权限介绍请参见Doris用户权限说明。例如,授予角色ADMIN_PRIV权限: GRANT ADMIN_PRIV ON *.*.* TO ROLE 'dorisrole';
ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager界面,选择“集群 > 服务 > Doris > 配置 > 全部配置”,进入Doris服务的全部配置页面。
XXX”或“Client scan caching XXX is too large for table XXX”,若存在,说明存在不合理请求,请检查对应请求,减小每次请求的数据量(Put/Delete调小批次请求数据量,Scan调小Caching值);如果业务侧业务暂时无法优化,可以
关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 获取一个拥有管理员权限的用户,例如“admin”。 请参考创建Hive角色,在Manager界面创建一个角色,例如“hrole”,不需要设置Hive权限、设置提交HQL命令到Yarn执行的权限。