检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
add(MyAverageAggregationFunction.class) .build(); } } 打包Maven项目,获取target目录下的myfunctions-0.0.1-SNAPSHOT目录,最终项目整体结构如下图所示
property> 在Manager界面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 引擎”配置界面,在自定义配置“clickhouse-to-hdfs-customize”中添加4.b获取的参数值,如下图所示
图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc.java中getProperties()方法中proPath的路径。
图1 Kerberos原理架构 表1 Kerberos模块说明 模块 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。 Application Server 应用服务端,通常是应用客户端需要访问的应用程序。
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
设置系统环境变量,在系统变量下单击“新建”,弹出新建系统变量框,变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。
HetuEngine对接GBase数据源约束 HetuEngine支持对接GBase操作的SQL语法:SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。
图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。 升级安装失败或者重试后仍然失败,不能直接回滚,请联系运维人员。 修改配置 不涉及。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。
图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc.java中getProperties()方法中proPath的路径。
OPTIONS('MAXCOLUMNS'='400') 表3 MAXCOLUMNS 可选参数名称 默认值 最大值 MAXCOLUMNS 2000 20000 表4 MAXCOLUMNS可选参数的行为图 MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定
ReplicatedMergeTree('/clickhouse/tables/{shard}/default/kafka_dest_tbl3', '{replica}') partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换
图1 告警管理 “网络读包丢包率超过阈值”的告警ID是12045。 检查网卡是否配置了主备bond模式。 使用PuTTY工具,以omm用户登录告警所在节点,执行ls -l /proc/net/bonding命令,查看该节点是否存在“/proc/net/bonding”目录。
ReplicatedMergeTree('/clickhouse/tables/{shard}/default/kafka_dest_tbl3', '{replica}') partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换
图1 域和互信 修改相关参数。 表2 相关参数 参数 示例 参数说明 本端域 MRSTEST.COM 填写本系统规划好的域名。 密码后缀 Admin@123 “人机”用户密码重置后的用户设置密码部分,必填,默认值为Admin@123。
图1 查看SQL防御规则 MRS SQL防御规则 表1 MRS SQL防御规则 规则ID 规则描述 规则适用引擎 规则变量参数 SQL语句示例 static_0001 SQL中count(distinct)出现次数超限。
MRS 3.x及之后版本:选择“集群 > 服务”,单击服务视图中指定的服务名称,并选择“实例”页签。 MRS 2.x及之前版本:单击“服务管理”,单击服务列表中指定的服务名称,并选择“实例”页签。 勾选指定的待退服角色实例。 在“更多”选择“退服”或“入服”。
开启Ranger鉴权后,对视图操作时,默认需要具备相关表的权限,如果需要对视图进行独立鉴权,不依赖相关表的权限,需要将参数spark.ranger.plugin.viewaccesscontrol.enable设置为true。
图1 实时数据加载 操作流程 步骤1:创建MRS Flink集群并配置 步骤2:创建MRS Doris集群并配置 步骤3:准备数据 步骤4:创建Flink SQL作业 步骤5:Kafka数据通过FlinkSQL实时同步到Doris 步骤1:创建MRS Flink集群并配置 创建MRS
图2 创建委托 在创建的委托的“操作”列单击“授权”,搜索“OBS OperateAccess”策略,勾选“OBS OperateAccess”策略。 单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”。