检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图标区域右上角下拉菜单,选择“定制 > 其它”,勾选“Broker上用户连接数使用率”,“Broker上用户最大连接数状况”和“Broker上
Manager。 选择“审计 > 配置”。 单击“审计日志转储”右侧的开关。 “审计日志转储”默认为不启用,开关显示为表示启用。 根据表1填写转储参数。 图1 转储参数 表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。
Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc.java中getProperties()方法中proPath的路径。 图2 ClickHouseFunc.java路径替换
ClickHouseServer(角色) > 引擎”配置界面,在自定义配置“clickhouse-to-hdfs-customize”中添加4.b获取的参数值,如下图所示: 保存并重启ClickHouse服务。 以客户端安装用户,登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client
ooKeeper服务。 修改MRS集群系统域名 登录FusionInsight Manager。 选择“系统 > 权限 > 域和互信”。 图1 域和互信 修改相关参数。 表2 相关参数 参数 示例 参数说明 本端域 MRSTEST.COM 填写本系统规划好的域名。 密码后缀 Admin@123
已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整,可单击对应规则所在“操作”列的“修改”,验证用户密码后可修改规则相关参数。 图1 查看SQL防御规则 MRS SQL防御规则 表1 MRS SQL防御规则 规则ID 规则描述 规则适用引擎 规则变量参数 SQL语句示例
在Presto客户端中执行查询语句select * from hive.default.u_user; 查询alluxio上创建表。 图1 Presto查询alluxio上创建的表 父主题: 使用Alluxio
', '{replica}') partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换Kafka引擎中的数据并将其放入创建的ClickHouse表中。 create materialized view consumer3
表3 MAXCOLUMNS 可选参数名称 默认值 最大值 MAXCOLUMNS 2000 20000 表4 MAXCOLUMNS可选参数的行为图 MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定 5 2000 在加载项中未指定 6000 6000
在“remote_connect_hdfs_config_file”参数单击“上传文件”,选择5中准备的“hdfs-site.xml”文件上传。 图1 配置CLickHouse数据备份参数 单击“保存”,确认提示信息,单击“确定”保存配置。保存完成后,单击“完成”。 选择“集群 > 服务
包率超过阈值”的检测。 登录MRS集群详情页面,选择“告警管理”。 搜索“12045”告警,将未自动清除的该告警全部手动清除,处理完毕。 图1 告警管理 “网络读包丢包率超过阈值”的告警ID是12045。 检查网卡是否配置了主备bond模式。 使用PuTTY工具,以omm用户登录告警所在节点,执行ls
Admin权限,用来控制UDF包的上传。 通过Ranger对Spark SQL进行权限控制时,不支持empower语法。 开启Ranger鉴权后,对视图操作时,默认需要具备相关表的权限,如果需要对视图进行独立鉴权,不依赖相关表的权限,需要将参数spark.ranger.plugin.viewaccesscontrol
功能不能满足高性能标准频繁查询的要求。 这就是HBase HIndex产生的背景。如图1所示,HBase HIndex为HBase提供了能够根据特定的列值进行索引的能力,使得查询会变得更快。 图1 HBase HIndex 索引数据不支持滚动升级。 复合索引:用户必须将所有参与复
SQL进行权限控制时,不支持empower语法。 Ranger策略不支持本地路径以及HDFS上带空格的路径。 开启Ranger鉴权后,对视图操作时,默认需要具备相关表的权限,如果需要对视图进行独立鉴权,不依赖相关表的权限,需要将参数spark.ranger.plugin.viewaccesscontrol
jar”结尾,sql和jar不区分大小写。 默认取值: 不涉及 arguments 否 String 参数解释: 程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 约束限制: 不涉及 取值范围: 最多为150000字符,不能包含;|&>'<$特殊字符,可为空。 默认取值:
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看
1/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Make_a_Directory 单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看
务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1 下载客户端配置文件 查询并登录主Master节点。 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户:
示例中各参数介绍请参考表1。 使用spark datasource接口更新Mor表,Upsert写入小数据量时可能触发更新数据的小文件合并,使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时,insert中的数据和update中的数据会被合在一起和base文
jobs(GET) jobs/:jobid(GET) jobs/:jobid(DELETE) Hive授权说明 Hive授权(数据库、表或者视图)推荐通过Manager授权界面进行授权,不推荐使用命令行授权,除了“alter databases databases_name set