检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。 父主题:
自定义集群可实现以下功能: 管控分离部署,管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署,管理角色和控制角色共同部署在Master节点中。 组件分开部署,避免资源争抢。 MRS集群部署类型说明 表1 MRS集群部署类型 常用模板 说明 节点数量范围 管控合设 管理角色和控
ClickHouse分布式表设计 建议 分布式表建表参考: CREATE TABLE default.my_table_dis ON CLUSTER default_cluster AS mybase.my_table_local ENGINE = Distributed(default_cluster
StarRocks StarRocks简介 StarRocks是一款高性能分析型数据仓库,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。 StarRocks既支持从各类实时和离线的数据源高效导入数据,也支持直接分析数据湖上各种格式的数据。
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计: 建表时尽量按照频繁使用的过滤条件字段进行分区。
CREATE TABLE LIKE 语法 CREATE TABLE [ IF NOT EXISTS] table_name ( { coulumn_name data_type [ COMMENT comment] [ WITH (property_name = expression
管理MRS集群弹性伸缩策略 MRS集群弹性伸缩策略创建完成后,用户可以在MRS管控台查看、修改、删除、开启和关闭弹性伸缩策略。 查看已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“查看”按钮。
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
11补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装,不需要重启大数据组件。 MRS 1.9.3.10补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装,不需要重启大数据组件。
通过Hue执行HiveQL 操作场景 Hue提供了Hive图形化管理功能,使用户可以通过界面的方式执行HiveQL语句、查询Hive的不同数据。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“Hive”,进入“Hive”。 “Hive”支持以下功能:
委托名称:填写委托名称,例如:agency-clickhouse-to-OBS。 委托类型:选择“普通账号”。 委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在弹出授权页面的搜索框内,搜索3新建的自定义策略,并勾选该策略,例
从Phoenix表导出数据到SFTP服务器 从Phoenix表导出数据到关系型数据库 从Hive中导出数据到SFTP服务器 从Hive中导出数据到关系数据库 从同一集群内HBase导出数据到HDFS/OBS MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数:
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM
ClickHouse调优思路 ClickHouse的总体性能调优思路为性能瓶颈点分析、关键参数调整以及SQL调优。在调优过程中,需要综合系统资源、吞吐量、集群负载等各种因素来分析,定位性能问题,设定调优目标,调优达到客户所需目标即可。 ClickHouse调优人员需要系统软件架构
ClickHouse表引擎适用场景说明 ClickHouse中最强大的表引擎当属MergeTree(合并树)引擎及该系列其他引擎,根据业务场景选择合适的引擎。 表引擎选择建议 自助报表分析、行为数据分析,在不涉及重复数据聚合的情况下,建议使用ReplicatedMergeTree表引擎。
将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下,将另一集群的配置文件放入“../src/main/resources/hadoop1Domain”目录下。 其中,配置文件为准备运行环境配置文件获取的“core-site
从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。 从FTP服务器导入数据到Hive表。 从同一集群内HDFS/OBS导入数据到HBase。 MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数:
查看Region分布是否均衡。 是,执行14。 否,执行15。 观察该告警是否清除。 是,处理完毕。 否,执行15。 收集故障信息 在主备群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HBase”。 单击右上
在Hue WebUI使用HiveQL编辑器 操作场景 用户需要使用图形化界面在集群中执行HiveQL语句时,可以通过Hue完成任务。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“Hive”,进入“Hive”。 “Hive”支持以下功能:
> Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 需要提前在MOTService中创建版本管控表并在表中增加特定字段用于版本管控,如果存在则不需要创建。所有MOT类型(全量或增量)作业共用一张表,参考命令如下: CREATE TABLE T_RTD_TBL_CUR_VER_INFO