检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群数据库用户密码 修改OMS数据库管理员密码 修改OMS数据库访问用户密码 修改MRS集群组件数据库用户密码 重置MRS集群组件数据库用户密码 重置DBService数据库omm用户密码 修改DBService数据库compdbuser用户密码 父主题: MRS集群安全配置
支持界面删除主题(仅0.8.2版本并设置参数“delete.topic.enable = true”的集群支持) 支持批量生成多个主题的分区分配,并可选择要使用的分区方案 支持批量运行重新分配多个主题的分区 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询
同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
下拉列表包含“用户组”中添加的全部组。 由于一个用户可以属于多个组(包括主组和附属组,主组只有一个,附属组可以有多个),设置用户的主组是为便于维护以及遵循hadoop社区的权限机制。此外用户的主组和其他组在权限控制方面,作用一致。 根据业务实际需要,在“角色”,单击“添加”,为单个用户绑定角色。 创建用户时添加角色可细化用户的权限。
处理步骤 登录Zookeeper客户端所在节点。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证集群跳过此步骤) 执行以下命令修改文件。 vim 客户端安装目录/zookeeper/conf/zoo.cfg 调大文
Linux:“JDK安装目录/jre/lib/security” Windows:“JDK安装目录\jre\lib\security” 请访问Open JDK开源社区获取JCE文件。 如果客户端程序需要支持SM4加密算法,则需要更新Jar包: 在“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下获取“SMS4JA
用户自定义的密码。 如果集群开启Kerberos认证,执行如下命令进入客户端安装目录并设置环境变量,再认证用户并按照提示输入密码,该密码请向管理员获取。 cd 客户端安装目录 source bigdata_env kinit hdfs 如果集群未开启Kerberos认证,执行如下
在通常的join/in/not in时候,需要在前面添加Global关键字,避免查询放大问题。 数据查询建议 建议查询指定分区 通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能,实际经验:700个分区的千列大表,需要查询一个分区中有7000万数据,其他699个分区中无数据,虽然只有一个
use”,“主机”中选择主机节点或默认所有主机节点,通过“下载”收集ClickHouse对应的日志文件。 父主题: ClickHouse数据库运维
根据界面提示,在第一个输入框填入ClickHouse表所在的逻辑集群和数据库,需要与当前存在的逻辑集群和数据库完全匹配,例如“/default_cluster/database”。 在第二个框输入正则表达式,支持标准正则表达式。例如要筛选数据库中包含test关键字的所有的表,输入“test.*”。
[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 父主题: ClickHouse数据库运维
任务或者HDFS操作。 图1 Hive结构 Metastore:对表,列和Partition等的元数据进行读写及更新操作,其下层为关系型数据库。 Driver:管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler:编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。
、下划线或#组成,且最大长度为52个字符,否则将导致策略添加失败。 启用Kerberos认证的集群需要基于Ranger赋权,未启用Kerberos认证的集群默认拥有OBS权限,无需额外配置。 如果当前集群未启用Kerberos认证,访问OBS的用户,需要属于supergroup组。
步骤1:创建MRS集群 创建并购买一个包含有Flink组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 在本示例中,由于要分析处理OBS文件系统中的数据,因此在集群的高级配置参数中要为MRS集群绑定IAM权限
cache-size 8MB 256MB:开启SPINNING_DISK_OPTIMIZED_HIGH_MEM Cache缓存大小 推荐8MB-1GB state.backend.rocksdb.block.blocksize 4KB 128KB:开启SPINNING_DISK_OPTIMIZED_HIGH_MEM
QL语句,单独调优。如果SQL也无调优余地,集群资源达到瓶颈,需要通过扩容来提升查询性能,达到调优目标。 父主题: ClickHouse数据库调优
参考2登录ClickHouse节点(4获取的节点IP),执行以下语句,其中database_name和table_name为分布式表对应本地表的库名和表名, select name,type from system.columns where database='database_name' and table='table_name'
进入集群信息页面。 在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 集群开启Kerberos认证时需执行该步骤,若集群未开启Kerberos认证,无需执行本步骤。 IAM用户同步完成后,请等待5分钟,再进行提交作业,更多IAM用户同步说明请参考IAM用户同步MRS集群说明。
步骤1:创建MRS集群 创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。 由于F
HBase存储的核心,一个Store拥有一个MemStore和多个StoreFile,一个Store对应一个分区中表的列族。 索引 一种数据结构,提高了对数据库表中的数据检索效率。可以使用一个数据库表中的一列或多列,提供了快速随机查找和有效访问有序记录的基础。 协处理器 HBase提供的在RegionServer执