检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
忙,影响其他业务访问数据库,并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏感,否则在数据导入过程中,可能会出现数据丢失。 不建议分区列选择类型为float或double的
本章节描述的是基于“Kafka开源自带鉴权插件”的用户权限管理。若想使用 “Ranger鉴权插件”,请参考添加Kafka的Ranger访问权限策略。 表1 Kafka默认用户组 用户组名称 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有主题的创建,删除,授权及读写权限。
启用并行数据读取功能将基于节点分布和“max-splits”参数值来确定实际的split数。 并行读取将与数据源创建多个连接,被依赖的数据源应当具备支持负载的能力。 false split-type 并行数据读取类型 NODE:基于GaussDB数据源DN节点划分并行度 PARTITION:基于表分区划分并行度
历史数据默认保存30天超期后未清理的问题。 解决调整时区为UTC后Manager页面实时监控数据为空的问题。 解决Manager页面租户资源下的全局用户策略内容不分页的问题。 Manager页面新增显示yarn on cce按钮。 解决新建集群通过专线访问Manager页面,需要手动修改Tomcat配置的问题。
T_AGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。 约束限制: 不涉及 取值范围: 不涉及 默认取值:
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
stdout:将生成的事件打印在日志中 kafka:将生成的事件发送到kafka stdout producer_partition_by 否 分区策略,用来确保相同一类的数据写入到kafka同一分区 database:使用数据库名称做分区,保证同一个数据库的事件写入到kafka同一个分区中
/opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例IP地址:ZooKeeper客户端连接端口/kafka
忙,影响其他业务访问数据库,并且导入时间长。 在有索引的多个字段中,选择字段值最离散的字段作为分区列,不离散的分区列会导致多个导入MR任务负载不均衡。 分区列的排序规则必须支持大小写敏感,否则在数据导入过程中,可能会出现数据丢失。 不建议分区列选择类型为float或double的
以上所有的操作只要拥有Hive的admin权限以及对应的HDFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。 父主题: 准备Hive应用开发环境
true:开启Join下推。 false(默认值):关闭Join下推。 false join-pushdown.strategy 用于评估Join操作是否被下推的策略。 AUTOMATIC(默认值):启用基于成本的连接下推。 EAGER:尽可能下推Join。即使表统计信息不可用,EAGER也可以下推Jo
客户端打补丁。 MRS支持运维巡检通道。 MRS服务集成StoreWorker/StoreMaster滚动重启,Manager新增滚动重启策略。 解决的问题 MRS 3.1.2-LTS.2.14修复问题列表: MRS Manager 解决备oms节点上报fms资源异常告警的问题。
T DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例,而不是三个状态实例,以减少状态访问和状态大小,在某些工作负载下可以获得显著的性能提升。 拆分distinct聚合优化聚合中数据倾斜 通过两阶段聚合能消除常规的数据倾斜,但是处理distinct聚合时
datamaps.parallel false 该配置项将会开启对所有会话所有表的datamap并行加载。该配置项通过将导入datamap到内存的工作分发给所有的executor来缩短时间,进而提升查询性能。 合并配置 carbon.numberof.preserve.segments 0
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
Kerberos认证用到的配置文件,在本地选择2获取的“krb5.conf”文件。 krb5.conf 开启数据源鉴权 是否同时使用Hive数据源的权限策略进行鉴权。 HetuEngine服务Ranger不启用时必须选“是”,Ranger启用后选“否”。 否 配置“Metastore配置”,参数配置请参考表2。
在该Master节点查询并记录。 如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。
在入方向规则页签,单击“添加规则”,添加入方向规则。 优先级:优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。 策略:允许。 协议端口:基本协议/全部协议。 协议:根据实际情况选择“IPv4”或“IPv6”。 “源地址”为“安全组”且是对端集群的安全组。
将该配置修改为“true”并重启所有ClickHouse服务实例即可。 说明: 以上所使用的端口为开源端口,如果在创建集群时使用了定制端口策略,则请参考常见问题进行替换。 可执行clickhouse -h命令,查看ClickHouse组件命令帮助。 --user 连接用户名。 如
不涉及 role_deploy_meta Array of RoleDeployMeta objects 参数解释: 版本组件实例角色部署策略。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表4 VersionComponent 参数 参数类型 描述 other Map<String