检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例,而不是三个状态实例,以减少状态访问和状态大小,在某些工作负载下可以获得显著的性能提升。 拆分distinct聚合优化聚合中数据倾斜 通过两阶段聚合能消除常规的数据倾斜,但是
份保存,例如root用户。 查看任一部署Flume角色节点的“业务IP”。 登录FusionInsight Manager页面,具体请参见访问集群Manager,选择“集群 > 服务 > Flume > 实例”。查看任一部署Flume角色节点的“业务IP”。 如果集群详情页面没有
自动弹性伸缩 特性简介 随着企业的数据越来越多,越来越多的企业选择使用Spark/Hive等技术来进行分析,由于数据量大,任务处理繁重,资源消耗较高,因此使用成本也越来越高。当前并不是每个企业在每时每刻在进行分析,而一般是在一天的一个时间段内进行分析汇总,因此MRS提供了弹性伸缩
当同时使用-update选项时,即使被拷贝文件的内容没有被更新,它的状态信息也会被更新。 r:副本数,b:块大小,u:所属用户,g:所属用户组,p:许可,c:校验和类型,a:访问控制,t:时间戳,q:Quota信息 -i 拷贝过程中忽略失败。 -log <logdir> 指定日志路径。 -v 指定日志中的额外信息。
点后才能使用客户端。 操作步骤 MRS 3.x以前版本集群执行以下操作: 下载客户端配置文件。 登录MRS Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确
当同时使用-update选项时,即使被拷贝文件的内容没有被更新,它的状态信息也会被更新。 r:副本数,b:块大小,u:所属用户,g:所属用户组,p:许可,c:校验和类型,a:访问控制,t:时间戳,q:Quota信息 -i 拷贝过程中忽略失败。 -log <logdir> 指定日志路径。 -v 指定日志中的额外信息。
colum_a='value1'; 则估算查询的最终条数为1000000 * 1/50 = 20000条,选择率为2%。 以下以TPC-DS Q3为例来介绍CBO是如何调整Join顺序的。 select dt.d_year, item.i_brand_id brand_id,
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
建的用户,访问备集群的HBase容灾数据。 主集群HBase源数据表修改权限时,如果备集群需要正常读取数据,请修改备集群角色的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。
CDL CDL简介 CDL(全称Change Data Loader)是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件,并推送到kafka,再由sink connector推送到大数据生态系统中。
独占集群中的资源,MRS集群管理员可为之增加多重约束(比如单个应用程序同时运行的任务数等)。 安全保证。每个队列有严格的ACL列表规定它的访问用户,每个用户可指定哪些用户允许查看自己应用程序的运行状态或者控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwe
-MEASURES [可选]:指定匹配成功的事件的属性值。 -ONE ROW PER MATCH | ALL ROWS PER MATCH [可选]:定义如何输出结果。ONE ROW PER MATCH表示每次匹配只输出一行,ALL ROWS PER MATCH表示每次匹配的每一个事件输出一行。
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwe
ols/encrypt';其中<password>要与签发证书时使用的密码一致,x.x.x.x为集群Manager的浮动IP。 根据客户端访问“flink.keystore”和“flink.truststore”文件的路径配置。 绝对路径:执行该脚本后,在“flink-conf.yaml”文件中将“flink
作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段,系统会把待恢复的HBase表禁用,此时无法访问该表。还原阶段可能需要几分钟时间,此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。
ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 系统每30秒周期性检查MemArtsCC组件的CCWorker进程内部所有read请求的平均时延,当检查到超过限制时触发该告警。 当检测到C
通过ECS创建或查询密钥对 通过终端节点获取区域信息 参考MRS服务支持的组件获取MRS版本及对应版本支持的组件信息 接口约束 无 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/run-job-flow 表1 路径参数 参数 是否必选 参数类型 描述
HDFS应用开发建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加,不能随机添加。 只有存储在HDFS文件系统中的数据才支持append,edit.log以及数据元文件不支持Append。Append追加文件时,需要将“hdfs-site
(.carbonindexmerge)。 这增强了首次查询性能。 参考信息 建议避免对历史数据进行minor compaction,请参考如何避免对历史数据进行minor compaction? 父主题: CarbonData数据分析