检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
各服务的部署原则如MRS集群部署方案说明所示。 A依赖于B(服务级):若集群中部署A服务,需要提前部署B服务,B为A提供基础能力。 A关联于B(服务级):A服务与B服务在业务进行中会产生数据交互,不存在部署上的依赖关系。 A与B共机部署(角色级):若集群中部署A角色,需要同时部署B角色,且A与B需要部署在相同的节点上。
如果源表生成空记录,则UPDATE操作将在不更新表的情况下完成。 如果源表的行与目标表中任何已有的行不对应,则UPDATE操作将完成,不更新表。 具有二级索引的表不支持UPDATE命令。 在子查询中,如果源表和目标表相同,则UPDATE操作失败。 如果在UPDATE命令中使用的子查询包含聚合函数或group
如果源表生成空记录,则UPDATE操作将在不更新表的情况下完成。 如果源表的行与目标表中任何已有的行不对应,则UPDATE操作将完成,不更新表。 具有二级索引的表不支持UPDATE命令。 在子查询中,如果源表和目标表相同,则UPDATE操作失败。 如果在UPDATE命令中使用的子查询包含聚合函数或group
TezUI进程停止日志 审计日志 tezui-audit.log TezUI审计日志 日志级别 TezUI提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
TezUI进程停止日志 审计日志 tezui-audit.log TezUI审计日志 日志级别 TezUI提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
源,通常可以从外部数据源(如消息队列、数据库、文件系统、TCP连接等)读取数据,然后转换为Topology内部的数据结构Tuple,由下一级组件处理。 Bolt Topology中接受数据并执行具体处理逻辑(如过滤,统计、转换、合并、结果持久化等)的组件。 Worker 是Top
参考集群内ClickHouseServer节点间数据迁移使用迁移工具时产生的错误日志。 日志级别 ClickHouse提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
sharelib上传操作日志 审计日志 oozie-audit.log 审计日志 日志级别 Oozie中提供了如表2所示的日志级别。 日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
各个分区的数据量是会有波动的,分区下桶的个数设计一般会按照最大分区数据量计算,这样会出现越细粒度的分区,桶的个数会冗余越多。例如: 采用天级分区,平均的日增数据量是3GB,最多一天的日志是8GB,这个会采用Bucket桶数= 8GB/2GB = 4 来创建表;每天的更新数据占比较
sharelib上传操作日志 审计日志 oozie-audit.log 审计日志 日志级别 Oozie中提供了如表2所示的日志级别。 日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
一行数据的前36个字节作为这行数据的前缀索引(varchar类型的列只能匹配20个字节,并且会匹配不足36个字节截断前缀索引) 。 超过亿级别的数据,如果有模糊匹配或者等值/in条件,可以使用倒排索引(Doris 2.x版本开始支持)或者Bloomfilter。如果是低基数列的正
balance审计日志 access_http.log 服务审计日志 日志级别 JobGateway提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
通过资源组可以实现计算实例内的资源管理。对不同用户、不同查询分配不同的资源组,可以起到资源隔离的作用,避免单个用户或查询独占计算实例的资源,也能通过资源组之间的权重优先级配置保障重要任务优先执行。典型资源组使用场景如表1所示。 表1 典型资源组使用场景 典型场景 解决方案 随着使用计算实例的业务团队的增加,当
COW表 流式写 高 低 流式读 高 低 批量写 高 低 批量读 低 高 实时入湖,表模型采用MOR表。 实时入湖一般的性能要求都在分钟内或者分钟级,结合Hudi两种表模型的对比,因此在实时入湖场景中需要选择MOR表模型。 Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时
dbservice_audit.log dbservice操作审计日志(例如:备份恢复操作) 日志级别 DBService中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
dbservice_audit.log dbservice操作审计日志(例如:备份恢复操作) 日志级别 DBService中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力。 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 算子层次 一个算子、数据源和sink的并行度
codec”项。当map的输出数据大,减少网络压力,使用压缩传输中间数据。 setPriority(JobPriority priority) 指定MapReduce作业的优先级,共有5个优先级别,VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW,默认级别为NORMAL。也可以在“mapred-site
MR操作审计日志。 SecurityAuth.audit MR安全审计日志。 日志级别 MapReduce中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
MR操作审计日志。 SecurityAuth.audit MR安全审计日志。 日志级别 MapReduce中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。