检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例”,勾选3修改配置的FE节点,选择“更多 > 重启实例”重启FE实例,其他实例依旧停止状态不做操作。 观察FE启动后状态,启动成功后,在浏览器中连接此FE,例如,访问地址为“http://192.168.67.27:29980”。 登录FE WebUI界面后,单击“Playground”,选择“defaul
内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。
JOIN table_2 ON table_1.Id = table_2.Id running_0001 Select类型的SQL语句向客户端返回的结果行数超限制。 Hive Spark HetuEngine ClickHouse 查询返回结果的行数阈值。 建议配置值:100000
监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘、带宽等资源的利用率。 监控闲置的资源,避免浪费。例如:未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。
log文件的最大大小。 128M spark.eventLog.compression.codec 用于压缩事件日志的编码解码器。默认情况下,spark提供四种编码解码器:lz4、lzf、snappy和zstd。如果没有给出,将使用spark.io.compression.codec。 无 spark
log文件的最大大小。 128M spark.eventLog.compression.codec 用于压缩事件日志的编码解码器。默认情况下,spark提供四种编码解码器:lz4、lzf、snappy和zstd。如果没有给出,将使用spark.io.compression.codec。 无 spark
内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。
23:59:59。 变更配置后对计费的影响 当前包年/包月MRS集群资源的规格不满足您的业务需要时,您可以在MRS控制台发起变更规格操作,MRS提供如下几种变更配置的方式: 扩容:手动扩容Core或Task节点,请参见扩容集群;扩容数据盘,请参见扩容数据盘。 升级规格:升级Master
界面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > MetaStore(角色) > 自定义”,添加“hive-ext.skip.grant.partition”参数,值为“true”。添加该参数后在库授权时会跳过分区扫描。需要重启Metastore实例生效。 相关概念
module.Krb5LoginModule required useKeyTab=true keyTab="user.keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; te
jdbcserver-audit.log ranger-audit.log JDBCServer2x审计日志。 日志级别 Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
jdbcserver-audit.log ranger-audit.log JDBCServer2x审计日志。 日志级别 Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。
初始状态下,任务1发送给队列A,此任务需要75%的集群资源。之后任务2发送到了队列B,此任务需要50%的集群资源。 任务1将会使用队列A提供的25%的集群资源,并从队列B获取的50%的集群资源。队列B保留25%的集群资源。 启用抢占任务特性,则任务1使用的资源将会被抢占。队列B
opengauss.jdbc.Driver JDBC连接字符串 JDBC连接字符串,格式为: jdbc:opengauss://数据库访问地址:数据库访问端口号/数据库名称 jdbc:opengauss://10.10.10.10:15400/test 用户名 连接数据库使用的用户名。
MRS集群互信概述 功能介绍 默认情况下,安全模式下的大数据集群用户只能访问本集群中的资源,无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差
IE 10&IE 11浏览器无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因
使用IE浏览器配置Loader作业时无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。
段和“磁盘名”字段的值,获取该告警产生的故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行4。 否,执行7。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,
使用CDM服务迁移Hive数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hive集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 使用华为云CDM服务“场景迁移功能”可以一键式便捷地完成Hive数据的迁移。 本章节以通过华为云CDM服务