检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
溢出导致的,即物理内存溢出导致被NodeManager kill。 解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am
Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如下图所示。 图2 doris-example待编译目录列表 编译方式有以下两种: 方法一 选择“Maven > 样例工程名称
聚合函数 聚合函数对一组值进行运算,最终获得一个单值。 除count()、count_if()、max_by()、min_by()和approx_distinct()外,其他聚合函数都忽略空值,并在没有输入行或所有值都为空时返回空值。例如sum()返回null而不是零,并且avg
Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如下图所示。 图2 doris-example待编译目录列表 编译方式有以下两种: 方法一 选择“Maven > 样例工程名称
算法将数据发送到各个分片。 该键是写分布式表保证数据均匀分布在各分片的唯一方式。 规则 不建议写分布式表。 由于分布式表写数据是异步方式,客户端SQL由Balancer路由到一个节点之后,一批写入数据会先落入写入的节点,随后根据分布式表schema定义数据分布规则,将数据异步发送
call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。 父主题: 数据管理维护
溢出导致的,即物理内存溢出导致被NodeManager kill。 解决方案: 将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am
cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
HMaster,主备倒换完成。如果后续停止服务的节点重新启动,发现Master节点已经存在,则进入Standby模式,并对Master znode创建监测事件。 当客户端访问HBase时,会首先通过ZooKeeper上的Master节点信息找到HMaster的地址,然后与Active HMaster进行连接。
浮动IP,对外提供访问功能,只在主DBServer实例上启动浮动IP,Client模块通过该IP访问Database。 Client 使用DBService组件的客户端,部署在组件实例节点上,通过Floatip连接数据库,执行元数据的增加、删除、修改等操作。 DBService与其他组件的关系 DBSe
到该节点,从而导致application因为task失败达到最大attempt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling
resourcemanager.connect.retry-interval.ms,即重试次数=连接RM的等待时间最大值/重试连接RM的时间频率。 在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait
spark.sql.cbo.joinReorder.enabled : true,默认为false,修改为true开启连接重排序。 若使用客户端提交任务,“spark.sql.cbo.enabled”、“spark.sql.cbo.joinReorder.enabled”、“spark
spark.sql.cbo.joinReorder.enabled : true,默认为false,修改为true开启连接重排序。 如果使用客户端提交任务,“spark.sql.cbo.enabled”、“spark.sql.cbo.joinReorder.enabled”、“spark
true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 父主题: 配置Spark HA增强高可用
air_backup_20220222222222'); 注意事项 命令只清理无效的parquet文件。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
此时,在物理计划中执行TableScan操作时,只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive.ma
true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 父主题: 配置Spark HA增强高可用
此时,在物理计划中执行TableScan操作时,只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive.ma
resourcemanager.connect.retry-interval.ms,即重试次数=连接RM的等待时间最大值/重试连接RM的时间频率。 在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait