检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待操作的集群名称 > 服务 > Yarn > 实例”。 勾选Core节点的NodeManager实例，选择“更多 > 启动实例”。 在集群列表页面缩容Task节点。 单击集群名称进入集群详情页面，选择“节点管理”。 在Task节点组所在行的“操作”列单击“缩容”。 图1 缩容Task
配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 spark.scheduler.listenerbus.eventqueue.capacity 事件队列的大小，可以根据Driver的内存做适当的配置。 1000000 当Driver日志中出现如下的日志时，表示队列溢出了。 普通应用：
配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 spark.scheduler.listenerbus.eventqueue.capacity 事件队列的大小，可以根据Driver的内存做适当的配置。 1000000 当Driver日志中出现如下的日志时，表示队列溢出了。 普通应用：
配置MemArtsCC常用参数 参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后，SDK通过worke
Iceberg Iceberg原理介绍 Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。
在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 在“自定义配置”单击“增加”添加如下参数。 表1 动态过滤参数 名称 值 参数文件 参数解释 enable-dynamic-filtering true coordinator.config
在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群 设置待添加集群的参数，如下参数请参考样例，其他参数默认不需要修改。 表1 需修改的集群参数 参数名称 取值样例 说明 Cluster Name mrs-demo 待添加集群在KafkaManager的WebUI界面中显示的名称。
diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参数，进入Yarn“全部配置”页面，在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics.limit.kc 定义每次应用连接的诊断消息的数
diagnostics.limit.kc”参数值，具体操作参考修改集群服务配置参数，进入Yarn“全部配置”页面，在搜索框搜索以下参数。 表1 参数描述 参数 描述 默认值 yarn.app.attempt.diagnostics.limit.kc 定义每次应用连接的诊断消息的数
keytab=<path_to_keytab> 其中<principal_name>表示用户使用的Kerberos用户的principal，如“test@<系统域名>”。<path_to_keytab>表示<principal_name>对应的keytab文件路径，如“/opt/auth/test/user
则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证（基于安全要求，建议启用此功能） 只有“Avro”类型的Source才有此配置项 true表示启用 false表示不启用 false 单击“导出”，将配置文件“properties
执行一遍。 如果出现Escape character is '^]'类似打印则说明可以连通，如果出现connection refused则表示失败，无法连接到相关端口。 如果相关端口打开，但是从别的节点无法连通到该端口，则需要排查下相关网络配置。 23662这个端口每次都是随机的
xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释
p-connector。 在“至”填写目的连接的作业配置。 具体请参见hdfs-connector。 在“任务配置”填写作业的运行参数。 表1 Loader作业运行属性 参数 说明 抽取并发数 设置map任务的个数。 加载(写入)并发数 设置reduce任务的个数。 该参数只有在
年份，数字，4位，第一天为星期日 %x 年份，数字，4位，第一天为星期一 %Y 年份，数字，4位 %y 年份，数字，2位，表示年份范围为[1970, 2069] %% 表示字符'%' 示例： select date_format(timestamp '2020-07-25 15:04:00
digest函数 概述 Quantile digest（分位数摘要）是存储近似百分位信息的数据草图。HetuEngine中用qdigest表示这种数据结构。 函数 merge(qdigest) → qdigest 描述：将所有输入的qdigest数据合并成一个qdigest。 v
distinct.expandThreshold 由cube等引起的数据膨胀多少倍时，触发该优化。需要配置一个大于0的数值来启用。例如1024，代表数据膨胀1024倍及以上时，触发该优化。 -1 spark.sql.distinct.aggregator.enabled 是否强制开启di
不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘
extraLibraryPath”。 不添加表1中配置项时，使用方式与原有方式一致，程序可正常执行，只是在不同模式下需切换配置。 配置参数 参数入口： 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在搜索框中输入参数名称。 表1 参数介绍 参数
xml。 MapReduce客户端配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。 表1 多CPU内核设置 配置 描述 参数 默认值 Server/Client 影响 备注 节点容器槽位数 如下配置组合决定了每节点任务(map、reduce)的并发数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
