检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
让DataNode根据磁盘剩余空间大小，优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。 部分磁盘使用率较高，依赖业务逐渐删除在HDFS中的数据（老化数据）来逐渐降低。 父主题： 使用HDFS
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多 >
请参考修改集群服务配置参数，进入Flume的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 配置完成后即生效，不需要重启服务。 日志格式 Flume的日志格式如下所示： 表3 日志格式 日志类型
配置Yarn权限控制开关 手动指定运行Yarn任务的用户 配置AM失败重试次数 配置AM自动调整分配内存 配置AM作业自动保留 配置Yarn数据访问通道协议 配置自定义调度器的WebUI 配置NodeManager角色实例使用的资源 配置ResourceManager重启后自动加载Container信息
群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称
HetuEngine”，进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。 单击“数据源”，在Hive数据源所在行的“操作”列下单击“编辑”，在页面内新增如下自定义配置： 表1 元数据超时参数
c.log Flume进程的GC日志。 /flume/Flume-audit.log Flume客户端的审计日志。 /flume/startAgent.out Flume启动前的进程参数日志。 日志级别 Flume提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是F
interval 清理任务被调用的时间间隔（分钟）。 60 loader.submission.purge.limited 清除时保持的提交数，可以避免作业历史记录被清理干净。 0 loader.submission.purge.record.max Loader作业最大可保留的记录数（条），0表示不限制。
开启Kerberos认证的集群 登录Manager创建一个拥有“Hive Admin Privilege”权限的角色，例如prestorole，创建角色请参考管理MRS集群角色。 创建一个属于“Presto”和“Hive”组的用户，同时为该用户绑定1中创建的角色，例如presto0
限制，最终生效值为两者的乘积。 需要综合考虑核心表业务请求量以及时延要求，核心表时延要求越高/请求越多，建议设置越小的值，通常可设置为：0.5~1.0。 可根据实际业务需求单独或同时开启两种过载控制，RegionServer队列过载控制适用于存在大请求过载的场景，RegionServer
群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight Manager，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。然后选择“集群 > 待操作的集群名称
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套，出现Timeout waiting for task异常导致Shuffle FetchFailed，Stage一直重试，任务无法正常完成。
overwrite directory "/path1" ...命令成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色）
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效，drop table后文件在回收站的存放路径不改变。 通常，默认情况： 当fs.obs.hdfs.trash.version=2时，回收站路径为：/user/.Trash/${userName}/Current
Hive提供配置开关，默认为禁用Transform功能，与开源社区版本保持一致。用户可修改配置开关，开启Transform功能，当开启Transform功能时，存在一定的安全风险。 只有安全模式支持禁用Transform功能，普通模式不支持该功能。 操作步骤 登录FusionInsight Manager，选择“集群
t-Flume-1.9.0/flume/bin/flume-manage.sh: Permission denied 解决办法 与运行正常的Flume节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 父主题： 使用Flume
CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”，停止CDL作业。 使用客户端安装用户登录安装了客户端的节点，并执行以下命令： cd 客户端安装目录 source
ation。即表创建成功之后，表的Location路径会被创建在当前默认warehouse目录下，不能被指定到其他目录；如果创建内部表时指定Location，则创建失败。 开启该功能后，如果数据库中已存在建表时指向非当前默认warehouse目录的表，在执行建库、表脚本迁移、重建元数据操作时需要特别注意，防止错误。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
