检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
种权限: submit-app:提交队列任务权限 admin-queue:管理队列任务权限 虽然admin-queue也有提交任务的权限,但和submit-app权限之间并没有包含关系。 父主题: Ranger权限策略配置示例
restart):如果没有启用CheckPoint,默认使用该策略。 固定间隔(fixed-delay):如果启用了CheckPoint,但没有配置重启策略,默认使用该策略。 No restart策略 发生故障时作业会直接失败,不会尝试重启。 参数配置为: restart-strategy:
对系统的影响 备FlinkServer的配置文件没有更新,主备倒换之后,部分配置可能会丢失,会对FlinkServer的部分作业以及配置连接产生影响,但FlinkServer可以正常提供服务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在,或者文件权限有误。 处理步骤
filegroups:动态日志文件绝对路径。 - positionFile 保存当前采集文件信息(文件名和已经采集的位置),此参数不能为空。该文件不需要手工创建,但其上层目录需对flume运行用户可写。 /home/omm/flume/positionfile batchSize Flume一次发送数据的最大事件数。
建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: *
可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。
资源成本:各类资源和资源包的成本,这取决于MRS的计费项,详细介绍请参见计费项。 运维成本:使用MRS过程中产生的人力成本。 华为云成本中心可以帮助您更高效地管理资源成本,但运维成本需要您自行识别、管理和优化。 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生
概览”页面已移除,可直接在“主页”界面的“更多”菜单中执行集群相关维护管理功能。 可根据需要选择“重启”或“滚动重启”,滚动重启可以最大程度地降低对业务的影响,但比普通的重启花费的时间更长。 输入当前登录的用户密码确认身份,单击“确定”。 如果选择滚动重启,根据实际情况调整相关参数。 图2 滚动重启 表1
指定租户是否是一个叶子租户: 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户,但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以子租户名称创建任务队列。 如果是叶
limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clu
TBLPROPERTIES('SORT_COLUMNS'='column1, column3') 如果未指定此属性,则默认情况下,没有列会被排序。 如果指定了此属性,但具有空参数,则表将被加载而不进行排序。例如,('SORT_COLUMNS'='')。 SORT_COLUMNS将接受string,date,
TBLPROPERTIES('SORT_COLUMNS'='column1, column3') 如果未指定此属性,则默认情况下,没有列会被排序。 如果指定了此属性,但具有空参数,则表将被加载而不进行排序。例如,('SORT_COLUMNS'='')。 SORT_COLUMNS将接受string,date,
配置”,搜索配置项“dfs.namenode.handler.count”,查看其值。如果值小于或等于128,则设置为128;如果大于128但小于192,则设置为192。 搜索配置项“ipc.server.read.threadpool.size”,查看其值。如果值小于5,则设置为5。
置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shuffle为false;但如果旧分区远大于新分区数,例如高于100倍以上,可以考虑设置shuffle为true,增加并行度,提高合并的速度。 设置shuffle为tr
limit配置来设置最小文件大小。用户可以将该配置设置为“0”,以强制新数据写入新的文件组,或设置为更高的值以确保新数据被“填充”到现有小的文件组中,直到达到指定大小为止,但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能,引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。 Clu
置。 shuffle设置 对于合并功能,可粗略估计合并前后分区数的变化: 一般来说,旧分区数>新分区数,可设置shuffle为false;但如果旧分区远大于新分区数,例如高于100倍以上,可以考虑设置shuffle为true,增加并行度,提高合并的速度。 设置shuffle为tr
标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 values 否 Array of strings 参数解释: 标签的值。 约束限制: 标签的value值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO表示记录系统及各事件正常运行状态信息 DEBUG DEBUG表示记录系统及系统的调试信息。