检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置IoTDB日志级别60秒后即可生效,无需重启服务。 日志格式 IoTDB的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss
然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。
点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此用户同步完成后,请等待5分钟,待新策略生效之后,再进行提交作业,否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。
properties 配置文件中“group.id”指定的消费者组默认为“example-group1”。用户可根据业务需要,自定义其他消费者组。每次消费时生效。 执行命令时默认会读取当前消费者组中未被处理的消息。如果在配置文件指定了新的消费者组且命令中增加参数“--from-beginning”
配置。 单击“实例”,勾选“TezUI”角色,选择“更多 > 重启实例”,输入用户密码后,在弹出窗口单击“确定”。 等待实例重启完成,配置生效。 日志格式 Tez的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS
xml与llama-site.xml文件中配置的资源池) 执行SQL查询。 登录到Impalad WebUI上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/component/Impala/Impalad/95/ 父主题: 使用Impala
角色。 参考管理MRS集群用户组修改提交作业用户所属的用户组,将新增的组件角色加入到该用户组中。 用户所在用户组绑定的组件角色修改后,权限生效需要一定时间,请耐心等待。 父主题: 提交MRS作业
添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 策略添加后,需等待30秒左右,待系统生效。 组件每次启动都会检查组件默认的Ranger Service是否存在,如果不存在则会创建以及为其添加默认Policy。如果用户在使用过程
interval”,且值配置为大于或等于“0”时开启窗口支持数据超期功能,创建作业可参考如何创建FlinkServer作业。该设置会对作业中的所有over窗口生效,建议对单over窗口的作业使用此功能。 SQL示例: CREATE TABLE OverSource ( `rowtime` TIMESTAMP_LTZ(3)
量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Brok
/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1 = 512 net.ipv4.neigh.default.gc_thresh2
单击“保存”,在弹出的“保存配置”窗口中确认修改参数,单击“确定”。界面提示“操作成功”,单击“完成”,配置保存成功。 保存完成后请重新启动配置过期的Yarn服务以使配置生效。 父主题: 使用Yarn
量保持一致。 更改Broker角色的存储目录,所有Broker实例的存储目录将同步修改。 更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Brok
然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。
ClickHouse参数调优实践 表1 ClickHouse参数调优汇总 参数名 参数描述 默认值 建议值 是否需要重启生效 max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量,默认没有限制。建议根据机器的总内存,预留一部分空间,防止内存不够导致服务或者机器异常。
单击“保存”,在弹出的“保存配置”窗口中确认修改参数,单击“确定”。界面提示“操作成功”,单击“完成”,配置保存成功。 保存完成后请重新启动配置过期的Yarn服务以使配置生效。 父主题: 使用Yarn
/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中,即使主机重启,配置依然能生效。 net.ipv4.neigh.default.gc_thresh1 = 512 net.ipv4.neigh.default.gc_thresh2
选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。 设置Loader作业调度的操作权限 (包括Scheduler的编辑、删除、是否生效权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业调度”。 在指定作业调度行的“权限”列,勾选“编辑”。
配置”。 选择“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,单击“确定”,处理结束后生效。 日志格式 Oozie的日志格式如下所示。 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS><Log
用的最大内存。 查看集群服务资源使用状态。 在图表区域的服务选择框中选择“所有服务”,则“图表”中会显示服务池所有服务的资源使用状态。 “生效的配置组”表示集群服务当前使用的资源控制配置组。默认情况下每天所有时间均使用“default”配置组,表示集群服务可以使用节点全部CPU,以及70%的内存。