检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份
Manager界面,单击“审计”,在审计页面单击“高级搜索”,单击“操作类型”右侧的,选择“保存配置 > 确定”,再单击“搜索”。 查看搜索结果中“服务”列为与HBase相关的服务,例如ZooKeeper、HDFS、HBase等,历史修改的配置是否可能影响HBase服务状态,表1为部分可能影响HBase服务状态的配置:
图2 新建LakeFormation数据连接 创建完成后,在“数据连接”页面记录已创建数据连接的ID。 获取账号ID信息 使用待配置MRS与LakeFormation对接的用户,登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面获取“账号ID”、项目列表中查看项目ID。
的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。 HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份
告警阈值可进行调整,用户也可以根据需要自定义集群监控指标,或屏蔽对应告警,使告警不再上报。 MRS集群阈值转告警监控指标可分为节点信息指标与集群服务指标,相关指标及其对系统的影响、默认阈值等信息请参考监控指标参考。 方案架构 Manager的整体逻辑架构如图1所示。 图1 Manager逻辑架构
用户”,在用户名中选择developuser,单击操作“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证,具体使用请参考各服务的开发指南指导。 如果用户类型是人机,需要先修
读取Hive数据 String hiveData = readHive(name); // Map输出键值对,内容为HBase与Hive数据拼接的字符串 context.write(new Text(name), new Text("hbase:" + hbaseData
口功能,只能提供Get、Scan查询服务。 操作步骤 将在准备集群认证用户信息时获取的主集群keytab认证文件“user.keytab”与“krb5.conf”放置到二次样例“src/main/resources/conf”目录下。 参考准备连接HBase集群配置文件章节,获取
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 每次都全量备份 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份
在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“资源贡献排名配置”。 修改资源分布的显示数量。最大值与最小值的资源分布显示数量总和不能大于5。 “TOP数量”填写最大值的显示数量。 “BOTTOM数量”填写最小值的显示数量。 单击“确定”保存设置。
据盘的费用。 在筛选条件中选择“资源ID”,输入4查询到的弹性云服务器的ID,单击图标即可搜索集群节点的费用。 场景示例:核对资源用量是否与实际相符 假设用户在2023/07/24 14:38:04购买了按需计费的MRS普通版集群,并在2023/07/24 15:38:04时刻将其删除,该集群的规格配置为:
读取Hive数据 String hiveData = readHive(name); // Map输出键值对,内容为HBase与Hive数据拼接的字符串 context.write(new Text(name), new Text("hbase:" + hbaseData
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper
分区目录的文件合并。 支持文件压缩,允许应用程序具有更小的检查点间隔,而无需生成大量文件。 仅压缩单个检查点中的文件,即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的,因此文件的可见性是:检查点间隔+压缩时间之后。如果压缩时间太长,将延长检查点的时间段。 表2 分区目录的文件合并
系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据,建议手动备份最新Kafka元数据后,再执行恢复操作。否则会丢失从备份时
例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 spark-submit --master yarn--deploy-mode
图3 新建LakeFormation数据连接 创建完成后,在“数据连接”页面记录已创建数据连接的ID。 获取账号ID信息 使用待配置MRS与LakeFormation对接的用户,登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面获取“账号ID”、项目列表中查看项目ID。
jar包写ClickHouse作业无法提交的问题。 解决Flink Join状态剔除的hint参数功能不生效的问题。 解决Flink作业报错信息不准确,日志显示的错误行数与作业SQL错误行数不一致的问题。 解决Flink流读Hudi当表写入数据时作业失败,写Hudi作业提交运行失败的问题。 解决Flinkserver