如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL作业，作业类型选择“流作业”。在作业开发界面进行如下作业配置，并启动作业。需勾选“基础参数”中的“开启CheckPoint”，“时间间隔（ms）”可设置为“60000”，“模式”可使用默认值。
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
Compaction 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 对Hudi表进行compaction操作，具体作用可以参考Hudi Compaction操作说明章节。 命令格式 call run_compaction(op => '[op]', table=>'[table]'
Spark的特点如下： 通过分布式内存计算和DAG（无回路有向图）执行引擎提升数据处理能力，比MapReduce性能高10倍到100倍。 提供多种语言开发接口（Scala/Java/Python），并且提供几十种高度抽象算子，可以很方便构建分布式的数据处理应用。 结合SQL、Streamin
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge
ALM-12087 系统处于升级观察期 告警解释 系统定时在每天零点查看当前系统是否处于升级观察期，同时检查进入升级观察时间是否超过了为客户预留的升级观察期时间（默认为10天）。当系统处于升级观察期，并且进入升级观察期时间超过了为客户预留的升级观察期时间（默认时间为10天）时，系
Hudi Compaction操作说明 Compaction用于合并mor表Base和Log文件。 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
创建OBS并行文件系统 登录OBS控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写文件系统名称，例如“guardian-obs”。 企业项目需要与MRS集群保持一致，其他参数请根据需要填写。 单击“立即创建”。 创建普通账号委托 登录华为云管理控制台。 在服务列表中选择“管理与监管
Hudi Clustering操作说明 什么是Clustering 即数据布局，该服务可重新组织数据以提高查询性能，也不会影响摄取速度。 Clustering架构 Hudi通过其写入客户端API提供了不同的操作，如insert/upsert/bulk_insert来将数据写入Hu
components 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id
Manager的操作运维场景，以及在组件客户端操作的场景。创建此类型用户时需要参考创建MRS集群用户设置“密码”和“确认密码”。 “机机”用户：用于系统应用开发的场景。 用于OMS系统进程运行的用户。 系统内部用户 集群提供的用于Kerberos认证、进程通信、保存用户组信息和关联用户权限的内部用
Oozie on Hue Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，
Flume的拦截器（Interceptor）支持在数据传输过程中修改或丢弃传输的基本单元Event。用户可以通过在配置中指定Flume内建拦截器的类名列表，也可以开发自定义的拦截器来实现Event的修改或丢弃。Flume内建支持的拦截器如下表所示，本章节会选取一个较为复杂的作为示例。其余的用户可以根据需
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 选择“运维 > 备份恢复 > 恢复管理 > 创建 ”。 图1 创建恢复任务 在“任务名称”填写恢复任务的名称。
看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。
用于登录ECS的用户，目前默认为root用户。 root 密码 配置登录ECS的用户密码。 xxx 确认密码 再次输入登录ECS的用户密码。 xxx 高级配置不开启，企业项目选择“default”。 勾选通信安全授权后，单击“立即购买”，进入任务提交成功页面。 单击“返回集群列表”，可以查看到集群创建的状态。
增强有限内存下的稳定性 配置场景 当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关
增强有限内存下的稳定性 配置场景 当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
