检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数： --schemaprovider-class 定义的schema类 --transformer-class
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数： --schemaprovider-class 定义的schema类 --transformer-class
MRS集群中提交一个SparkSql作业。 SparkSql作业用于查询和分析数据，包括SQL语句和Script脚本两种形式，如果SQL语句涉及敏感信息，也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行，也可以通过MRS集群客户端来以命令行形式提交作业。
HoodieDeltaStreamer 编写自定义的转化类实现Transformer。 编写自定义的Schema实现SchemaProvider。 在执行HoodieDeltaStreamer时加入参数： --schemaprovider-class 定义的schema类 --transformer-class
触发一个savepoint source客户端安装目录/bigdata_env 无 导入客户端环境变量。 使用限制：如果用户使用自定义脚本（例如A.sh）并在脚本中调用该命令，则脚本A.sh不能传入参数。如果确实需要给A.sh传入参数，则需采用二次调用方式。 例如A.sh中调用B.sh，在B.sh中调用该命令。A
单击“连接”后的下拉列表框，选择待编辑的连接名称。 在“连接”后单击“编辑”，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行6。 如果显示测试失败，则需要重复4。 单击“保存”。 如果某个Loader作业已集成一个Loader连接，那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager（仅适用于MRS 3.x及之后版本）确认集群的主备管理节点（即主备OMS节点）。 在主备模式下，由于Master1和Master2之间会进行主备
执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;
参数解释： 弹性伸缩自定义自动化脚本的名称。 约束限制： 不涉及 取值范围： 同一个集群的自定义自动化脚本名称不允许相同。只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 uri 是 String 参数解释： 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。
<yyyy-mm-dd >.log tomcat的运行日志 脚本日志 postInstall.log Loader安装脚本日志。 执行loader安装脚本（postInstall.sh）时产生的日志。 preStart.log Loader服务的预启动脚本日志。Loader服务启动时，需要先执行一系列的准备操作（preStart
触发一个savepoint source客户端安装目录/bigdata_env 无 导入客户端环境变量。 使用限制：如果用户使用自定义脚本（例如A.sh）并在脚本中调用该命令，则脚本A.sh不能传入参数。如果确实需要给A.sh传入参数，则需采用二次调用方式。 例如A.sh中调用B.sh，在B.sh中调用该命令。A
<yyyy-mm-dd >.log tomcat的运行日志 脚本日志 postInstall.log Loader安装脚本日志。 执行loader安装脚本（postInstall.sh）时产生的日志。 preStart.log Loader服务的预启动脚本日志。Loader服务启动时，需要先执行一系列的准备操作（preStart
Flink作业引擎概述 Flink WebUI提供基于Web的可视化开发平台，用户只需要编写SQL即可开发作业，极大降低作业开发门槛。同时通过作业平台能力开放，支持业务人员自行编写SQL开发作业来快速应对需求，大大减少Flink作业开发工作量。 Flink WebUI功能仅支持MRS
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner，在写入Hudi时加入配置： .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例： public class
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
