检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询对应版本元数据 功能介绍 查询对应版本元数据。如果参数里指定集群id，则可查询集群更新过补丁之后的最新元数据。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/metadata/versions/{version_name} 表1 路径参数
在Spark样例工程代码中，不同的样例工程，使用的认证代码不同，基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示，请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal，您可以联系管理员获取此账号。
不允许source的个数或者类型发生变化。 source的参数变化，这种情况是否能被支持，取决于source类型和查询语句，例如： 速率控制相关参数的添加、删除和修改，此种情况能被支持，如：spark.readStream.format("kafka").option("subscribe", "topic")变更为spark
不允许source的个数或者类型发生变化。 source的参数变化，这种情况是否能被支持，取决于source类型和查询语句，例如： 速率控制相关参数的添加、删除和修改，此种情况能被支持，如：spark.readStream.format("kafka").option("subscribe", "topic")变更为spark
不允许source的个数或者类型发生变化。 source的参数变化，这种情况是否能被支持，取决于source类型和查询语句，例如： 速率控制相关参数的添加、删除和修改，此种情况能被支持，如：spark.readStream.format("kafka").option("subscribe", "topic")变更为spark
合理规划AM资源占比 任务数量较多且每个任务占用的资源较少时，可能会出现集群资源足够，提交的任务成功但是无法启动，此时可以提高AM的最大资源占比。 图2 修改AM最大资源百分比 父主题： Spark应用开发规范
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例，您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序，您可以参考如下示例，编写SparkLauncher类。 public static
ner信息，重启NodeManager服务后通过恢复此前保存的状态信息，就不会丢失在此节点上运行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。
待操作集群的名称 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业连接器”。 在指定作业连接的“权限”列，勾选“编辑”。 设置Loader作业分组的编辑权限 （包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限） 在“权限”的表格中选择“
Manager管理界面，选择“运维 >备份恢复 > 备份管理”。根据“任务名”查找对应备份任务，单击“操作”列的“配置”，检查配置项是否都配置正确。 是，执行7。 否，修改配置后保存，执行5。 选择“更多 > 即时备份”启动该备份任务，查看备份任务是否执行成功。 是，执行6。 否，执行7。 等待2分钟，检查告警是否消除。
46 ...... 如果节点可用内存大于或等于“-Xmx”的值，则节点内存够用。如果节点可用内存小于“-Xmx”的值，则节点内存不够用。 是，修改“-XX:MaxDirectMemorySize”的配置值与“-Xmx”配置值相同。 否，适量调大“-XX:MaxDirectMemory
jar”和“mrs-obs-provider-*.jar”文件复制到“Flume客户端安装目录/fusionInsight-flume-*/lib”目录下，并执行以下命令修改权限： cd Flume客户端安装目录/fusionInsight-flume-*/lib chmod 755 hadoop-huaweicloud-*
DATE下fe.conf”中也添加该配置。 登录 FusionInsight Manager页面，选择“集群 > 服务 > 实例”，勾选3修改配置的FE节点，选择“更多 > 重启实例”重启FE实例，其他实例依旧停止状态不做操作。 观察FE启动后状态，启动成功后，在浏览器中连接此F
在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业连接器”。 在指定作业连接的“权限”列，勾选“编辑”。 设置Loader作业分组的编辑权限 （包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限） 在“权限”的表格中选择“
disableChaining().uid("map-id") .print().disableChaining().uid("print-id") 用户升级job时不允许更改算子的数据类型。 父主题： Flink常用API介绍
disableChaining().uid("map-id") .print().disableChaining().uid("print-id") 用户升级job时不允许更改算子的数据类型。 父主题： Flink常用API介绍
disableChaining().uid("map-id") .print().disableChaining().uid("print-id") 用户升级job时不允许更改算子的数据类型。 父主题： Flink应用开发常见问题
Flink作业RocksDB状态后端调优 本章节适用于MRS 3.3.0及以后版本。 Flink作业RocksDB介绍 当启用RocksDB作为作业的状态后端时，大量的状态数据会导致RocksDB的读写性能差。可通过如下方法排查算子性能是否受RocksDB影响： 在TaskMan
e2x三个实例对应的参数都需要修改）。 与HTTP服务访问相比，以HTTPS方式访问Spark2x的JobHistory时，由于使用了SSL安全加密，需要确保curl命令所支持的SSL协议在集群中已添加支持。若不支持，可采用如下两种方案解决： 修改集群中配置的SSL协议。例如，若
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
