检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数：
ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only 设置为“true”，则执行策略，但是不对集群资源进程抢占操作。 设置为“false”，则执行策略，且根据策略启用集群资源抢占的功能。
Standby NameNode：与Active NameNode中的数据保持同步；随时准备在Active NameNode出现异常时接管其服务。 Observer NameNode：与Active NameNode中的数据保持同步，处理来自客户端的读请求。 DataNode 用于存储每
Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题： Storm开发指南
运行。 图1 Active Jobs 继续查看已经完成的Job，发现也只有两个，说明Spark Streaming都没有触发数据计算的任务（Spark Streaming默认有两个尝试运行的Job，就是图中两个） 图2 Completed Jobs 回答 经过定位发现，导致这个问题的原因是：Spark
使用JobGateway JobGateway常见参数 JobGateway手动更新服务客户端 JobServer从Core节点迁移至Master节点指导 JobGateway日志介绍 常见问题
“最大备份数”：填写备份目录中可保留的备份文件集数量。 “OBS”：表示将备份文件保存在OBS中。 选择此参数值，还需要配置以下参数： “目的端路径”：填写保存备份数据的OBS目录。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 MRS 3.1.0及之后版本才支持备份数据到OBS。 单击“确定”保存。
rpc.protection”配置项的值保持一致。 远端备份至HDFS，不支持HDFS加密目录。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。
写HDFS文件 追加HDFS文件内容 读HDFS文件 删除HDFS文件 HDFS Colocation 设置HDFS存储策略 HDFS访问OBS 父主题： HDFS开发指南
--negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。
使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多，可通过配置“spark
场景中需要配置连接的属性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种：
calBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。 备份CDL业务数据 在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。
--negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。
使用hcatalog方式同步数据，报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败 使用hive-table方式同步数据报错 使用hcatalog方式同步hive
Streaming企业级能力增强 Spark Core性能调优 Spark SQL性能调优 Spark Streaming性能调优 Spark on OBS性能调优 Spark运维管理 Spark常见问题 Spark故障排除
对于在<file>标签下的文件/文件夹使用FileSystem#globStatus API，对于其他的使用GlobPattern类（被GlobFilter使用）。参照支持的API的细节。例如，对于globStatus，“/opt/hadoop/*”将匹配“/opt/hadoo
例如Oracle数据库中的“date”类型，系统会自动识别为“timestamp”类型，如果不手动处理会导致后续Hive表在查询数据时报错。 配置输出算子，输出到HDFS/OBS，结果如下： 父主题： Loader输入类算子
有一个输出算子。 不符合转换规则的数据，将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS，可以不用配置数据转换，数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库，可以不用配置数据转换，数据将按“,”分隔保存到关系型数据库。 算子简介
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
