检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。 安装补丁过程包括组件重启，支持滚动重启和离线重启，请选择合适的方法。重启过程不能省略。 补丁安装后操作不能省略，若没有执行此操作，会影响Spark、HDFS、Flink等组件的补丁生效，会导致Spark client模式的作业运行失败。
如果JobHistory在10分钟内无法完成Event log的解析并返回，httpd会主动向浏览器返回Proxy Error信息。 解决方法 由于当前JobHistory开启了本地磁盘缓存功能，访问应用时，会将应用的Event log的解析结果缓存到本地磁盘中，第二次访问时，能
Mode == OutputMode.Complete()”语句的判断结果（outputMode的默认输出方式为“append”）。 处理方法：编写应用时，用户可以根据具体情况修改数据的输出方式。 将输出方式修改为“complete”，“recoverFromCheckpoint
properties”文件路径。 图1 复制“jdbc.properties”文件路径 修改“SimpleJDBCTopology.java”的main()方法中proPath值为1.a复制的“jdbc.properties”文件路径。 图2 proPath路径修改 在IntelliJ IDEA中
properties”文件路径。 图1 复制“jdbc.properties”文件路径 修改“SimpleJDBCTopology.java”的main()方法中proPath值为1.a复制的“jdbc.properties”文件路径。 图2 SimpleJDBCTopology.java路径替换
Mode == OutputMode.Complete()”语句的判断结果（outputMode的默认输出方式为“append”）。 处理方法：编写应用时，用户可以根据具体情况修改数据的输出方式。 将输出方式修改为“complete”，“recoverFromCheckpoint
+------------+-----------+-----------+---------------+----------------+ 解决方法 删除旧的索引表。 DROP INDEX TEST_TABLE_INDEX ON TEST_TABLE; 异步方式创建新的索引表。 CREATE
连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统包含一个目录中的全部数
out和OOM错误。 因为数据量大，task数多，而wordcount每个task都比较小，完成速度快。当task数多时driver端相应的一些对象就变大了，而且每个task完成时executor和driver都要通信，这就会导致由于内存不足，进程之间通信断连等问题。 当把Driver的内存设置到4g时，应用成功跑完。
out和OOM错误。 因为数据量大，task数多，而wordcount每个task都比较小，完成速度快。当task数多时driver端相应的一些对象就变大了，而且每个task完成时executor和driver都要通信，这就会导致由于内存不足，进程之间通信断连等问题。 当把Driver的内存设置到4g时，应用成功跑完。
对于在<file>标签下的文件/文件夹使用FileSystem#globStatus API，对于其他的使用GlobPattern类（被GlobFilter使用）。参照支持的API的细节。例如，对于globStatus，“/opt/hadoop/*”将匹配“/opt/hadoo
获取相关配置文件。获取方法如下： 在安装好的HDFS客户端目录下找到目录“/opt/clientHDFS/HDFS/hadoop/etc/hadoop”，在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。 获取相关jar包。获取方法如下： 在安装好
编译运行程序。 放置好配置文件，并修改代码匹配登录用户后，文件列表如图2所示。 图2 hbase-example待编译目录列表 编译方式有以下两种。 方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”，双击“clean”运行maven的clean命令。 选择“Maven
少界面操作，提高效率。 Hive用户对象 MRS提供了用户和角色来使用Hive，比如创建表、在表中插入数据或者查询表。Hive中定义了“USER”类，对应用户实例；定义了“GROUP”类，对应角色实例。 使用Manager设置Hive用户对象的权限，只支持在角色中设置，用户或用户
有一个输出算子。 不符合转换规则的数据，将成为脏数据跳过。 从关系型数据库导入数据到HDFS/OBS，可以不用配置数据转换，数据将按“,”分隔保存到HDFS/OBS。 从HDFS/OBS导出数据到关系型数据库，可以不用配置数据转换，数据将按“,”分隔保存到关系型数据库。 算子简介
丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制：
查询集群默认标签状态 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/tags/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。
当您在中间的填充栏填入对应内容时， 右侧代码示例栏会自动拼装参数到代码中供您进行使用。 图2 设置输入参数 在场景示例中可查看本服务更详细的场景SDK使用方法。 图3 场景示例 SDK列表 表1提供了MRS服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。
不连续。此时如果重启NameNode，很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误： 解决方法 找到重启前的主NameNode，进入其数据目录（查看配置项“dfs.namenode.name.dir”可获取，例如/srv/BigDa
-ytm MEM”参数设置内存。 设计分区方法 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 以下是几种分区方法。 随机分区：将元素随机的进行分区。 dataStream
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
