检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大任务下MapReduce任务运行失败，请参考MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常进行处理。 BulkLoad支持的数据源格式为带分隔符的文本文件。 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
access.key=访问OBS的AK信息 -Dfs.obs.secret.key=访问OBS的SK信息 -copyToLocal 应用程序源路径 应用程序目的路径 例如： hadoop fs -Dfs.obs.access.key=XXXX -Dfs.obs.secret.key=XXXX
static final String JDBC_LOOKUP_BOLT = "JDBC_LOOKUP_BOLT"; // 用户创建的源表表名，可自行修改 private static final String JDBC_ORIGIN_TBL = "ORIGINAL";
rt”表示数据导出作业。 “-connectorType” 表示连接器类型，当“-u”的值为“y”时，必须配置。根据业务需要可修改外部数据源的部分参数。 指定参数值为“sftp”表示SFTP连接器。 在导入作业中，支持修改源文件的输入路径“-inputPath”、源文件的编码格式
adoop、Spark、HBase、Hive、Flink、Oozie、Tez等数据分析类组件。 流式集群：用于流式数据处理任务，对实时数据源进行快速分析，主要包含Kafka、Flume等流式数据处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务的集群。 自定义
rt”表示数据导出作业。 “-connectorType” 表示连接器类型，当“-u”的值为“y”时，必须配置。根据业务需要可修改外部数据源的部分参数。 指定参数值为“sftp”表示SFTP连接器。 在导入作业中，支持修改源文件的输入路径“-inputPath”、源文件的编码格式
数据采集层提供了数据接入到MRS集群的能力，包括Flume（数据采集）、Loader（关系型数据导入）、Kafka（高可靠消息队列），支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。 数据存储 MRS支持结构化和非结构化数据在集群中的存储，并
e SparkOnHbaseJavaExample Spark on HBase场景的Java/Scala示例程序。 本工程应用程序以数据源的方式去使用HBase，将数据以Avro格式存储在HBase中，并从中读取数据以及对读取的数据进行过滤等操作。 SparkOnHbaseScalaExample
static final String JDBC_LOOKUP_BOLT = "JDBC_LOOKUP_BOLT"; // 用户创建的源表表名，可自行修改 private static final String JDBC_ORIGIN_TBL = "ORIGINAL";
threadDump-<DATE>.log 实例重启或实例停止时会打印。 其他 hetu-updateKrb5.log 部署Hive集群更换域后，Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEn
、并向Leader转发写请求，避免系统处理能力浪费。 离散流 Spark Streaming提供的抽象概念。表示一个连续的数据流，是从数据源获取或者通过输入流转换生成的数据流。从本质上说，一个DStream表示一系列连续的RDD。 堆内存（Heap Memory） 堆是JVM运行
opengaussdb Schema 待检测数据库的Schema名称。 oprngaussschema Datastore Type 上层源的类型。 MRS 3.2.0版本： opengauss ogg oracle drs-avro-oracle MRS 3.3.0及之后版本：
设置ZNODE访问权限 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据 HetuEngine审计日志 作业管理 添加外部数据源 删除外部数据源 修改外部数据源 创建计算实例 启动计算实例 停止计算实例 删除计算实例 查询计算实例 修改计算实例配置 MRS的审计日志保存在数据库中，可
MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。 若未安装，在配置了yum源的情况下，可执行yum install ntp -y命令进行安装。 弹性云服务器需要允许用户使用密码方式登录（SSH方式）。 参考访问MRS
实现容错，用户可以自定义对整个任务的Checkpoint策略，当任务出现失败时，可以将任务恢复到最近一次Checkpoint的状态，从数据源重发快照之后的数据。 Savepoint：一个Savepoint就是应用状态的一致性快照，Savepoint与Checkpoint机制相似，
gaussdb-mysql：云数据库GaussDB(for MySQL) 默认取值： 不涉及 source_info 是 String 参数解释： 数据源信息，为json格式。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 响应参数 状态码： 201 表4 响应Body参数 参数
弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。 如果未安装，在配置了yum源的情况下，可执行yum install ntp -y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式）。 MR
0”。 说明： 本实践仅适用于MRS 3.1.0版本。 组件选择 选择待创建的MRS集群配套的组件。 勾选所有组件。 元数据 是否使用外部数据源存储元数据。 选择“本地元数据”。 配置网络配置和节点配置。 表2 网络配置和节点配置 参数名称 参数含义 取值样例 可用区 选择集群工作区域下关联的可用区。
HetuEngine计算实例重启注意事项 当HetuEngine计算实例处于重启或者滚动重启过程中，请勿对HetuEngine服务和HetuEngine WebUI界面的数据源进行变更操作，包括修改配置，重启等操作。 如果计算实例只有1个Coordinator或者Worker，请勿对计算实例进行滚动重启。 如果Wo
用户自定义SourceFunction，addSource方法可以添加Kafka等数据源，主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。 sourceName指的是定义该数据源的名称。 typeInfo则是根据元素数据类型获取的类型信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
