检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink应用开发流程介绍 开发流程中各阶段的说明如图1和表1所示。 图1 Flink应用程序开发流程 表1 Flink应用开发流程说明 阶段 说明 参考文档 了解基本概念 开始开发应用前，需要了解Flink的基本概念。 Flink应用开发常用概念 准备开发环境和运行环境 Fli
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
执行balance失败报错“Source and target differ in block-size” 查询或者删除HDFS文件失败 非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡 执行balance常见问题定位方法
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
需要启动时，可执行以下命令： ./flume-manage.sh start force 根据实际业务场景配置作业。 部分参数可直接在Manager界面配置，可参考非加密传输或加密传输。 在“properties.properties”文件中配置，以配置SpoolDir Source+File Channel+Kafka
配置并导入SpringBoot样例工程 操作场景 为了运行MRS产品Doris组件的SpringBoot接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
c Configs场景，需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限，否则将会鉴权失败。 非安全模式下，KafkaUI对所有操作不作鉴权处理。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面： 登录FusionInsight
如果该异常是Kudu服务初次安装时出现，可能是KuduMaster没能同时启动，造成数据不一样导致启动失败。可以通过如下步骤清空数据目录，重启Kudu服务解决。如果非初次安装，清空数据目录会造成数据丢失，请先进行数据迁移再进行数据目录清空操作。 查找数据目录fs_data_dir, fs_wal_dir,
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
配置并导入SpringBoot样例工程 操作场景 为了运行MRS产品Doris组件的SpringBoot接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接Doris服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程，获取
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤： 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前，需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
径。 以下配置项需要配置路径： 1) carbon.badRecords.location 2) 创建数据库时Db_Path及其他。 对于非安全集群中的Carbon ACL权限，hive-site.xml中的参数hive.server2.enable.doAs必须设置为false。
RN上运行任务的用户为yarn_user。用户自定义的配置文件如果在任务启动之后使用，则文件以及文件的父目录（NFS上的文件所在的父目录，非集群节点上的软连接），必须允许yarn_user可以访问，否则程序中无法获取文件内容。当集群为启用Kerberos认证的集群时，则文件的权限必须允许提交程序的用户访问。
径。 以下配置项需要配置路径： 1) carbon.badRecords.location 2) 创建数据库时Db_Path及其他。 对于非安全集群中的Carbon ACL权限，hive-site.xml中的参数hive.server2.enable.doAs必须设置为false。
的结果集，则该函数被视为确定性。 NOT DETERMINISTIC：如果函数在使用相同的输入集调用时不返回相同的结果集，则该函数将被视为非确定性。 Null-call clause CALLED ON NULL INPUT 函数的行为。 RETURNS NULL ON NULL
c Configs场景，需保证KafkaUI登录用户属于“kafkaadmin”用户组或者单独给用户授予对应操作权限，否则将会鉴权失败。 非安全模式下，KafkaUI对所有操作不作鉴权处理。 该章节仅适用MRS 3.x及之后版本。 使用Kafka客户端修改Kafka Topic 进入ZooKeeper实例页面：
ZooKeeper - Client environment:os.name=Windows 7 1670 [main] INFO org.apache.zookeeper.ZooKeeper - Client environment:os.arch=amd64 1670 [main] INFO
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
