检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上） 需要很高的吞吐量
HDFS应用开发简介 HDFS简介 HDFS（Hadoop Distribute File System）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。 HDFS适用于如下场景： 处理海量数据（TB或PB级别以上）
Catalog，不仅能访问Hive，也能访问使用Hive Metastore作为元数据存储的系统，例如Iceberg、Hudi等。 支持Managed Table。 可以识别Hive Metastore中存储的Hive和Hudi元数据。 如果想访问非当前用户创建的Catalog，需授予用户Catalog所在的OBS路径的操作权限。
描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 tags 否 String
密码策略，请参考修改MRS集群用户信息。 如果需要删除手动添加的密码策略，可以执行如下操作。 单击待删除的密码策略所在行的“删除”，在弹出窗口中单击“确定”。 default密码策略和已经被用户绑定的密码策略不能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。
复制”和“更改权限”等，实现文件或目录的重命名、移动、复制、更改权限等功能。 上传文件 单击右上角的“上传”，单击“选择文件”或将文件拖至窗口中可进行文件上传。 存储策略定义使用介绍 若Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时，不能启用存储策略定义功能。
化。 删除连接 在Loader页面，单击“新建作业”。 单击“连接”后的下拉列表框，选择待删除的连接名称。 单击“删除”。 在弹出的对话框窗口，单击“确定”。 如果某个Loader作业已集成一个Loader连接，那么该连接不可以被删除。 Loader连接配置说明 Loader支持以下多种连接：
化。 删除连接 在Loader页面，单击“新建作业”。 单击“连接”后的下拉列表框，选择待删除的连接名称。 单击“删除”。 在弹出的对话框窗口，单击“确定”。 如果某个Loader作业已集成一个Loader连接，那么该连接不可以被删除。 Loader连接配置说明 Loader支持以下多种连接：
的集群）登录CDLService WebUI界面，请参考登录CDLService WebUI界面。 选择“连接管理 > 新增连接”，在弹出窗口中输入数据连接的名称（Name，不能与已存在的名称相同）并选择连接类型（Link Type）。 根据不同的连接类型，界面信息输入数据相关链接参数。
请参考修改集群服务配置参数，进入Storm的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Storm的日志格式如下所示： 表3 日志格式 日志类型 格式 示例 运行日志 %d{yyyy-MM-dd
资源利用率。 异构和多维资源调度 Superior Scheduler除支持CPU和内存资源的调度外，还支持扩展以下功能： 节点标签可用于识别不同节点的多维属性，可以根据这些标签进行调度。 资源池可用于对同一类别的资源进行分组并分配给特定的租户/队列。 租户内多用户公平调度 在叶
）及下划线（_），且只能以字母或数字开头。例如“DOMAINA.HW”和“DOMAINB.HW”。 Manager内所有集群全部组件的运行状态均为“良好”。 Manager内所有集群的ZooKeeper服务的“acl.compare.shortName”参数需确保为默认值“true”
flag IN ('wap', 'other'))AS web_uv FROM T GROUP BY day Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一
consumer.properties 参考管理Kafka Topic中的消息，查看Topic并向Kafka中写入数据，输入完成后可在4中的窗口查看执行结果。 ./kafka-topics.sh --list Kafka的Broker实例业务IP:Kafka端口号--command-config
性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。 扩容后，集群内节点已安装的客户端无需更新，集群外节点安装的客户端请参考服务端配置过期后更新MRS集群客户端进行更新。 扩容后，如需对HDFS数据进行均衡操
描述 project_id 是 String 参数解释： 项目编号。获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 tags
jar”包所在目录相同）。 已参考规划MapReduce访问多组件样例程序数据准备好待处理的数据。 运行程序 进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{mav
本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。 编译并运行程序 编译HCatalog样例程序： 在IDEA Maven工具窗口，选择clean生命周期，执行Maven构建过程。 选择package生命周期，执行Maven构建过程。 图2 打包样例程序 当输出“BUILD
Manager，选择 “运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。
通过MapReduce日志获取应用程序运行情况。 前提条件 已安装Yarn客户端。 运行程序 进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。 mvn -s "{maven_setting_path}" clean package 上述打包命令中的{mav
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
