检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志组 日志组（LogGroup）是云日志服务进行日志管理的基本单位，可以创建日志流以及设置日志存储时间，每个账号下可以创建100个日志组。创建日志组详细操作参见日志组。
统一身份认证服务 IAM：是华为云提供权限管理、访问控制和身份认证的基础服务，您可以使用IAM创建和管理用户、用户组，通过授权来允许或拒绝对象对云服务和资源的访问，通过设置安全策略提高账号和资源的安全性，同时IAM为您提供多种安全的访问凭证。
MRS_Services_ClientConfig\HDFS\config\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群，您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。
建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
约束与限制 部署该解决方案之前，您需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。
数据库账号权限要求 在使用DRS进行同步时，连接源库和目标库的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查，并给出处理建议。
设置版本到期时间 该任务指导用户通过凭据详情页面进行凭据版本到期时间设置。 操作步骤 登录管理控制台。 单击管理控制台左上角，选择区域或项目。 单击页面左侧，选择“安全与合规 > 数据加密服务”，默认进入“密钥管理”界面。
终端节点服务：通过终端节点服务名称连接数据源，适合连接非当前账号和无法获取VPCEP权限数据源场景以及连接ECS自搭建数据源场景。终端节点服务连通方式接入Doris数据源。 操作前准备 用户连接数据源时，检查是否添加了公网IP/内网（VPCEP）安全组。
由于账号是付费主体，为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用创建的用户进行日常管理工作。 用户 由账号在IAM中创建的用户，是云服务的使用人员，具有身份凭证（密码和访问密钥）。 在我的凭证下，您可以查看账号ID和用户ID。
设置负载均衡内网访问控制 操作场景 GeminiDB Redis支持设置负载均衡内网访问控制。 使用须知 负载均衡地址不支持安全组，创建完成后请配置IP访问控制，如未配置白名单，所有与VPC互通的IP地址均可访问实例。 开启负载均衡地址黑白名单 登录管理控制台。
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序（Java） Spark Streaming对接Kafka0-10样例程序（Scala）
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar
Flink HBase样例程序开发思路 本章节适用于MRS 3.2.0及以后版本。 典型场景说明 本样例介绍通过Flink API作业读写HBase数据。 数据规划 准备HBase配置文件，通过Manager下载集群配置，获取“hbase-site.xml”文件。 开发思路 写HBase
Flink Hudi样例程序开发思路 本章节适用于MRS 3.3.0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据，将数据写入到Hudi表中，再读取并打印Hudi表中的数据。 开发思路 写Hudi： 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream
Kafka Shell命令介绍 查看当前集群Topic列表。 shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> shkafka-topics.sh --list --bootstrap-server <Kafka
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题： 开发MapReduce应用
配置Oozie作业执行入口 功能描述 流程任务的执行入口，每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad
配置Oozie MapReduce作业 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
