检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,可以创建日志流以及设置日志存储时间,每个账号下可以创建100个日志组。创建日志组详细操作参见日志组。
统一身份认证服务 IAM:是华为云提供权限管理、访问控制和身份认证的基础服务,您可以使用IAM创建和管理用户、用户组,通过授权来允许或拒绝对象对云服务和资源的访问,通过设置安全策略提高账号和资源的安全性,同时IAM为您提供多种安全的访问凭证。
MRS_Services_ClientConfig\HDFS\config\hdfs-site.xml user.keytab 对于Kerberos安全认证提供HDFS用户信息。 如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
约束与限制 部署该解决方案之前,您需注册华为账号并开通华为云,完成实名认证,且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”,请确保账户余额充足以便一键部署资源的时候可以自动支付;或者在一键部署的过程进入费用中心,找到“待支付订单”并手动完成支付。
数据库账号权限要求 在使用DRS进行同步时,连接源库和目标库的数据库账号需要满足以下权限要求,才能启动实时同步任务。不同类型的同步任务,需要的账号权限也不同,详细可参考表3进行赋权。DRS会在“预检查”阶段对数据库账号权限进行自动检查,并给出处理建议。
设置版本到期时间 该任务指导用户通过凭据详情页面进行凭据版本到期时间设置。 操作步骤 登录管理控制台。 单击管理控制台左上角,选择区域或项目。 单击页面左侧,选择“安全与合规 > 数据加密服务”,默认进入“密钥管理”界面。
终端节点服务:通过终端节点服务名称连接数据源,适合连接非当前账号和无法获取VPCEP权限数据源场景以及连接ECS自搭建数据源场景。终端节点服务连通方式接入Doris数据源。 操作前准备 用户连接数据源时,检查是否添加了公网IP/内网(VPCEP)安全组。
由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用创建的用户进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。
设置负载均衡内网访问控制 操作场景 GeminiDB Redis支持设置负载均衡内网访问控制。 使用须知 负载均衡地址不支持安全组,创建完成后请配置IP访问控制,如未配置白名单,所有与VPC互通的IP地址均可访问实例。 开启负载均衡地址黑白名单 登录管理控制台。
Spark SQL样例程序(Java) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: public
Spark Streaming对接Kafka0-10样例程序 Spark Streaming对接Kafka0-10样例程序开发思路 Spark Streaming对接Kafka0-10样例程序(Java) Spark Streaming对接Kafka0-10样例程序(Scala)
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar
Flink HBase样例程序开发思路 本章节适用于MRS 3.2.0及以后版本。 典型场景说明 本样例介绍通过Flink API作业读写HBase数据。 数据规划 准备HBase配置文件,通过Manager下载集群配置,获取“hbase-site.xml”文件。 开发思路 写HBase
Flink Hudi样例程序开发思路 本章节适用于MRS 3.3.0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据,将数据写入到Hudi表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream
Kafka Shell命令介绍 查看当前集群Topic列表。 shkafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> shkafka-topics.sh --list --bootstrap-server <Kafka
MapReduce统计样例程序 MapReduce统计样例程序开发思路 MapReduce统计样例代码 父主题: 开发MapReduce应用
配置Oozie作业执行入口 功能描述 流程任务的执行入口,每个流程任务有且仅有一个该节点。 参数解释 Start Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 to 后继action节点的名称 样例代码 <start to="mr-dataLoad
配置Oozie MapReduce作业 功能描述 MapReduce任务节点,负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称