检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
配置MRS集群间互信(MRS 2.x及之前版本) 在MRS管理控制台,分别查看两个集群的所有安全组。 当两个集群的安全组相同,请执行3。 当两个集群的安全组不相同,请执行2。 在VPC管理控制台,选择“访问控制 > 安全组”,在对应安全组名称的操作列单击“配置规则”,分别为每个安全组添加规则。 在入
用程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。安全登录流程请参见安全认证接口章节。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Sasl Plaintext认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer认证 HBase访问多ZooKeeper场景安全认证 调用Sprin
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer安全认证 HBase访问多ZooKeeper场景安全认证 父主题: 准备HBase应用开发环境
用程序命令中设置安全认证参数。 安全认证代码(Java版) 目前样例代码统一调用LoginUtil类进行安全认证。 在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示,请根据实际情况修改对应参数值。
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example
WebUI界面从ThirdKafka导入Oracle数据库数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 集群已安装CDL、Hudi服务且运行正常。 ThirdKafka数据库的Topic需要能被MRS集群消费,操作步骤请参考ThirdPartyKafka前置准备。 在FusionInsight
配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 NameNode进入安全模式后,该NameNode不可写入。 可能原因 用户手动进入安全模式或重启NameNode时存在丢块。 处理步骤 检查NameNode节点是否进入安全模式。 登录FusionInsight Manager页面,选择“运维
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
MRS 1.9.2.3及之后版本补丁说明 MRS 1.9.2.5补丁说明 表1 补丁基本信息 补丁号 MRS 1.9.2.5 发布时间 2024-05-30 安装前处理 安装此补丁前,如果之前有装过MRS_1x2x_Patch_Diskmgt_20230308.tar.gz补丁,
在Manager上的历史操作记录,审计管理包含的审计内容信息,请参考审计日志。 该任务指导用户在MRS Manager查看、导出审计日志工作,用于安全事件中事后追溯、定位问题原因及划分事故责任。 查看审计日志(MRS 3.x及之后版本) 登录FusionInsight Manager。
WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。 Opengauss数据库需要开启预写日志功能,操作步骤请参考Opengauss数据库开启预写日志功能。 在FusionInsight