检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 ClickHouse应用开发流程介绍 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
修改或重置MRS集群admin用户密码 “admin”是Manager的系统管理员账号,建议用户参考修改admin用户密码定期修改密码,提高系统安全性。用户在密码丢失情况可参考重置admin用户密码进行重置。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。
ClickHouse开发指南(安全模式) ClickHouse应用开发简介 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看;主机名为hadoop,服务名为hive。 conf = {"krb_host":"hadoop.<系统域名>", "krb_service":"hive"}
修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 旧版本集群升级到新版本后,LDAP管理员密码将继承旧集群的密码策略,为保证系统安全,建议集群升级后及时修改密码。 对系统的影响 MRS 2.x及之前版本,修改密码需要重启全部服务,服务在重启时无法访问。 MRS 3.1.0版本集群: 修改
建议用户定期修改MRS集群组件运行用户的密码,以提升系统运维安全性。 MRS 2.x及之前版本: 如果初始密码由系统随机生成,需要直接重置密码。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。 MRS 3.x及之后版本,组件运行用户,根据初始密码是否是系统随机生成,可分为两类:
Kafka服务启动时,默认会启动PLAINTEXT和SASL_PLAINTEXT两种协议类型的安全认证。可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: 协议类型 说明 默认端口 PLAINTEXT
快速创建和使用启用安全认证的MRS集群 操作场景 本入门提供从零开始创建开启Kerberos认证的Hadoop分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业,用于统计海量文本的单词数量。 Hadoop集群完全使用开源
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
见“采集堆栈信息”章节。 安全风险说明:JDK中包含javac、jmap、jdb等调测工具,攻击者可以利用调测工具调试业务进程,可能造成进程中敏感信息泄露。但是此类攻击需要攻击者拿到集群节点的Shell权限后才可以执行,MRS集群部署在VPC内,有安全组控制访问,故不将MRS集群暴露给不可信网络即可消解该风险。
MapReduce开发指南(安全模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。
py和python-examples/pyline.py的conf数组中的“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使
使用Consumer API订阅安全Topic并消费 功能简介 用于实现使用Consumer API订阅安全Topic,并进行消息消费。 代码样例 以下为用于实现使用Consumer API订阅安全Topic,并进行消息消费的代码片段。 详细内容在com.huawei.bigdata
erberos_service_name="hive"。 krbhost:参数值为“hadoop.实际域名”,实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 执行SQL语句,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容。
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Doris集群配置文件 配置并导入样例工程 Doris
Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Consumer相关API的使用样例
该任务指导用户定期修改MRS集群Kerberos或OMS Kerberos(MRS 3.x及之后版本)管理员“kadmin”的密码,以提升系统运维安全性。 修改该密码会导致已经下载的用户凭证不可用,请修改该密码后重新下载认证凭据并替换旧凭据。 前提条件 MRS 2.x及之前版本,已在Master1节点准备客户端。
Log4jLoggerFactory] current user is developuser@<系统域名> (auth:KERBEROS) login user is developuser@<系统域名> (auth:KERBEROS) cluset status is true Warning: