检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。
在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。
MapReduce开发指南(安全模式) MapReduce应用开发简介 MapReduce应用开发流程介绍 准备MapReduce应用开发环境 开发MapReduce应用 调测MapReduce应用 MapReduce应用开发常见问题
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
//执行拓扑提交 topology.execute(); 增加如上的安全插件配置后,可以避免HDFSBolt和HBaseBolt在初始化过程中的无谓登录,因为Flink已经实现准备好了安全上下文,无需再登录。 迁移Storm对接其他安全组件的业务 如果Storm的业务使用的storm-kak
dows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置https ssl证书。 登录集群任意节点,进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2
参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\flink-examples”目录下的样例工程文件夹“flink-examples-security”。 在安全模式下,获取“src\flink-examples”下的样例工程flink-examples-security。 在普通模式下,获取“sr
ClickHouse样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地解压,即可获取各组件对应的样例代码工程。 当前MRS
中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21
配置hosts文件 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 图2 管理安全组规则 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的I
list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "https://10-12
防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。
中的私网IP改为对应的公网IP。 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21
如何使用自定义安全组创建MRS集群? 问: 如何使用自定义安全组创建MRS集群? 答: 使用自定义安全组创建MRS集群有以下两种方式: 用户购买集群时,选择使用自己创建的安全组时,需要放开9022端口。 用户购买集群时,安全组选择“自动创建”。 父主题: 集群创建类
HBase应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程:
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified info
注意事项 通过Java API访问Oozie需要先参考环境准备章节进行安全认证,并将依赖的配置文件(配置文件Workflow.xml的开发参见配置Oozie业务运行流程)与jar包上传到HDFS,并确保进行过安全认证的用户有权限访问HDFS上对应的目录(目录的属主是该用户,或与该用户属于同一个用户组)。
使用REST接口获取所有HBase表 功能简介 使用REST服务,传入对应host与port组成的URL,通过HTTPS协议,获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example