检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。
dfs.client.failover.proxy.provider.[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache.hadoop.hdfs.server
在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Wind
disable: false 具体配置项介绍请参考HA。 Web安全 Flink Web安全加固,支持白名单过滤,Flink Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用
disable: false 具体配置项介绍请参考HA。 Web安全 Flink Web安全加固,支持白名单过滤,Flink Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用
查询作业exe对象详情(V1) GET /v1.1/{project_id}/job-exes/{job_exe_id} mrs:job:get √ √ 查询用户代理信息 GET/v2/{project_id}/clusters/{cluster_id}/agency-mapping √ √ 查询作业日志详情
具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。结合虚拟私有云的子网划分、路由控制、安全组等功能,为用户提供高安全、高可靠的网络隔离环境。 资源隔离 MRS服务
join cow表,作业启动后缓存过期,重新加载不到数据,join无输出的问题。 解决[FLINK-27247]问题。 解决Flink通过代理用户访问普通集群Hive失败问题。 解决磁盘不可用告警无具体盘符问题。 解决阈值告警平滑次数偶现不生效,导致阈值告警频繁上报的问题。 解决
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
允许使用Impala的SQL语法从Kudu tablets插入、查询、更新和删除数据。此外,还可以用JDBC或ODBC,Impala作为代理连接Kudu进行数据操作。 Impala与HBase间的关系 Impala表默认使用存储在HDFS上的数据文件,便于全表扫描的批量加载和查
设置SSL加密的算法。 如下参数MRS的Flink默认配置没有,用户可以根据需要进行添加,外部连接开启SSL,YARN的代理无法访问Flink页面。这是由于YARN不支持https代理。配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 参数 参数值示例
计算资源的分配。ResourceManager将各个资源部分(计算、内存、带宽等)精心安排给基础NodeManager(YARN的每个节点代理)。ResourceManager还与Application Master一起分配资源,与NodeManager一起启动和监视它们的基础应
本章节指导用户在安全模式集群下通过HSConsole界面添加另一个HetuEngine数据源。 添加跨集群HetuEngine数据源步骤 获取他域HetuEngine集群的代理用户的“user.keytab”文件。 登录他域HetuEngine集群FusionInsight Manager页面。 选择“系统 > 权限
g”路径下的“hbase-site.xml”、“core-site.xml”和“hdfs-site.xml”文件。 获取HBase数据源的代理用户的“user.keytab”和“krb5.conf”文件。 登录HBase数据源所在集群的FusionInsight Manager页面。
要检查“krb5.conf”文件内容是否正确,即是否与集群中的KerberoServer的业务IP配置相同。 检查Kerberos服务是否正常。 检查防火墙是否关闭。 解决客户端应用提交任务到hadoop集群报错,提示Failed to find any Kerberos tgt或者No valid
搜索“server.port”,获取HSBroker的端口号,安全模式默认为29860,普通模式默认29861; 如果连接不成功,请关闭代理重试。 单击“添加文件”,上传步骤二:获取JDBC jar包并配置主机映射中获取的JDBC驱动包。 单击“找到类”,自动获取驱动类,单击“
默认配置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。
e等组件。 使用Ranger、Sentry或组件开源的权限能力进行权限控制。 所在Region/AZ 云上资源填写项 虚拟私有云 云上资源填写项 子网 云上资源填写项 安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络(按节点组统计) HDFS Yarn
-get /user/hetuserver/fiber/restcatalog/hive/hdfs-site.xml 获取Hive数据源的代理用户的“user.keytab”和“krb5.conf”文件。 登录Hive数据源所在集群的FusionInsight Manager页面。