正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
配置Oozie应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在开发Oozie应用程序时,某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全
配置HDFS应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码,确保HDFS程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IDEA界面左下
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
配置MapReduce应用安全认证 场景说明 在kerberos认证集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
YARN应用开发简介 简介 Yarn是一个分布式的资源管理系统,用于提高分布式的集群环境下的资源利用率,这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改,可是
裸金属服务器与弹性云服务器(虚拟机)的主要区别是什么? 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,推荐使用裸金属服务器。 了解裸金属服务器、物理机以及虚拟机的功能和性能差异,请参考裸金属服务器与物理机、虚拟机特性对比。
地化,以提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择分布方案 表的分布方式的选择如表1所示。 表1 表的分布方式及使用场景 分布方式 描述 适用场景 Hash 表数据通过Hash方式散列到集群中的所有DN上。
产品安全 企业门户提供安全保护吗? 企业门户全面采用华为云计算资源集群,由专门的运维团队保障客户的正常使用。 对于服务的安全性和可靠性,企业门户采用多节点冗余部署,保障服务高可用。同时也采用华为云安全服务,漏洞检测服务和Anti-DDoS服务。框架版本如果存在安全漏洞,由专门的运维团队进行维护升级。
在连接Kafka实例生产消费消息前,请先获取以下Kafka实例信息。 实例连接地址与端口 实例创建后,从Kafka实例控制台的基本信息页面中获取。 如果Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议配置所有的连接地址,提高可靠性。 如果开启公网访问,还可以使用基本信息页面下方的公网连接地址访问Kafka实例。
查看系统表 除了创建的表以外,数据库还包含很多系统表。这些系统表包含集群安装信息以及GaussDB上运行的各种查询和进程的信息。可以通过查询系统表来收集有关数据库的信息。 “Schema”中每个表的说明指出了表是对所有用户可见还是只对初始化用户可见。必须以初始化用户身份登录才能查询只对初始化用户可见的表。
但对用户本身的数据抽象能力有一定的要求。 策略 描述 适用场景 Hash 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 Replication 集群中每一个DN实例上都有一份全量表数据。 小表、维度表。 Range 表数据对指定列按照范围进行映射,分布到对应DN。
步骤1:准备源数据 GaussDB支持将存在远端服务器上的TEXT、CSV和FIXED格式的数据导入到集群中。本教程以CSV格式的数据为例进行演示。其他两种格式,方法相同,只在外表的相关参数项设置上有差异,详细请参见通过外表并行导入。 准备数据源文件 为了演示如何导入多个文件,此
N的数据存在一块物理存储设备上,好的表定义至少需要达到以下几个目标: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压力均匀分散在各个DN上,以避免单DN的Scan压力过大,形成Sc
但对用户本身的数据抽象能力有一定的要求。 策略 描述 适用场景 Hash 表数据通过hash方式散列到集群中的所有DN实例上。 数据量较大的事实表。 Replication 集群中每一个DN实例上都有一份全量表数据。 小表、维度表。 Range 表数据对指定列按照范围进行映射,分布到对应DN。
"char" 特殊用户种类,包括私有用户、逻辑集群(当前特性是实验室特性,使用时请联系华为工程师提供技术支持)管理员、永久用户和普通用户。 rolnodegroup oid 用户所关联的Node Group OID,该Node Group必须是逻辑集群(当前特性是实验室特性,使用时请联系华为工程师提供技术支持)。
当前仅“华北-北京四”区域支持可信跨链服务。 购买区块链服务 您可通过华为云区块链服务Hyperledger Fabric增强版实例,具体请参考基于CCE集群部署。 注册区块链 将区块链注册到TCS中,具体请参考注册区块链。 购买跨链通道 TCS将为您提供端到端全流程可信的跨链数据互通体验,具体请参考购买跨链通道。