检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对上述风险,MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时,ELB通过故障转移方式正常对外提供服务。 图1
不涉及 cpu String 参数解释: CPU核数。 取值范围: 不涉及 root_volume_size String 参数解释: 操作系统盘容量。 取值范围: 不涉及 data_volume_type String 参数解释: 数据盘类型。 取值范围: 不涉及 data_volume_size
13 使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户:
13 使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户:
ode实例的存储目录将同步修改。 更改DataNode单个实例的存储目录,只对单个实例生效,其他节点DataNode实例存储目录不变。 对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务,集群未完全启动前无法提供服务。 更改DataNode单个实例的存
可为空。 output 否 String 数据输出地址,必须以“/”或“s3a://”开头。请配置为正确的OBS路径,如果该路径不存在,系统会自动创建。 最多为1023字符,不能包含;|&>'<$特殊字符,可为空。 job_log 否 String 作业日志存储地址,该日志信息
ns-crypto.version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。
如需添加多列的脱敏策略,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过Hive客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 处理数据需要用户同时具有向Yarn队列提交任务的权限。 Hive行级别数据过滤 Ranger支持用户对Hiv
用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件 已
bUI界面输出。 进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 其中,<inputPath>指HDFS文件系统中input的路径。 bin/spark-submit --class com.huawei.bigdata.spark.examples
(values(1,'suse'),(2,'centos'),(3,'euler')) as t (id,os); select * from tb_del; id | os ----|-------- 1 | suse 2 | centos 3 | euler
create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 提交任务命令执行之后,在该命令下输入要提交的数据,通过HBase表进行接收。
行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 对系统的影响 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间无法访问服务。 配置HBase、HDFS、Hive、Spar
及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight
create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 提交任务命令执行之后,在该命令下输入要提交的数据,通过HBase表进行接收。
allow-access-address配置项中。 禁止将文件绝对路径发送到客户端: 说明:文件绝对路径发送到客户端会暴露服务端的目录结构信息,有助于攻击者遍历了解系统,为攻击者攻击提供帮助。 安全加固:Flink配置文件中所有配置项中如果包含以/开头的,则删掉第一级目录。 同源策略: 适用于MRS 3.x及之后版本。
如需添加多列的脱敏策略,可单击按钮添加。 单击“Add”,在策略列表可查看策略的基本信息。 用户通过HetuEngine客户端对配置了数据脱敏策略的表执行select操作,系统将对数据进行处理后进行展示。 HetuEngine行级别数据过滤 Ranger支持用户对HetuEngine数据表执行select操作时进行行级别的数据过滤。
当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置 图20 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图21 Create... 在“Select JAR's for
行判断(默认值: false) 支持 支持通配符路径,但不支持以逗号分隔的多个路径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate
Manager管理员用户名,密码以及OMS浮动IP地址。 OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,