检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source .
其中,<inputPath>指HDFS文件系统中input的路径。
在hbase命令执行下面的命令创建HBbase表: create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk
MRS 3.1.5.0.3 及之后的补丁版本中diskmgt服务会检测EVS磁盘(受diskmgt服务监控的磁盘)容量是否增加,如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容,达到自动扩充磁盘分区存储容量的能力。
在hbase命令执行下面的命令创建HBbase表: create 'streamingTable','cf1' 在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk
配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 true表示启用。
可以传入以下系统预定义参数: ${mrs_scale_node_num}:扩缩容节点数 ${mrs_scale_type}:扩缩容类型,扩容为scale_out,缩容为scale_in ${mrs_scale_node_hostnames}:扩缩容的节点主机名称 ${mrs_scale_node_ips
") sk := os.Getenv("CLOUD_SDK_SK") projectId := "{project_id}" auth := basic.NewCredentialsBuilder().
图19 选择Scala语言 当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置 图20 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。
图19 选择Scala语言 当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置 图20 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。
文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。
操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。
") sk := os.Getenv("CLOUD_SDK_SK") projectId := "{project_id}" auth := basic.NewCredentialsBuilder().
表1 各组件样例工程汇总(2.x版本) 组件 样例工程位置 描述 Alluxio alluxio-examples 使用Alluxio通过公共接口连接到存储系统示例程序。可实现写文件、读文件等功能。
图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for the new Scala SDK”页面单击“Browse...”。
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 密码不允许包含“#”。 使用该generate_keystore.sh脚本前需要在客户端目录下执行source bigdata_env。
图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for the new Scala SDK”页面单击“Browse...”。