检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server新建连接则需要重新认证,否则就会执行失败。因此,若长期执行应用过程中需要新建连接,用户需要在“url”中添加user.principal和user.keytab认证信息,以保证每次建立连接时认证成功,例如,“url”中需要加上“user.principal=sparkuser;user
获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间
SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。
Server新建连接则需要重新认证,否则就会执行失败。因此,若长期执行应用过程中需要新建连接,用户需要在“url”中添加user.principal和user.keytab认证信息,以保证每次建立连接时认证成功,例如,“url”中需要加上“user.principal=sparkuser;user
添加OBS日志级别配置 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop1”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop1”
WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面,在“计算实例”页签的实例列表中的“操作”列单击“重启”,根据界面提示重启实例。
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在
Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop”的用户,例如“hadoopuser”。
/setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口 -u 用户名 -d 保存信息的路径 -c 时间间隔(分钟) -m 每个保存文件的信息记录数 -s 备份启停开关 -e 指定的协议 例如: ./setNorthBound
查看表e的Location Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_spark”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_flink”,并将该用户组绑定给对应用户。 使用
创建hive角色 自定义用户组赋予OBS路径的读写权限 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“hiveobs1”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。
执行:q退出spark-shell命令行。 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
说明 --connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存
通过MRS客户端连接ZooKeeper报错 用户问题 MRS集群如何访问ZooKeeper? 问题现象 在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误,造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口
获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在
进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图3所示。 图3 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需对安全组规则进行