检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ngboot\hive-examples”目录下的样例工程文件夹“hive-rest-client-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-rest-client-exam
on_enable ALL false 数据传输过程中是否压缩,默认不压缩。 root.log.level ALL INFO IoTDB的日志级别。该参数值修改后无需重启相关实例即可生效。 SSL_ENABLE ALL true 客户端到服务端通道SSL加密开关。 单击“保存”,配置完成。
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,如果用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时,使用hostname配置服务端地址
、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集群中所有作业。需要MRS集群已安装Yarn。 使用HBase创建/查询H
ase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录,请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”)
udu/config”路径下的所有配置文件至客户端节点,放置到与准备放置编译出的jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 准备开发用户时获取的keytab文件也放置于该目录下,主要配置文件说明如表2所示。 例如客户端软件包为“F
etu-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 normal文件夹:普通模式下对接HetuEngine的python3样例代码 security文件夹:安全模式下对接HetuEngine的python3样例代码。
--krb5-config-path {krb5.conf文件路径} --krb5-principal {用户principal} --krb5-keytab-path {user.keytab文件路径} --user {presto用户名} krb5.conf文件路径:请替换为5中设置的文件存放路径,例如“客户端安装目录/Presto/krb5
ne UDF,大于5个入参的HetuEngine UDF将无法被注册。 需要将所有依赖文件都打包到jar包里。 (可选)若用户存在HetuEngine UDF依赖的配置文件,建议将其作为资源文件放在resources目录下,即可打包到HetuEngine UDF函数包中。 部署HetuEngine
IP地址”为MySQL实例IP地址,需要和MRS集群网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 分别上传配置文件到Master节点(Coordinator实例所在节点)的“/opt/Bigdata
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
\hive-examples”目录下的样例工程文件夹“hive-jdbc-example”或“hcatalog-example”。 对于“hive-jdbc-example”样例工程,还需将准备连接Hive集群配置文件获取的配置文件“core-site.xml”、“hiveclient
以下操作皆以用户使用FusionInsight客户端提交Spark2x应用为基础,若用户使用了自己的配置文件目录,则需要修改本应用配置目录中的对应文件,并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时,使用hostname配置服务端地址
ase /user/developuser/myjobs/apps/spark2x/hive 将表格中的文件上传到对应目录,请参考表2。 表2 文件上传列表 初始文件路径 文件 上传目标目录 Spark客户端目录(如“/opt/client/Spark2x/spark/conf”)
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”,Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File
“LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。 选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。 “L
UCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名,OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。” 单击“确定”重启Alluxio服务。
两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确,密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机,然后通过Linux提供的scp命令复制到远端主机。 父主题: 集群管理类