检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需
调测HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需
调测Hive HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时,需
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
典型场景:从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码,
限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 用户使用Linux命令行创建topic,执行命令前需要使用kinit命令进行人机认证,如kinit flinkuser。 flinkuser需要用户自己创
确认MRS产品Storm和Kafka组件已经安装,并正常运行。 已搭建Storm示例代码工程,将storm-examples导入到Eclipse开发环境,参见导入并配置Storm样例工程。 用WinScp工具将Storm客户端安装包导入Linux环境并安装客户端,参见准备Linux客户端环境。 如果集群启用了安全
查询child表中的数据。 删除child表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务
”类中。 代码认证 请根据实际情况,修改“principal”为实际用户名,例如“developuser”。 在Windows环境下和Linux环境下请使用对应的路径获取方式。 //In Windows environment String userdir
"master_node_default_group", "node_num": 2, "node_size": "rc3.4xlarge.4.linux.bigdata", "root_volume": { "type": "SAS", "size":
查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若
错误 问题 为什么多次运行Spark应用程序会引发致命JRE错误? 回答 多次运行Spark应用程序会引发致命的JRE错误,这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题: Spark故障排除
com/grafana/download/9.5.2?edition=oss&platform=linux下载Grafana安装包到本地。例如,下载“Version”为“9.5.2”,“Edition”为“OSS”的Linux的Grafana安装包: 图3 下载Grafana安装包 在https://archive
含界面登录和SSH登录两种方式: 界面登录:直接通过弹性云服务器管理控制台提供的远程登录功能,登录到集群节点的Linux命令行操作界面。 SSH登录:仅适用于Linux弹性云服务器,您可以使用远程登录工具(例如PuTTY)登录弹性云服务器,此时需要该弹性云服务器绑定弹性IP地址。
Miranda,32 Karlie,23 Candice,27 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put data /data,上传数据文件。
个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL client applications
个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL client applications
错误 问题 为什么多次运行Spark应用程序会引发致命JRE错误? 回答 多次运行Spark应用程序会引发致命的JRE错误,这个错误由Linux内核导致。 升级内核版本到4.13.9-2.ge7d7106-default来解决这个问题。 父主题: Spark2x常见问题