检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API和多线程的使用场景,帮助用户快速熟悉Kafka接口。 Kafka样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并打包,上传到VPC的Linux节点运行。 调测Kafka应用 查看程序运行结果 程序运行结果可以输出到Linux命令行页面。也可通过Linux客户端
truststore 将2中生成的Jar包上传到Flink客户端节点相关目录下,例如上传至“/opt/hadoopclient”。 在jar包所在目录下创建“conf”目录,将准备集群配置文件中获取的集群客户端配置文件软件包内“Flink/config”内的配置文件上传至“conf”目录。 将应
Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore Type drs-oracle-json Description
Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore Type opengauss Host 11.11
Username testuser Password testuser用户密码 SSL Truststore Location 单击“上传文件”,上传认证文件 SSL Truststore Password - Datastore Type drs-oracle-avro Description
BS成功,如图1所示: hadoop fs -ls obs://mrs-word001/ 图1 Hadoop验证返回文件列表 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径
等待文件系统创建好,单击文件系统名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。 切换回MRS控制台,单击创建好的MRS集群名称,进入“概览”,单击“IAM用户同步”所在行的“同步”,等待约5分钟同步完成。 图2 同步IAM用户 将数据文件上传HDFS。 在“文件管理”页签,选
HDFS上更新了Oozie的share lib目录但没有生效 问题 在HDFS的“/user/oozie/share/lib”目录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx
config_file”参数单击“上传文件”,选择5中准备的“core-site.xml”文件上传。 在“remote_connect_hdfs_config_file”参数单击“上传文件”,选择5中准备的“hdfs-site.xml”文件上传。 图1 配置CLickHouse数据备份参数
连接成功后单击“确定” 完成配置数据连接。 上传PostgreSQL或MySQL对应的开源驱动包到所有MetaStore实例所在节点中,替换集群已有的驱动包: PostgreSQL:将驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点“${BI
等待桶创建好,单击桶名称,选择“文件 > 上传文件”,将数据文件上传至OBS并行文件系统内。 切换回MRS控制台,单击创建好的MRS集群名称,进入“概览”,单击“IAM用户同步”所在行的“单击同步”,等待约5分钟同步完成。 将数据文件上传HDFS。 在“文件管理”页签,选择“HD
HDFS上更新了oozie的share lib目录但没有生效 问题 在HDFS的“/user/oozie/share/lib”目录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx
txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。 进入客户
txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。 进入客户
3.x、MySQL 4.1 将“mysql-connector-java-5.1.21.jar”上传至MRS master 主备节点loader安装目录。 针对MRS 3.x之前版本,上传至“/opt/Bigdata/MRS_XXX/install/FusionInsight-Sqoop-1
ive表文件。此文件将存储Hive表的新数据。 如果文件未在HDFS中保存,可以单击“Upload a file”从本地选择文件并上传。支持同时上传多个文件,文件不可为空。 如果需要将文件中的数据导入Hive表,选择“Import data”作为“Load method”。默认选择“Import
刷新队列”更新队列使配置生效。 配置Flume参数“flume.config.file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多
添加的依赖名称,需与上传的依赖包中connector的连接名一致。不支持上传同名依赖包。 kafka 注册jar jar包的上传方式: 上传文件:添加本地的jar包 指定路径:已准备好的依赖文件的HDFS路径 上传文件 上传文件 注册jar选择为“上传文件”时,需通过该项上传本地jar文件。
使用以下命令创建OBS文件系统下的目录: hdfs dfs -mkdir obs://OBS并行文件系统名称/hadoop 使用以下命令上传客户端节点“/opt/test.txt”文件到“obs://OBS并行文件系统名称/hadoop”路径下。 hdfs dfs -put /opt/test
在OBS控制台并行文件系统列表中,单击文件系统名称进入详情页面。 在左侧导航栏选择“文件”,新建program、input文件夹。 program:请上传程序包到该文件夹。 input:请上传输入数据到该文件夹。 步骤四:Hive访问OBS文件系统 用root用户登录集群Master节点,具体请参见登录集群节点。