检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“JDBC > Oracle”。 配置“Oracle配置”,参数配置请参考表1 Oracle配置。 表1 Oracle配置 参数 描述 取值样例 驱动名称 选择2中已提前上传的待使用的Oracle驱动,格式为ojdbcxxx
名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
步骤4:运行作业并查看结果:运行程序并查看数据分析结果。 步骤1:创建MRS集群 创建并购买一个包含有Spark2x、Kafka组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点
main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。 代码样例 下面代码片段仅为演示,具体代码请参见com.huawei.bigdata.mapreduce.examples.MultiComponentExample类 样例1:类Mu
flume/conf/”下。 验证日志是否传输成功。 以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问集群Manager。在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > HDFS”,单击
flume/conf/”下。 验证日志是否传输成功。 以具有HDFS组件管理权限的用户登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。在FusionInsight Manager界面选择“集群 >
停止作业。 status 查询作业状态。 命令参考 sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考开源sqoop-shell工具使用示例(SFTP - HDFS)、开源sqoop-shell工具使用示例(Oracle - HBase)
令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND 其中COMMAND内容请参考表1。 其中版本号8.1.0.1为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager
停止作业。 status 查询作业状态。 命令参考 sqoop2-shell有两种获取登录认证信息的方式,第一种通过配置文件获取,具体配置项请参考使用sqoop-shell工具导入数据到HDFS、使用sqoop-shell工具导入数据到HBase;第二种方式则使用参数直接提供认证信
令导入环境变量,直接运行命令即可。 格式如下所示: yarn [--config confdir] COMMAND 其中COMMAND内容请参考表1。 其中版本号8.1.2.2为示例,具体以实际环境的版本号为准。 表1 常用Command描述 COMMAND 描述 resourcemanager
的表创建、删除以及数据的插入、查询等操作。 创建MRS ClickHouse集群 购买一个包含有ClickHouse组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.2.0-LTS.1版本的集群为例,组件包含ClickHouse组件,集群开启Kerberos认证。
否则以HTTPS访问不了HDFS。单击“保存配置”,并勾选“重新启动受影响的服务或实例。”,单击“是”,重启HDFS服务。 TLSv1协议存在安全漏洞,请谨慎使用。 登录MRS Manager页面,单击“服务管理 > HDFS > 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“dfs