检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark输入 概述 “Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String
Spark输入 概述 “Spark输入”算子,将SparkSQL表的指定列转换成同等数量的输入字段。 输入与输出 输入:SparkSQL表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark数据库 SparkSQL的数据库名称。 String
http://localhost:8080/hive/example/executesql命令。 运行样例代码时日志中可能会打印以下日志信息,虽然日志级别显示ERROR,但是不影响执行结果: ERROR 51320 --- [c-8-EventThread] o.a.c.framework.imps
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
/opt/storm/topology.jar com.huawei.storm.example.WordCountTopology topology1 显示以下信息表示拓扑提交成功: Finished submitting topology: topology1 登录认证用户必须与所加载环境变量(component_env)一
cluster/tmp/plan.json”文件(单击“语义校验”后系统会在HDFS中会生成CompiledPlan文件),文件内容如下,显示“id”为“1”的datagen算子并行度为“2”。 以修改datagen算子并行度为“1”为例,则修改"table.exec.resource
确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。 在IDEA主页,选择“File>Project
确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。 在IDEA主页,选择“File
确认工程所用JDK,然后单击“Next”。 图17 Select project SDK 导入结束,单击“Finish”,IDEA主页显示导入的样例工程。 图18 导入结束 图19 已导入工程 导入样例工程依赖的Jar包。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后,
查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar MRTest-XXX.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如: yarn jar MRTest-XXX.jar /tmp/mapred/example/input/ /tmp/root/output/1
确认工程名称和路径,单击“Finish”完成导入。 图15 Confirm the project name and file location 导入完成后,IDEA主页显示导入的样例工程。 图16 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。 在IDEA主页,选择“File
确认工程所用JDK,然后单击“Next”。 图17 Select project SDK 导入结束,单击“Finish”,IDEA主页显示导入的样例工程。 图18 导入结束 图19 已导入工程 导入样例工程依赖的Jar包。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后,
查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar MRTest-XXX.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如: linux1:/opt # yarn jar MRTest-XXX.jar /user/mapred/example/input/
以root用户登录到需要添加用户的节点。 执行以下命令: rpm -qa | grep pam rpm -qa| grep krb5-client 界面一共显示以下rpm包: pam_krb5-32bit-2.3.1-47.12.1 pam-modules-32bit-11-1.22.1 yast2-pam-2
} return false; } }); //对符合的female信息进行打印显示 for(Tuple2<String, Integer> d: rightFemales.collect()) {
查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar MRTest-XXX.jar命令后,可以通过执行结果显示正在执行的应用的运行情况。例如: yarn jar MRTest-XXX.jar /tmp/mapred/example/input/ /tmp/root/output/1
√ x x √ 删除集群 √ x x √ 查询集群详情 √ √ √ √ 查询集群列表 √ √ √ √ 设置弹性伸缩策略 √ x x √ 查询主机列表 √ √ √ √ 查询操作日志 √ √ √ √ 创建并执行作业 √ √ x √ 停止作业 √ √ x √ 删除单个作业 √ √ x √
1/{project_id}/cluster_infos 查询集群详情 GET /v1.1/{project_id}/cluster_infos/{cluster_id} 查询主机列表 GET /v1.1/{project_id}/clusters/{cluster_id}/hosts 删除集群 DELETE /v1
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名