MAPREDUCE服务 MRS-使用Spark2x实现车联网车主驾驶行为分析:创建作业

时间:2024-06-13 09:38:54

创建作业

  1. MRS 控制台左侧导航栏选择现有集群,单击名称为“mrs_demo”的集群。
  2. 在集群信息页面选择“作业管理”页签,单击“添加”,进入添加作业页面。

    图7 添加作业

  3. 图8完成作业参数配置。

    表4 配置作业信息

    参数名称

    配置方法

    作业类型

    选择“SparkSubmit”。

    作业名称

    输入“driver_behavior_task”。

    执行程序路径

    单击“OBS”,选择准备Spark2x样例程序和样例数据中上传的名称为driver_behavior.jar的jar包。

    运行程序参数

    参数选择“--class”,值输入“com.huawei.bigdata.spark.examples.DriverBehavior”。

    执行程序参数

    输入“AK SK 1 输入路径 输出路径”。

    • AK/SK请参考说明方式获取。
    • 1为固定输入,用于指定作业执行时调用的程序函数。
    • 输入路径可通过单击“OBS”进行选择输入路径。
    • 输出路径请手动输入一个不存在的目录,例如obs://obs-demo-analysis-hwt4/output/。
    说明:

    AK/SK,请通过如下方式获取。

    1. 登录华为云管理控制台。
    2. 单击右上角的用户名,然后选择“我的凭证”。
    3. 系统跳转至“我的凭证”页面,单击“访问密钥”。
    4. 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。

    服务配置参数

    保持默认不配置。

    图8 添加作业

  4. 单击“确定”,开始提交作业,执行程序。
support.huaweicloud.com/bestpractice-mrs/mrs_05_0001.html