检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航树中，单击“任务监控”，查看采集任务是否成功。 图6 查看监控任务 当采集任务成功后，在左侧导航栏单击“数据目录”，选择“技术资产”页签，然后设置筛选条件，例如选中连接“mrs_hive_link”，以及选中“Table”，将显示符合条件的所有的表。 图7 技术资产 单击所需要的元数据名称，即可查看详情信息。
DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
选择是否拆分Rowkey，例如“true”。 fromJobConfig.delimiter 否 String 用于切分Rowkey的分隔符，若不设置则不切分，例如“|”。 fromJobConfig.startTime 否 String 时间区间左边界（包含该值），格式为“yyyy-MM-dd
如果导入的作业名有重复，系统会按后面一列来识别，标签标识按照该行来处理。 添加方式：支持追加和覆盖两种。 追加：若该作业已设置了作业标签，新添加的标签不会覆盖原来的标签。 覆盖：若该作业已设置了作业标签，新添加的标签将会直接覆盖原来的标签。 单击“确定”，完成导入。 导出作业标签 在数据开发主界面的左侧导航栏，选择“配置管理
le的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。
称]_[节点名称]。 minPlanTime 否 Long 返回作业实例开始时间大于minPlanTime的作业实例，单位为毫秒ms，默认设置为查询当天0点。 maxPlanTime 否 Long 返回作业实例开始时间小于maxPlanTime的作业实例，单位为毫秒ms。 limit
支持多种数据源链路组合，您可以将多种输入及输出数据源搭配组成同步链路进行数据同步。详情请参见支持的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种环境下的数据同步。在配置同步任务前，您可以根据数据库所在网络环境，选择合适的同步解决方案来确保数据集成资源组与您将同步的数
环比增长率 描述 描述信息。支持的长度为0~600个字符。 表达式 *设定表达式 选择所需要的衍生指标或复合指标，并根据实际需求在“表达式”中设置表达式。 同比增长率 *同比配置 选择年同比、月同比或者周同比。 *设定衍生指标 选择所需要的衍生指标，此处仅展示有时间限定衍生指标。系统
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
原作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 否 String
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型
环境。 配置两套数据湖服务，进行开发与生产环境隔离。 对于集群化的数据源（例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。
表。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 参数说明 参数名 是否必选 类型
Yarn队列权限前，需要参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。 MRS Yarn队列权限的策略生效，需要配置YARN严格权限控制，即设置参数“yarn.acl.enable”为true，具体请参见参考：配置Yarn严格权限控制。 约束与限制 当前分配队列资源只支持MRS Yarn队列。队列权限管控只支持MRS
数据识别规则页面。 单击页面上方“规则分组”页签，进入分组列表页面。 图1 新建数据识别规则组 单击“新建”，输入新建分组名称和描述，参数设置参考表1，并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中，右侧已选列表
字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hudi插入数据前，通过set语法设置参数，从而控制spark的写入行为。 hoodie.combine.before.upsert 父主题： 配置作业目的端参数
等信息。在节点监控页签，可以查看实时作业的运行日志。 同时，您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。 实时作业监控：禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行，恢复运行时可以重新选择运行位置。 参考访问DataArts
维度对应的字段。 例如，该示例中，统计维度设置为地区。 时间周期 在下拉框中选择所需要的时间周期，并选择关联的字段。系统预置了一些时间周期，如果不能满足需求，请参考时间周期进行创建。 过滤条件名称 输入过滤条件名称。 过滤条件类型 设置过滤条件类型。 业务定义 输入过滤条件的业务定义。支持的长度为0~600个字符。
的计划时间决定，即由节点调度配置的计划调度时间决定。举例如下： 如果当前节点为日调度节点，并且设置计划调度时间为01：00，则小时的参数取值为01。 如果当前节点为小时调度节点，并且设置计划调度时间为00：00~23：59，每小时调度一次，则：第一个小时实例计划时间为0点，小时的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
