检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenTSDB连接时,目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数,输入指标名称,或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数,记录数据的时间点,格式为yyyyMMddHHmmdd的字符串或时间戳。
在数据架构控制台,单击左侧导航树中的“技术指标”,进入技术指标页面。 新建一个原子指标“总车费”,用于统计总车费。 在技术指标页面,进入“原子指标”标签页,然后单击“新建”按钮。 在新建原子指标页面配置如下,配置完成后单击“发布”。 图45 原子指标 等待审核人审核通过。审核通过后,原子指标就创建好了。 当
数据架构支持最大导入文件大小为4Mb;支持最大导入指标个数为3000个;支持一次最大导出500张表。 单工作空间中创建各类对象的配额如下: 主题5000个。 数据标准目录500条,个数20000个。 业务指标100000个。 原子指标、衍生指标、复合指标各5000条。 配置中心中各类对象的自定义项配额如下:
SQL、MRS Spark、MRS Flink Job、MRS MapReduce。 要想hive的优先级生效,请联系运维工程师打开MRS Hive优先级配置项的开关。 使用基线运维之前,需要在MRS服务创建Topic,具体操作请参见KafkaUI创建Topic。 DLI约束限制: DLI
部署者 无 查看发布包 查看发布项列表 发布包:只有部署者和管理者可以操作 撤销发布:只有部署者和管理者可以操作 运维者 拥有生产环境的作业及脚本实例的运行监控、运维调度等权限。 开发环境:只读操作 生产环境:所有操作 部署:查看发布包内容 环境信息配置:只读操作 访客 仅只读 仅只读
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。单击“默认项设置”,设置“作业告警通知主题”配置项。按责任人配置工作空间作业告警通知主题的详细操作请参见作业告警通知主题。如果已配置,请忽略。 图1 配置作业告警通知主题 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“终端订阅管理”页签
述,以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的,通过对事物进行分析,按照一定的标准,划分出不同的类别。 二者主要区别如下: 表1 标签和分类区别 属性 分类 标签 排他性 有 无 关系 从属 相关(关联) 创建 事前规划 任意时间 代价 高 低 来源
配置环境变量 本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数,当某参数隶属于多个作业,可将此参数提取出来作为环境变量,环境变量支持导入和导出。 简单模式和企业模式下,配置工作空间的环境变量的角色有所不同: 简单模式:工作空间的环境变量开发者和管理员都能创建或编辑环境
进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。在该作业的“操作”列,选择“更多 > 补数据”。进入“补数据”页面。 如果您需要补充2023-02-27至2023-03-01之间的历史数据,补数据的
(如已存在out目录,会报错)。 单击“测试运行”,执行该脚本作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 图4 查看作业执行结果 作业日志中显示已运行成功 图5 作业运行日志 图6 作业运行状态 查看OBS桶中返回的记录。(没设置返回可跳过) 图7
failed, so the current node status is set to cancel.”。 解决方案 依赖的作业有失败的,在作业实例监控的状态为“已取消”右侧有个问号,单击该问号可以查看依赖作业的失败实例。 父主题: 数据开发
调度所配置的周期性运行时间时,被自动调度起来的实例快照。 周期任务每调度一次,便生成一个实例工作流。用户可以对已调度起的实例任务进行日常的运维管理,如查看运行状态,对任务进行终止、重跑等操作。 表5 配置周期调度参数 参数名 说明 生效日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。
${环境变量} ${环境常量} 配置方法请参考:环境变量 作业变量/作业常量 作业参数为作业级的参数,可用于作业中的任意节点。 当前作业 ${作业变量} ${作业常量} 配置方法请参考:配置作业参数 脚本参数 配置自定义字段的参数名称和参数值。 当前脚本 ${脚本参数} 配置方法请参考:脚本参数
查询自定义项 功能介绍 查询自定义项(包括表自定义项、属性自定义项、主题自定义项、业务指标自定义项)。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/customized-fields 表1 路径参数 参数 是否必选 参数类型 描述
修改自定义项 功能介绍 修改自定义项(包括表自定义项、属性自定义项、主题自定义项、业务指标自定义项)。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/customized-fields 表1 路径参数 参数 是否必选 参数类型 描述
签。如需解锁作业标签,请参考锁定与解锁作业标签。 监控某个作业标签下的作业 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签名对应的“前往监控”,可进入作业监控界面,该界面展示具有此标签的所有作业。 锁定与解锁作业标签
ATOMIC_INDEX: 原子指标 ATOMIC_METRIC: 原子指标(新) BIZ_CATALOG: 流程架构目录 BIZ_METRIC: 业务指标 CODE_TABLE: 码表 COMMON_CONDITION: 通用限定 COMPOSITE_METRIC: 复合指标(新) COMPOUND_METRIC:
发 > 作业开发”。 移动作业或作业目录。 方式一:通过右键的“移动”功能。 在作业目录中选择需要移动的作业或作业文件夹,右键单击作业或作业文件夹名称,选择“移动”。 图1 选择要移动的作业 在弹出的“移动作业”或“移动目录”页面,配置作业要移动到的目录。 图2 移动作业 图3 移动目录
在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 基线运维”。 选择“基线实例”页签进入基线实例页面。 在基线实例的列表里面,可以查看基线实例的详细信息,包含基线名称、责任人、优先级、状态、开始时间、完成时间、基线时间等。