检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方案 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案
实例。您可以进行以下操作: 当勾选上“显示尚未生成的实例”后,通过时间筛选未来时间内尚未生成的作业实例。 勾选后进行筛选,能够显示未来时间内预计可能会生成的实例,显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例,可以进行“冻结”和“解冻”操作。您可以单击作业
进入相应页面后,单击“新建”,并在弹出窗口中设置各字段的值。 图5 填写数值 完成后单击“确定”。或者您也可以单击“确定并继续”继续添加更多码表记录。 导入码表 通过导入码表,可以导入新的码表,也可以往已有的码表中批量导入码表记录。如果码表记录比较多,建议采用导入方式。 在数据架构控制台,单击左侧的“码表管理”,进入码表管理页面。
status is set to cancel.”。 解决方案 依赖的作业有失败的,在作业实例监控的状态为“已取消”右侧有个问号,单击该问号可以查看依赖作业的失败实例。 父主题: 数据开发
PostgreSQL到DWS参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum
CDM是否支持参数或者变量? 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在DataArts Studio数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 父主题: 数据集成(CDM作业)
码表和数据标准有什么关系? 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成,码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。 父主题: 数据架构
才支持此参数。 type为DLI SQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,必选。 queueName 是 String DLI资源队列名称,当type参数值为DLI SQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。
Studio实例,针对作业节点调度次数/天,技术资产数量和数据模型数量这三类配额,提供了默认规格。当实例默认配额不足以满足业务需要时,可以勾选并购买此处的增量包。 您也可以不勾选增量包,在后续业务使用中,可以在DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量并设置告警阈值。当配额接
如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 创建表达式转换器时,表达式的功能是对该字段的数据进行处理,故不建议使用时间宏。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。
CloudTable连接 介绍 通过CloudTable连接,可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
表达式转换 使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 数据进行转换过程中,替换内容包含特殊字符时,需要先使用\将该字符转义成普通字符。
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作后,可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践
Studio实例,针对作业节点调度次数/天,技术资产数量和数据模型数量这三类配额,提供了默认规格。当实例默认配额不足以满足业务需要时,可以勾选并购买此处的增量包。 您也可以不勾选增量包,在后续业务使用中,可以在DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量并设置告警阈值。当配额接
15-23:30。 day_of_week 否 String 每周的星期几可以补数据,如:每周一,周三的每天10点15分到23点30分。 day_of_month 否 String 每个月的哪几天可以补数据,如每月1号,3号,表示:1,3。 表5 SupplementDataInstanceTime参数说明
Kerveros认证所需的Principal,您也可以联系管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。
查询作业列表 功能介绍 查询批处理或实时作业列表,每次查询返回的作业数量上限是100。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs?jobType={jobType}&offset
查询任务完成情况 功能介绍 查询任务完成情况。包括今天,昨天以及近7天的平均任务完成情况。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/monitor/task-completion-data