检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在任务管理页面单击“新建”,新建一个元数据采集任务。 配置任务信息,如下图所示。 图1 配置任务信息 单击“下一步”,配置调度属性如下图所示。 图2 配置调度属性 单击“提交”,完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”,跳转到任务监控页面并查看任务状态。 场景二:更新数据目录中的元数据,添加新元数据
简单模式 企业模式(推荐) 生产任务开发流程管控差异 任务提交后,无需发布,即可进入调度系统周期性执行,产出结果数据。 (提交-->生产) 任务需要先提交至开发环境,再执行发布操作,将任务发布至生产环境,才可以自动调度运行任务。 (提交-->发布-->生产) 生产环境内不能做任何修改,只
统计前一天的销售额。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:创建DWS的数据连接中已创建的连接。 开发DWS SQL作业 DWS SQL脚本开发完成后,我们为DWS SQ
如下图所示。 图1 设置数据质量参数 单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业。 单击“提交”。数据质量作业配置完成。 配置数据开发作业 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
ILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。 toJobConfig
SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。 保存态表示脚本仅保存,无法调度运行,需要提交并审核通过后才能运行。 提交态表示脚本保存后会自动提交,需要审核通过才能运行。 生产态表示脚本跳过审批环节,创建后可以直接运行。注意:只
SAVED、SUBMITTED和PRODUCTION,分别表示脚本创建后是保存态,提交态,生产态。 保存态表示脚本仅保存,无法调度运行,需要提交并审核通过后才能运行。 提交态表示脚本保存后会自动提交,需要审核通过才能运行。 生产态表示脚本跳过审批环节,创建后可以直接运行。注意:只
作业%s已被禁用。不能提交作业。 作业已被禁用,无法提交。 当前作业无法提交,建议重新创建一个作业后再重试。或者,请联系客服或技术支持人员协助解决。 Cdm.0060 400 作业使用的连接%s已被禁用。不能提交作业。 作业使用的连接已被禁用。 请改为其他连接后,再重新提交作业。 Cdm
绑定公网域名”,输入已完成域名注册、ICP备案的域名,数据服务调用DNS服务将公网域名与外网地址相关联。注意,绑定公网域名的前提是在集群创建时已开启“公网入口”绑定了弹性公网IP,否则将会绑定失败。另外,每个租户支持添加50个公网域名。 公网域名支持添加主域名及主域名的子域名,即最多支持添加二级域名,例如abc
进行截断操作,确保总长度不会超出64的限制。 图3 选择同名处理方式 完成还原后,您可以在相应空间权限集、权限集、通用角色或动态脱敏策略的入口,检查还原后的数据,并手动进行同步,以确保还原后的数据生效。 父主题: 数据安全
起止时间范围左闭右开:[起始时间,结束时间)。可配合调度任务使用。 最早:表示从开始点位消费数据。 最新:表示从最后点位消费数据。已提交:拉取已提交的数据。起止时间策略,等待时间,最大抽取时间相互独立。只要有任意一个条件符合,则kafka抽取结束。 起止时间 起始时间 消费记录策略为起始时间时须设置起始时间。
含(),其他版本不受限制。 引用符号 否 连接引用表名或列名时的分隔符号,参考对应数据库的产品文档进行配置。默认为"。 单次提交行数 否 指定单次批量提交的行数。默认为10000。 连接属性 否 连接属性,包含属性名称和属性值。 例如: 1. socket_timeout: socket连接超时的时间,单位为毫秒。
脚本(top_rating_movie) 关键参数说明: 数据连接:步骤4中创建的DWS数据连接。 数据库:步骤6中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后,您可通过如下SQL
Spark作业算子,配置算子相关参数,配置指导请参见MRS Spark。 配置调度周期。调度周期设置为分钟。 图1 配置调度周期(分钟) 作业配置完成后,保存并提交版本。 单击“执行调度”,启动作业调度。 在“作业监控”里面查看作业执行结果。 图2 查看被依赖作业的执行结果 创建一个周期调度的天任务作业。(每天07:15执行的天任务作业)
- 图44 事实表字段配置 新建事实表页面配置完成后,单击“发布”提交审核。 在弹出框中选择审核人,单击“确认提交”,等待审核人员审核通过后,事实表发布成功。如果当前账号具备审核人权限,也可以勾选“自助审批”,直接提交即可以审核通过。 返回“维度建模 > 事实表”页面,在列表中找到
建表配置 单击“发布”,在提交发布对话框中,选择审核人,再单击“确认提交”提交审核。审核通过后,返回“码表管理”页面,在列表中可以查看已建好的码表且状态显示为“已发布”,已发布的码表才可被使用。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,码表状态显示为“已发布”。
ey和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 获取并安装PHP安装包,如果未安装,请至PHP官方下载页面下载。 将PHP安装目录中的“php.ini-production”文件
当API开放方需要将API发布至服务市场,从服务市场下线,取消对某个应用的授权,基于数据服务平台提交操作后,均需要等待审核中心责任人审核后方生效。 当API调用方申请API授权和授权续约时,基于数据服务平台提交操作后,也需要等待审核中心责任人审核后方生效。 待审核的API可在审核中心由发起者执行撤销操作。
始重跑。 重跑作业实例时,需要选择“使用的作业参数”和“是否忽略OBS监听”。 使用的作业参数可设置为“使用原有作业参数重跑”或“使用最新提交作业参数重跑”。 是否忽略OBS监听默认为“是”。 企业模式下,开发者不能对作业实例进行重跑。 查看作业的节点信息 单击作业名称,在打开的
创建了2个作业,但是为什么无法建立依赖关系? DataArts Studio执行调度时,报错提示“作业没有可以提交的版本”怎么办? DataArts Studio执行调度时,报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办? 提交调度后的作业执行失败,报depend job [XXX] is not running