检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规范URI,即请求资源路径,是URI的绝对路径部分的URI编码。 格式: 根据RFC 3986标准化URI路径,移除冗余和相对路径部分,路径中每个部分必须为URI编码。如果URI路径不以“/”结尾,则在尾部添加“/”。 举例: 示例中的URI:/app1,此时规范的URI编码为: GET
授权dlg_agency委托 云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。首次进入DataArts Studio控制台首页时,系统会弹出访问授权的对话框,
该参数支持配置为时间宏变量,例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示:只迁移最近90天内的文件。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替
查看作业实例 作业实例的数据保留最近90天的结果。 界面说明 介绍“数据质量监控 > 运维管理”页面中的区域和按键功能。 图1 页面区域说明 表1 运维管理页面 序号 区域 描述 1 导航栏 左侧导航栏,包括数据质量规则的存储目录。 用户可以根据实际需要对规则进行分目录存放,每级
并防止请求被修改。 发送API请求时,需要将当前时间置于HTTP的X-Sdk-Date头,将签名信息置于Authorization头。签名只在一个有限的时间内是有效的,超时即无效。 父主题: 使用APP认证调用API
该参数支持配置为时间宏变量,例如${timestamp(dateformat(yyyy-MM-dd HH:mm:ss,-90,DAY))}表示:只迁移最近90天内的文件。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替
为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。 勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的
正常执行。 如果实例的计划执行时间,是日历中的非工作日,则实例空跑。 约束限制 按照日历配置自定义工作日期进行调度,不支持于实时处理作业,只支持批处理作业。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dlf-log-{
管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业,包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业,不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表,不包含事实表。
每页查询条数,即查询Y条数据。默认值50,取值范围[1,100]。 offset 否 Integer 查询起始坐标,即跳过X条数据,仅支持0或limit的整数倍,不满足则向下取整,默认值0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM T
改无误后,请通过“发布”操作,将任务进行发布。 支持通过“任务名称”和“提交人”进行发布项筛选。同时可以使用任务名称进行模糊查询。 如果您只具备开发者权限,则需通过“发布”操作提交任务,由管理员或者部署者审批通过,才能将修改后的脚本同步到生产环境。 单击“发布”后,指定审批人,审
数据权限查询接口 查询角色对一组库、表的可配置操作权限信息 父主题: 数据安全API
文件格式为CSV格式时支持此参数。 使用包围符来括住字符串值。包围符内的字段分隔符被视为字符串值的一部分,目前只支持"作为包围符。 否 使用转义符 文件格式为CSV格式时支持此参数。 CSV只支持\作为转义符。 选择是,CSV数据行中的\作为转义符使用。 选择否,CSV中的\作为数据不会进行转义。
thon作业,并且字符串参数需要用英文的单引号括起来,脚本示例如下: a= 'zhang' print (${a}) 其中,a是参数名称,只支持英文字母、数字、“-”、“_”、“<”和“>”,最大长度为16字符,且参数名称不允许重名。 在右侧的“输入参数”中配置参数,在执行Pyt
管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业,包含作业中的CDM连接。 数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业,不包含其依赖的脚本和资源。 数据架构组件中创建的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表,不包含事实表。
批量配置作业 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业目录中的,选择“显示复选框”。
该参数值取值范围是“0~59”,可配置多个值但不可重复,最多60个,中间使用“,”分隔。 如果触发时间不在有效期内,则第一次自动执行的时间取有效期内最近的触发时间,例如: 有效期的“开始时间”为“1:20”。 “重复周期(时)”为“3”。 “触发时间(分)”为“10”。 有效期:分为开始时间和结束时间。
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。