检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以选择Shell语句或Shell脚本。 Shell语句 单击“Shell语句”参数下的文本框,在“Shell语句”页面输入需要执行的Shell语句。 Shell脚本 在“脚本路径”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发Shell脚本先创建和开发脚本。 说明: 若选择Shel
图5 设置配额 已分配配额不能小于已使用配额,不能大于总配额-总分配配额+已分配配额。 选择需要解冻的API,单击操作列“解冻”完成API的解冻。 图6 解冻API 创建专享版API需要收费(10个以内不收费,超过10个的API的个数1个API收费1元/1天)。 父主题: 数据服务
执行成功。 注意,此处不会为Spark增加对应的batch或streaming模式参数,您还需要为Spark作业指定对应参数。 Jar包资源 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 参数名 是否必选 参数类型 说明 total 是 Integer 总的脚本个数。 scripts 是
进入数据目录页面。 选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。
质量作业 对账作业 质量作业名称 是 DQC作业类型为质量作业时需要配置。选择在数据质量模块中创建的质量作业名称。如何创建质量作业,请参见的新建数据质量作业。 是否忽略质量作业告警 是 DQC作业类型为质量作业时需要配置。 是:如果该质量作业处于告警状态时,当前节点的状态将被设置为成功,继续执行后续节点。
同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Script参数说明 参数名 是否必选 参数类型 说明 name 是 String 脚本名称
框右侧的“上传文件”进行上传。 Principal:仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名,需要与Keytab文件保持一致。 上传Keytab文件:仅安全模式集群需要上传该文件。单击“添加文件”以选择本地的Keytab文件,然后通过操作框右侧的“上传文件”进行上传。
是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,
Studio权限。 操作步骤 当前IAM用户需要加入拥有DataArts Studio的系统角色(如“DAYU Administrator”或“DAYU User”)的用户组,详情请参见创建IAM用户并授予DataArts Studio权限。 当前IAM用户需要配置DataArts Studi
如果仅选择了数据架构的物理模型或逻辑模型目录,则数据开发或数据服务的目录权限不受此策略影响。 授权对象 用户 选择需要授权的用户。用户列表来自于工作空间用户。 用户组 选择需要授权的用户组。用户组列表来自于工作空间用户组。 角色 选择需要授权的角色。角色列表来自于系统预置角色和自定义角色。 图2 新建目录权限策略 相关操作
- OBS支持 是否支持OBS存储,如果hudi表数据存储在OBS,需要打开此开关。 是 访问标识(AK) “OBS支持”设置为“是”时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
查看溯源结果:在数据水印溯源页面,找到需要查看溯源结果的任务,单击对应任务操作栏中的“查看结果”,即可查看溯源结果。注意,只有溯源成功的任务才会显示溯源信息。 图3 溯源信息 删除任务:在数据水印溯源页面,单击对应任务操作栏中的“删除”,即可删除任务。当需要批量删除时,可以在勾选任务后,在任务列表上方单击“批量删除”。
默认情况下,节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。 SQL或脚本 是 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,
授权对象默认为数据开发组件,需选择需要授权的操作,并支持配置单次转储记录值上限。 说明: 数据开发组件中不同数据源的SQL脚本转储支持的单次最大记录值不同,详见下载或转储脚本执行结果。此处配置的记录值上限可参考此规格进行配置。 *授权对象 选择需要授权的用户。 指定用户:可以配置为指定的用户以及用户组。
“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要复制名称的作业,右键单击作业名称,选择“复制名称”,即可复制名称到剪贴板。 图1 复制作业名称 重命名作业 参考访问DataArts St
说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 jobParams 否 List<JobParam> 作业立即执行的参数。
数据权限管控说明 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授权用户的原有权限。默认情况下,DataArts Studio用户的原有数据权限如下: 对于DLI数据源,DAYU