检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建业务场景 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 业务场景管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建场景。 表2 配置业务场景参数
资源所在目录。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“配置管理 > 资源管理”。在资源的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 响应参数 表4 参数说明 参数名 是否必选 参数类型 说明 resourceId 是 String 资源ID
查询脚本实例执行结果 功能介绍 该接口用以获取脚本实例的执行状态和结果。 查询时,需要指定脚本名称和脚本实例ID。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts/{script
表等操作。 在本例中,相关数据管理操作已经在步骤2:数据准备中完成,本步骤可跳过。 脚本开发 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在左侧导航栏中,单击“脚本开发”,再右键单击“脚本”选择“新建目录”,在弹出框中输入目
path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: {
对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。
选择输入数据所在的路径。 输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
DLI引擎的静态脱敏任务,运行参数需要存储在OBS桶中,任务运行完成或失败后会删除任务运行参数文件。 DLI引擎的同源静态脱敏任务,运行参数存储在工作空间日志桶中,默认以dlf-log-{Project id}命名。 DLI引擎的跨源静态脱敏任务,运行参数存储在自动创建的加密用户桶dls-dli-{projectId}中。
fromJobConfig.streamName 是 String DIS的通道名。 fromJobConfig.disConsumerStrategy 是 枚举 设置从DIS拉取数据时的初始偏移量: LATEST:最大偏移量,即最新的数据。 FROM_LAST_STOP:从上次停止处继续拉取。 EARLIEST:最小偏移量,即最早的数据。
单击“保存”,CDM会自动测试连接是否可用。 如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务(OBS)”后单击“下一步”,配置OBS连接参数,如图3所示。
topic列表,可以为多个topic,以“,”作为分隔符。 fromJobConfig.kafkaConsumerStrategy 是 枚举 从Kafka拉取数据时的初始偏移量设置: LATEST:最大偏移量,即最新的数据。 EARLIEST:最小偏移量,即最老的数据。 fromJobConfig.isPermanency
在下拉菜单中选择审核人。 单击“确认提交”。 发布历史 在列表中,找到所需查看的时间限定,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间限定的发布历史和版本对比信息。 下线 在需要下线的时间限定右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
查询补数据实例 功能介绍 查询补数据实例列表,支持分页查询。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/supplement-data?sort={sort}&page={
GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
id&gid&name”。 toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据,如果设置为true,任务启动前会清除目标表中数据。 父主题: 目的端作业参数说明
脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、S
脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、S
最小化授权操作流程 创建用户组并授予系统角色 User 使用华为账号登录统一身份认证服务IAM控制台。 在IAM服务控制台中,单击“用户组”,在用户组页面单击右上方的“创建用户组”。 图3 创建用户组 在“创建用户组”界面,输入“用户组名称”DQC。 图4 用户组名称 单击“确定”,用户组创建完成,用户组列表中显示新创建的用户组。
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在管理中心页面,单击“资源迁移”,进入资源迁移页面。 图1 资源迁移 单击“新建导出”,配置文件的OBS存储位置和文件名称。
单击“调度身份配置”,公共调度身份选择“公共IAM账号”。 在右边的文本框中输入已创建好的公共IAM账号。 单击,完成公共IAM账号的设置。 配置执行用户 配置作业的执行用户 在作业目录处,双击选中已有作业。 单击画布右侧“作业基本信息”页签,展开配置页面,可设置作业的执行用户。 参考:创建委托 登录IAM服务控制台。