检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择当前实例所有工作空间成员中的用户或用户组。 *密级 选择指定用户/用户组的指定密级,则指定用户/用户组仅能访问资产密级小于等于指定密级的资产。 *权限类别 当前仅支持数据地图中的数据预览权限。 单击“保存”,完成密级权限管控策略创建。 密级权限管控策略创建完成后,需要删除默认策略,以使新建的策略生效。
数据开发模块提供了转移作业责任人的功能,您可以将责任人A的所有作业一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
对补数据作业运行情况进行监控。可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。 父主题:
如果设置为保持不变,则各节点保持原来的节点执行最长时间。 作业委托 设置所选作业的委托,配置了作业委托后,作业执行过程中,以委托的身份与其他服务交互。 如果设置为保持不变,则各作业保持原来的委托配置。 失败重试 设置所选作业的所有节点执行失败后,是否重新执行节点。 如果设置为保持不变,则各节点保持原来的失败重试策略。
CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/Cloud
images state 在CDM的作业管理界面,找到HBase到DWS的作业,选择作业后面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数,配置为1获取的HBase的字段,列号之间使用“&”分隔,列族与列之间用“:”分隔,如下:
通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。
数据开发模块提供了转移脚本责任人的功能,您可以将责任人A的所有脚本一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
您可以将某个DataArts Studio实例的数据指标中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。 下载的流程模板参数如表3所示,其中名称前带“*”的参数为必填参数,名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。
取到正确的数据(当前节点依赖的上游节点成功运行后,DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避免下游节点取数据时,上游表数据还未正常产出,导致下游节点取数出现问题。 在配置依赖关系时,支持配置同周期的依赖和上一周期的依赖。
通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求,在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。
导出选中标签:勾选本页需要导出的标签,单击标签列表上方的“导出选中标签”,可将本页选中的标签导出。 导出的作业标签如下图所示: 图1 导出作业标签 导出的作业标签表格中,第一行为标签名称,第一列为作业名称。某作业具有某一标签,记录为1,否则记录为0。 导出的文件第一列将该空间下所有的
脱敏策略”,在“脱敏策略”页面中,单击“新建”。 绑定分类规则,配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码,截断和哈希。每种脱敏算法对应多种算法类型,请根据产品界面进行选择,这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后,支持
#{StringUtil.split(b,',')[1]} 举例3 当前一节点的输出结果是一个字段时,输出结果如[["000"]]所示。第二个节点引用第一个节点的输出,此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值。 #{StringUtil.split(StringUtil
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题:
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题:
MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建