-
审计数据访问日志 - 数据治理中心 DataArts Studio
已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启,如果已关闭则请参考修改数据库参数章节将其设置为ON。 已配置需要审计的审计项。 DWS各类审计项及其开启方法,请参考设置数据库审计日志章节。 约束与限制 对于DWS数据源,未开启三权分立时,默认拥有
-
Job内嵌对象 - 数据治理中心 DataArts Studio
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
-
数据安全概述 - 数据治理中心 DataArts Studio
广州和北京四区域部署上线。 使用场景 数据安全可满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求,不同角色用户使用数据安全的场景如图2所示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理
-
使用教程 - 数据治理中心 DataArts Studio
使用教程 脚本及作业中引用参数使用介绍 作业调度支持每月最后一天 配置作业调度为年调度 补数据场景使用介绍 获取SQL节点的输出结果值 查询SQL获取max值传递给CDM作业 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 引用脚本模板和参数模板的使用介绍
-
查询指定发布包详情 - 数据治理中心 DataArts Studio
pending_item_id 否 String 发布任务ID。 pending_version 否 integer 当前节点版本。 script_id 否 String 脚本ID。 task_id 否 String 作业ID。 start_job_status 否 integer
-
源端为关系数据库 - 数据治理中心 DataArts Studio
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
-
MySQL迁移时报错:invalid input syntax for integer: "true" - 数据治理中心 DataArts Studio
"true" Where: COPY sd_mask_ext, line 1, column mask_type. 原因分析 MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。
-
运维者操作 - 数据治理中心 DataArts Studio
对补数据作业运行情况进行监控。可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。
-
查询系统任务详情 - 数据治理中心 DataArts Studio
"lastUpdate": 1544777083000, "name": "从路径[obs://aaaaa/job_batch.zip]导入作业。", "projectId": "b384b9e9ab9b4ee8994c8633aabc9505", "startTime":
-
常用EL表达式样例合集 - 数据治理中心 DataArts Studio
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
-
指定文件名迁移 - 数据治理中心 DataArts Studio
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
-
DataArts Studio使用简介 - 数据治理中心 DataArts Studio
系统的选型,选取合适的云服务用于存储源数据并进行数据查询和分析。然后,创建该云服务相应的数据连接。 新建数据连接 新建数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系
-
复制名称与重命名脚本 - 数据治理中心 DataArts Studio
在脚本目录中选择需要重命名的脚本,右键单击脚本名称,选择“重命名”。 图2 重命名 已经打开了的脚本文件不支持重命名。 在弹出的“重命名脚本名称”页面,配置新脚本名称。 图3 重命名脚本名称 单击“确定”,重命名脚本。 父主题: (可选)管理脚本
-
指定文件名迁移 - 数据治理中心 DataArts Studio
名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,
-
数据目录操作列表 - 数据治理中心 DataArts Studio
数据目录操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask
-
查询作业实例详情 - 数据治理中心 DataArts Studio
MRSSpark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 MRSFlinkJob: 执行MRS服务的FlinkJob作业。 MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业
-
移动脚本/脚本目录 - 数据治理中心 DataArts Studio
在脚本目录中选择需要移动的脚本或脚本文件夹,右键单击脚本或脚本文件夹名称,选择“移动”。 图1 移动 在弹出的“移动脚本”或“移动目录”页面,配置如表1所示的参数。 图2 移动脚本 图3 移动目录 表1 移动脚本/移动目录参数 参数 说明 选择目录 选择脚本或脚本目录要移动到的目录,父级目录默认为根目录。
-
新建脚本 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。
-
可以免费试用DataArts Studio吗? - 数据治理中心 DataArts Studio
折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支
-
删除作业 - 数据治理中心 DataArts Studio
说明 approvers 否 List<JobApprover> 在开启审批开关后,需要填写该字段,表示作业审批人,参考表4。 审批开关的配置请参见审批中心。 表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。 响应参数