检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d}命名的桶中。 说明： 若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点，并关联已创建的CDM作业，如图4所示。
Studio部署时通过物理区域划分，为项目级服务。授权时，“授权范围方案”如果选择“所有资源”，则该权限在所有区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。
SQL语句时，把SQL语句放在请求的消息体中，将脚本内容返回给MRS。 单击“保存”，对设置的配置项进行保存。 Hive SQL和Spark SQL脚本、Pipeline作业以及单任务作业支持Hive SQL及Spark SQL执行方式的配置。 补数据优先级设置 设置补数据作业的优先级。当系统资源
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题：
Studio部署时通过物理区域划分，为项目级服务。授权时，“授权范围方案”如果选择“所有资源”，则该权限在所有区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业
csv、comment_data.csv和action_data.csv文件上传数据到对应文件夹中。 由于DLI在关联CSV表格用于创建OBS外表时，不支持指定文件名、仅支持指定文件路径，因此需要将CSV表格分别放到不同的文件路径下，且确保文件路径下仅包含所需的CSV表格。 使用OBS控制台上传文件的操作，
果处于运行状态，则认为节点执行成功。 注意，此处不会为Spark增加对应的batch或streaming模式参数，您还需要为Spark作业指定对应参数。 Jar包资源 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar
如果从其他数据源逆向过来的表，在码表中已存在同名的表，选择是否更新已有的码表。 名称来源 逆向后表名称/字段名称的来源，可以是描述或者是相应英文名，如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 逆向表数据 不逆向：逆向数据库时，将表导入到码表目录中，但是不导入表数据。您可以在完成逆向
单击数据安全左侧导航树中的“权限审批”，进入权限审批页面。 在“权限审批”页面，单击“权限回收”，进入权限回收页签。 图6 权限回收 在权限回收页签中，列表展示指定空间（默认当前空间）下的用户通过申请、审批获得的数据权限。您可以通过选择需要回收的权限所在的工作空间、成员名称或库表名，匹配权限记录（支持
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
的节点，选择“调度配置”，配置如表3所示的参数。 图3 调度配置 表3 调度配策略参数说明 参数 说明 DIS通道名称 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。 事件处理并发数 选择作业并行处理的数量，最大并发数为10。 事件检测间隔
敏感数据识别过程中，如果规则为内容识别类型（即内置规则和内容识别类型的自定义规则），则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值（默认80%）时，才认为该字段为敏感字段，并为之匹配相应密级和分类。 敏感数据识别过程中，当某个字段同时匹配到识别规则组中的多个识别规
），用于优化资源使用效率，提升作业的执行性能。 注意： 系统支持实时Flink SQL作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动。要使Flink Checkpoin生效，需要配置两个运行参数： 图1 配置运行程序参数 用来控制checkpoint间隔
只有使用时间字段timestamp、Date来确定增量范围时，才可以选择增量模式 一般而言，全量模式下数据水印嵌入任务使用单次调度，增量模式下使用周期调度。 *指定时间字段 增量模式下，选择时间字段timestamp、Date来确定增量范围。 目标端配置 *数据源类型 目前只支持MapReduce服务（MRS
从错误节点开始重跑：作业实例执行失败时，从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑：从作业实例的第一个节点开始重跑。 从指定的节点开始重跑：从作业实例中指定的节点开始重跑。仅当“重跑类型”选择“重跑当前实例”时有此选项。 说明： 以下两种情况，系统运行会从第一个节点开始重跑。
10800 120 数据源接口 表5 数据源接口 API 说明 API流量限制（次/min） 用户流量限制（次/min） 获取数据连接信息 获取指定类型下的数据连接信息。 21600 240 码表管理接口 表6 码表管理接口 API 说明 API流量限制（次/min） 用户流量限制（次/min）
表抽取范围的Where子句，不配置时抽取整表。如果待迁移的表中没有Where子句的字段，则迁移失败。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。
数据资产guid 每个业务资产、技术资产或指标资产都具备guid，guid是资产的唯一标识符。在调用数据目录或数据地图接口时，部分URI中需要填入guid。 资产guid可通过相应查询接口获取，也可以通过控制台获取，推荐您通过相应查询接口获取。 控制台获取操作相对复杂，如下所示，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
