检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio数据开发模块或对应数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。 本章节以可视化模式和DDL模式为例，介绍如何在数据开发模块新建数据表。 前提条件 已创建数据库及DWS数据库模式，请参见新建数据库和（可选）新建数据库模式。 已在数据开发模块中创建与
是 数据质量作业的类型： 质量作业 对账作业 质量作业名称 是 DQC作业类型为质量作业时需要配置。选择在数据质量模块中创建的质量作业名称。如何创建质量作业，请参见的新建数据质量作业。 是否忽略质量作业告警 是 DQC作业类型为质量作业时需要配置。 是：如果该质量作业处于告警状态时
PI授权给账号使用。添加白名单授权后，从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证，成功调用API。 本章节为您介绍如何通过白名单授权将API授权给账号。 约束与限制 对于数据服务共享版IAM认证方式的API，系统已默认记录了当前账号的白名单，不支持删除，因
块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“运维调度 > 操作历史”。 查看操作历史记录相关数据。 可以通过时间筛选，查看指定操作时间段内的历史操作数据。 可以对“涉及对象”进行过滤，查看作业名称或节点名称相关的历史操作数据。 可以通过模糊查询，查看相关的历史操作数据。
间、监控指标列表和维度定义。 如果您需要查看实时处理集成作业相关的监控指标，请参见查看实时处理集成作业监控指标。 如果您需要在监控数据满足指定条件时发送报警通知，可参见设置实时处理集成作业告警规则。 前提条件 使用实时处理集成作业监控功能，需获取CES相关权限。 命名空间 SYS
Studio部署时通过物理区域划分，为项目级服务。授权时，“授权范围方案”如果选择“所有资源”，则该权限在所有区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。
d}命名的桶中。 说明： 若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点，并关联已创建的CDM作业，如图4所示。
安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保DWS集群与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。
置抽取范围的Where子句，不配置时抽取整表。 如果要迁移的表中没有Where子句的字段，迁移失败。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业
fromJobConfig.isPermanency 是 Boolean 是否永久运行。 fromJobConfig.groupId 否 String 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 fromJobConfig.dataFormat
数等），用于优化资源使用效率，提升作业的执行性能。 注意： 系统支持Flink Jar作业运行前能够查询历史checkpoint，并选择从指定checkpoint启动。要使Flink Checkpoin生效，需要配置两个运行参数： 用来控制checkpoint间隔 -yD：execution
d}命名的桶中。 说明： 若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 单击“确定”，创建作业。 父主题： 作业开发
VE", //数据源类型，当前仅支持Hive "users":"aaa,bbb", //指定脱敏用户 "user_groups":"ggg" //指定脱敏用户组 "description":{ "jdbc_url": "hive2://xxx"
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
级，自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级，不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多，且向下兼容，所以申请高等级评估同时需要满足低等级的要求。简易评估要点主要包含企业规模、数据
#{JSONUtil.toString(b)} Object path(String jsonStr,String jsonPath) 返回json字符串指定路径下的字段值。类似于XPath，path方法可以通过路径检索或设置JSON，其路径中可以使用.或[]等访问成员、数值，例如：tables[0]
无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。如果该路径下有您在OBS控制台配置的指定OBS事件产生，通知则触发调度。 DIS通道名称 选择DIS通道，当指定的DIS通道有新消息时，数据开发模块将新消息传递给作业，触发该作业运行。 最大处理文件数 节点被驱动运行时，每批次最多可处理的文件数。
PI授权给账号使用。添加白名单授权后，从IAM服务获取的授权账号及其归属用户的Token才能通过安全认证，成功调用API。 本章节为您介绍如何通过IAM类型应用授权将API授权给当前账号。 约束与限制 通过IAM应用授权的IAM认证方式API，仅支持通过当前账号及其归属用户的To
一个企业项目下只能购买一个DataArts Studio实例。 需要与其他云服务互通时，需要确保与其他云服务的企业项目一致。 作业日志OBS路径 用于指定DataArts Studio数据开发作业的日志存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发，必须具备“作业
分库分表同步适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于多库多表同步场景。 支持分库分表同步的数据源如下所示： 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库，同步到云
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
