检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有原子指标； 当该空间下不超过5000条原子指标数据时可以全部导出。 函数说明 新建原子指标时，需要按照函数设定表达式。以聚合函数的部分函数为例，函数说明如表3所示： 表3 聚合函数说明 函数名 表达式 函数说明 avg(col) avg() 求平均值。 corr(col1, col2)
该参数适用于整库迁移中的所有子表，配置子表抽取范围的Where子句，不配置时抽取整表。如果待迁移的表中没有Where子句的字段，则迁移失败。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。
源端为MySQL，目的端为DWS 本章节适用于配置实时处理集成作业的Mysql到DWS链路，期望将源端1个或多个Mysql实例的数据实时同步到目的端为DWS数据库的场景。 整库：适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表
实例的方式来实现版本降级。 如果您的业务量不断增长，已购版本无法满足您的业务需求，您可以选择升级版本。登录DataArts Studio控制台，找到需要升级的DataArts Studio实例，单击“升级”，然后根据页面提示购买更高规格的套餐。 版本场景概述 为了实现灵活的资源配
查看数据资产 通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产中的数据连接来源于管理中心的数据连接，库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制
源端为MySQL，目的端为DMS Kafka 本章节适用于配置实时处理集成作业MySQL到DMS Kafka链路，期望将源端1个或多个Mysql实例的数据实时同步到目的端为DMS Kafka数据库的场景。 同步场景 整库：适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DMS
置该选项；当前暂不支持关联独立数据安全组件中的敏感数据识别规则） 数据分类：勾选此项参见新建数据分类新建分类规则组或者选中已有分类规则组，实现自动识别数据并添加分类。 数据分级：勾选“根据数据分类结果更新数据表密级”，表示可根据匹配的分类规则中，将密级最高的设置为表的密级。 数据
已被移除的字段和添加新字段。 添加新字段支持以下类型： 支持函数，例如mysql填写now()、curdate()、postgresql。 支持填写now()、transaction_timestamp()。 支持函数配合关键字，例如postgresql填写to_char(current_date
加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓库服务创建DWS集群，确保与DataArts Studio实例网络互通，并且具有KMS密钥的查看权限。
Shift-Right：选择行尾 支持系统函数功能（当前Flink SQL、Spark SQL、ClickHouse SQL、Presto SQL不支持该功能）。 单击编辑器右侧的“系统函数”，显示该数据连接类型支持的函数，您可以双击函数到编辑器中使用。 支持可视化读取数据表生成SQL语句功能（当前Flink
源端为MySQL，目的端为MRS Hudi 本章节适用于配置实时处理集成作业MySQL到MRS Hudi链路，期望将源端1个或多个MySQL实例的数据实时同步到目的端为MRS Hudi数据库的场景。 MySql源端配置。 支持选择源端多库多表迁移。 DDL支持新增列。 Hudi目的端配置。
在数据开发主界面，单击左侧导航上的“资源管理”，进入资源管理页面。 单击资源目录中的，选择“导入资源”。 图8 选择导入资源 在弹出的导入资源窗口中，“文件位置”选择为“本地”，选择从旧空间导出的资源文件，“重名处理策略”默认选择“覆盖”，单击下一步。 图9 导入资源 资源开始导入，导入成功后系统会显示导入的资源名。
MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？ 问题描述 MySQL到DWS链路 ，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段，如果该字段在MySQL中出现null值那么，写入到DWS中将会报错，报错信息如下：
或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。
数 由于数据质量作业在执行SQL语句时不支持传参，通过数据开发调用数据质量算子，运行的时候可以把数据质量作业的参数传递给数据质量算子作业，实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。 配置方法 创建质量作业 在DataArts
解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 数据集成
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 问题描述 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CD
的工作空间之间的作业如果存在依赖关系，可参见本教程操作实现跨空间作业调度。 方案说明 DataArts Studio数据开发模块支持以事件触发的方式运行作业，因此通过DIS或者MRS Kafka作为作业依赖纽带，可以跨空间实现作业调度。 如下图，工作空间A中的job1运行完成后，可以使用DIS
Jar包添加到资源管理列表中，具体操作请参考新建资源。 Flink作业执行参数 否 Flink作业执行的程序关键参数，该参数由用户程序内的函数指定。多个参数间使用空格隔开。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 需要先在数据安全服务队列权限功能中，配置对应的
新建DataArts Studio与MySQL数据库的连接 本章节以新建MySQL连接为例，介绍如何建立DataArts Studio与数据库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
