-
其他编程语言 - 数据治理中心 DataArts Studio
host:c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud.com x-sdk-date:20180330T123600Z host;x-sdk-date e3b0c44298fc1c149afb
-
源端为Elasticsearch/云搜索服务 - 数据治理中心 DataArts Studio
splitNestedField 否 Boolean 选择是否将nested字段的json内容拆分,例如:将“a:{ b:{ c:1, d:{ e:2, f:3 } } }” 拆成三个字段“a.b.c”、“a.b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否 String
-
配置DMS Kafka连接 - 数据治理中心 DataArts Studio
Kafka连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dms_link 服务类型 选择DMS Kafka版本,目前只有专享版。 专享版 Kafka Broker Kafka专享版实例的地址,格式为 host:port。
-
DLI连接 - 数据治理中心 DataArts Studio
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
-
是否支持字段转换? - 数据治理中心 DataArts Studio
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
-
目的端为OBS - 数据治理中心 DataArts Studio
NONE:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 toJobConfig.kmsID 否 String 上传时加密使用的密钥。需先在密钥管理服务中创建密钥。 toJobConfig.projectID 否
-
数据架构示例 - 数据治理中心 DataArts Studio
备审核人权限,也可以勾选“自助审批”,直接提交即可以审核通过。 图10 发布业务对象 新建码表并发布 在本示例中,您需要新建如表3所示的3个码表: 表3 码表 目录 *表名称 *表编码 表描述 *字段名称 *字段编码 *字段数据类型 字段描述 付款方式 付款方式 payment_type
-
源端为对象存储 - 数据治理中心 DataArts Studio
"name": "fromJobConfig.columnList", "value": "1&2&3" }, { "name": "fromJobConfig
-
源端为FTP/SFTP - 数据治理中心 DataArts Studio
"name": "fromJobConfig.columnList", "value": "1&2&3&4&5&6&7&8&9&10&11&12" }, {
-
管理员操作 - 数据治理中心 DataArts Studio
及原始数据表等,您还需要将两套数据湖服务之间的数据进行同步: 数据湖中已有数据:通过CDM或DRS等数据迁移服务,在数据湖间批量同步数据。 数据源待迁移数据:通过对等的CDM或DRS等数据迁移服务作业进行同步,保证生产环境和开发环境的数据湖服务数据一致。 创建企业模式数据连接 对
-
导出导入脚本 - 数据治理中心 DataArts Studio
勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。 图2 导出脚本 导入脚本 导入脚本功能依赖于OBS服务,如无OBS服务,可从本地导入。 您可以在脚本目录中导入一
-
配置Kafka连接 - 数据治理中心 DataArts Studio
于不再需要的属性,可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。
-
导出导入作业 - 数据治理中心 DataArts Studio
导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 从OBS
-
步骤2:数据开发 - 数据治理中心 DataArts Studio
脚本保存完成且运行成功后,您可通过如下SQL语句查看top_like_product表数据。您还可以参考图3,下载或转储表数据。 SELECT * FROM top_like_product 图3 查看top_like_product表数据 分析10大用户评价最差的商品 在DataArts
-
数据开发数据搬迁 - 数据治理中心 DataArts Studio
勾选需要导出的作业,单击 > 导出作业,可选择“只导出作业”或“导出作业及其依赖脚本和资源定义”。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图4
-
Hive连接 - 数据治理中心 DataArts Studio
83 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。
-
计费说明 - 数据治理中心 DataArts Studio
数据服务专享集群增量包 数据服务专享集群增量包对应数据服务专享版集群。 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,
-
支持的数据类型 - 数据治理中心 DataArts Studio
或“B”或“C”,那么可以定义为ENUM为 ENUM(“A”,“B”,“C”)也只有这些值(或NULL)才能用来填充这个字段。 - 不支持 不支持 Oracle数据库迁移时支持的数据类型 源端为Oracle数据库,目的端为Hive、DWS时,支持的数据类型如下: 表3 Oracle数据库作为源端时支持的数据类型
-
支持的数据源(2.9.3.300) - 数据治理中心 DataArts Studio
对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。
-
支持的数据源(2.9.2.200) - 数据治理中心 DataArts Studio
对象存储 对象存储服务(OBS) 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 对象存储服务之间的迁移,推荐使用对象存储迁移服务OMS。