-
管理驱动 - 数据治理中心 DataArts Studio
PI方式访问关系型数据库,执行SQL语句,获取数据。 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见配置FTP/SFTP连接创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动
-
DataArts Studio是否支持私有化部署到本地或私有云? - 数据治理中心 DataArts Studio
DataArts Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
-
认证证书 - 数据治理中心 DataArts Studio
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
-
目的端为OBS - 数据治理中心 DataArts Studio
NARY_FILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。
-
EL表达式参考 - 数据治理中心 DataArts Studio
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题: 数据开发组件
-
管理集群 - 数据治理中心 DataArts Studio
管理集群 创建CDM集群 解绑/绑定集群的EIP 重启集群 删除集群 下载集群日志 查看集群基本信息/修改集群配置 管理集群标签 查看监控指标 父主题: 数据集成组件
-
数据开发组件 - 数据治理中心 DataArts Studio
数据开发组件 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
-
案例:车联网大数据业务上云 - 数据治理中心 DataArts Studio
案例:车联网大数据业务上云 场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
-
源端为HTTP/HTTPS - 数据治理中心 DataArts Studio
fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig.md5FileSuffix 否
-
导入导出接口 - 数据治理中心 DataArts Studio
导入导出接口 导出资源 获取导入导出的任务状态 下载资源任务文件 上传导入的文件接口 导入资源 父主题: 数据质量API
-
源端作业参数说明 - 数据治理中心 DataArts Studio
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
-
API管理接口 - 数据治理中心 DataArts Studio
查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题: 数据服务API
-
MySQL数据迁移到OBS - 数据治理中心 DataArts Studio
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移,本章节以MySQL-->OBS为例,介绍如何通过CDM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
-
源端为MongoDB/DDS - 数据治理中心 DataArts Studio
是否为整库迁移。 fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选:例如{
-
目的端为HDFS - 数据治理中心 DataArts Studio
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
-
目的端为DDS - 数据治理中心 DataArts Studio
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
-
目的端为DLI - 数据治理中心 DataArts Studio
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
-
目的端为关系数据库 - 数据治理中心 DataArts Studio
toJobConfig.tablePreparation 是 枚举 只有当源端和目的端都为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: DO_NOTHING:不自动建表。 CREATE_WHEN_NOT_EXIST:当目的端的数据库没有“tableName”参数中指定的表时,CDM会自动创建该表。
-
下载EXCEL模板 - 数据治理中心 DataArts Studio
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId
-
目的端为DIS - 数据治理中心 DataArts Studio
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig