检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 责任人。 tb_name 是 String 表名。 dw_id 否 String 数据连接ID。 db_name 否 String 数据库名。 queue_name 否 String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema 否 String
Studio数据质量组件的操作权限,其余组件仅有查看权限但无法编辑。 用户登录并验证权限 以创建IAM用户并加入用户组章节中新建的IAM账号登录华为云控制台,切换至授权区域。 在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。
在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“权限应用”,进入权限应用页面。 在“权限应用”页面,为希望启用细粒度认证的数据连接,进行联通性测试。联通性测试时,系统会使用当前用户账号访问数据源,以确保当前用户访问正常。
单击“请选择”按钮,您可以选择一个已创建的OBS桶和对象,系统将基于工作空间全局配置作业日志OBS桶。 如果不配置该参数,DataArts Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中。{projectId}即项目ID,您可以参考如下步骤进行获取。
创建连接的时间。 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、
ORIS等。 dw_id String 数据连接ID。 dw_name String 数据连接名,只读。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。
ctet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名为jobs.zip,解压后文件结构如下: jobs +---job_batch | dws_sql.script | job_batch.job
隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法:
隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法:
connection_name String 数据连接名称。 connection_id String 数据连接ID。 database String 数据库名。 datatable String 数据表名称。 table_id String 数据表ID。 queue String DLI的队列名称。
/v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/joba 打开审批开关的情况下,删除作业的示例。 DELETE /v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/joba { "approvers": [ {
owner String 负责人。 tb_name String 表名。 dw_id String 数据连接ID。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。
模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 若在一个CDM中同时连接两个及以上开启Kerbe
并实时导入表格存储服务Cloudtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。 单击,在弹出的对话
标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 资源对象 数据连接 选择需要授权的管理中心组件数据连接。如需新建数据连接,请参考创建DataArts Studio数据连接。 说明: 对于未选择的数据连接,则默认该连接权限放开,不做权限管控。 对于选择的数据连接,则非授权对象的普通用户(即非DAYU
创建连接的时间。 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、
D。 请求参数 参数说明: 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:连接定义文件在OBS上的路径,连接定义文件的格式参考导出连接的响应消息。 无OBS场景:连接定义文件在本地的路径。 params 否 List<Params> 连接参数,默认值为空。
connection_name 否 String 数据连接名称。 connection_id 否 String 数据连接ID。 database 否 String 数据库名。 datatable 否 String 数据表名称。 table_id 否 String 数据表ID。 queue 否 String DLI的队列名称。
ORIS等。 dw_id String 数据连接ID。 dw_name String 数据连接名,只读。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。
MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段