检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
l3 String 业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID,只读,创建和更新时无需填写。 l3_id String 业务对象ID,只读,ID字符串。
- OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。
obs_common_config String obs公共配置。 total_row_count String 总行数。 fields_name Array of strings 文件列表。 table_name String 表名。 sample String 样本。
可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。
是否忽略OBS监听 系统默认为“是”。 是,重跑作业实例场景下,系统会忽略OBS监听。 否,重跑作业实例场景下,系统会监听OBS路径。 说明: 若暂未使用该参数,可忽略。 查看DAG图 您可以查看作业实例之间的依赖关系,并且在DAG图上进行运维操作。
新建离线处理集成作业 约束限制 离线处理集成作业不支持在企业模式下运行。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
获取对账作业详情 功能介绍 获取对账作业详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/consistency-tasks/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。 确定 单击“确认”,保存节点输出功能的参数配置。 取消 单击“取消”,取消节点输出功能的参数配置。 编辑 单击,修改节点输出功能的参数配置,修改完成后,请保存。
External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_ROW:行存表。行存储是指将表按行存储到硬盘分区上。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
为便于水印嵌入任务管理,建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务,此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *纠错等级 等级越高,水印信息编码位数越长,溯源时误码率越低。
管理中心操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建数据连接 dataWarehouse createDataWarehouse
数据目录操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask
数据质量操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。
目的端优化 Kafka写入优化 Kafka写入通常速率极快,若有阻塞的场景请优先增加并发解决。 父主题: 任务性能调优