检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前系统支持“新建目录”和“同步主题为目录”两种方式: 选择“新建目录”时,直接在目录处单击,输入目录名称,即可完成目录新建。直接新建目录的最大深度拓展为7层。 图1 新建目录 选择“同步主题为目录”时,在目录处单击,即可将数据架构处的主题同步到目录中(仅支持同步“已发布”状态的主题)
且不支持为空间权限集关联角色;而权限集可通过权限同步进行权限管控(实际使用时,更推荐通过权限集关联角色进行权限管控)。 本章主要描述如何通过创建权限集和配置权限集进行权限管控,在实际使用中更加推荐您通过配置角色进行权限管控。 前提条件 配置权限集前,已完成空间权限集的配置,请参考配置空间权限集。
APP申请续约: APP所有者可发起,续约会更新授权有效期,仅支持延长有效期,不能减少,需要API审核。 申请自己的API推荐采用API主动授权/续约,无需审核。 自己的应用推荐采用APP解除授权,无需预留准备时间。 调用方法 请参见如何调用API。 URI POST /v1/{proje
Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务(MRS HBase) HBase是一个开源的、面向列(Column-Oriented)、
从接口中获取:data.pageCount。 说明: 如果接口不是分页接口,并且只想调用一次,则将数据总数的值设置的小于或者等于每次拉取的数据。 是 固定值时推荐1000 父主题: 配置作业源端参数
因此一般无需同步空间权限集,实际使用中推荐通过配置角色进行权限管控。 相关操作 同步空间权限集:空间权限集需要手动同步到数据源中权限管控才能生效。但由于空间权限集主要用于确定工作空间权限范围,而非权限管控,因此一般无需同步空间权限集,推荐通过配置角色进行权限管控。 如需同步空间
Explorer接口和SDK代码,请在“云数据迁移CDM”服务下获取。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例
在敏感数据分布页面,您可以通过如下两种方式之一来查看敏感数据发现结果并进行手工修正。推荐您使用方式1,相比于方式2,方式1支持修改数据密级、分类,无需切换页面即可完成敏感数据查看与修正,并支持批量操作。 (推荐)方式1:在“敏感数据分布”页签,单击展开数据源详情,查看敏感数据情况,并手工修正数据密级、分类以及数据状态。
支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。 预设数据集成、SQL、Spark、Shell、机器学习等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持导入和导出作业。 资源管理 支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000
DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000
DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000
DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY MODE。 UPSERT:为批量更新入库模式。 COPY:为DWS专有的高性能批量入库模式。 批写最大数据量 int 50000
Operator DIS User (可选,不推荐)SWR Admin 说明: 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。
选择该选项可以确保数据库中的表和数据架构中的表是一致的,但是由于会先删除表,因此一般建议只在开发设计阶段或测试阶段使用该选项,产品上线后不推荐使用该选项。 单击“确定”,完成配置。 父主题: 数据架构
存在即报错:系统返回错误信息,退出导出操作。 是否导出列名 否 是:导出列名 否:不导出列名 字符集 否 UTF-8:默认字符集。 GB2312:当导出数据中包含中文字符集时,推荐使用此字符集。 GBK:国家标准GB2312基础上扩容后兼容GB2312的标准。 引用字符 否 仅在数据格式为csv格式时支持配置引用字符。
通知管理”。 在页面右侧的“通知管理”页签,单击“通知配置”,弹出“通知配置”页面,在页面中配置作业失败重试告警。 作业范围:根据实际需要选择,推荐选择“所有作业”,在当前已有的作业和后续新创建的作业运行异常/失败时都会发送通知。 通知类型:选择“运行异常/失败”,当作业的状态为“运行异常”或“失败”时,发送通知。
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置
支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群 × √ 出、入网带宽独立 × √ 推荐每秒请求次数 200TPS 8000-30000TPS 共享版规格 数据服务共享版无具体的规格指标,在表3中给出了用户创建和使用API的相关配额说明。
驱动包下载地址:https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html,推荐使用ojdbc8的12.2.0.1版本。 说明: 如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。