检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 SSL加密 可选参数,单击“显示高级属性”后显示。 支持启用SSL加密传输。 是 连接属性 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。
敏感数据治理流程 隐私保护管理 隐私数据保护简介 数据服务 统一管理对内对外的API服务,提供快速将数据表生成数据API的能力,同时支持将现有的API快速注册到数据服务平台以统一管理和发布。 开发API 购买并管理专享版集群 新建数据服务审核人 创建API 调试API 发布API 管理API 编排API
CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建Oracle连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。
集群配置的创建方法请参见管理集群配置。 hive_01 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建数据迁移任务,如图8所示。 图8 创建MySQL到Hive的迁移任务 “导入前清空数据”选“是”,这样每次导入前,会将之前已经导入到Hive表的数据清空。
运维调度 配置管理 配置管理提供如下能力: 主机连接管理。 资源管理。 环境变量配置。 作业标签管理。 委托配置。 资产备份和还原。 配置管理 管理中心 DataArts Studio提供的实例管理、工作空间管理、数据连接管理、资源迁移功能。 已发布区域:全部 管理中心 实例管理 支持实
不支持筛选。 导入流程 在数据指标控制台,单击左侧导航树中的“流程设计”,进入流程设计页面。 单击流程列表上方的“导入”按钮导入流程。 在“导入流程”对话框中,根据页面提示配置如下参数,然后先单击“添加文件”后,再单击“上传文件”。 图5 导入流程 表2 导入配置参数说明 参数名
选择记录脏数据后,Bad Records不会导入到目标表,而是导入到OBS脏数据路径中。 如果未配置工作空间中的DLI脏数据OBS路径,则默认会把DLI SQL执行过程中的脏数据写到dlf-log-{projectId}桶中。 若要自定义DLI脏数据日志路径,请前往空间管理进行编辑操作。详细操作请参见配置OBS桶。
DWS集群名称。 通过DWS管理控制台获取集群名称: 登录管理控制台。 单击“数据仓库服务”,左侧列表选择集群管理。 在集群管理列表中可以获取到集群名称。 默认值为空。 ip 否 String DWS集群的访问地址。 通过DWS管理控制台获取访问地址: 登录管理控制台。 单击“数据仓库服务”,左侧列表选择集群管理。
意参数。 作业/脚本变更管理 作业/脚本的导入和导出 工作空间是否开启作业/脚本变更管理。 是:表示作业/脚本变化时记录变更事件,支持根据时间点增量导出和导入所有变化的作业/脚本。 否:表示作业/脚本变化时不记录变更事件,只支持选定作业/脚本的导出和导入。 Flink调试OBS桶
通过导入码表,可以导入新的码表,也可以往已有的码表中批量导入码表记录。如果码表记录比较多,建议采用导入方式。 在数据架构控制台,单击左侧的“码表管理”,进入码表管理页面。 在左侧的目录树中,选择一个目录,再单击“更多 > 导入”。您也可以在所选择的码表目录上单击鼠标右键,然后选择菜单“导入”。
另外,除数据集成之外其他各组件所使用的数据连接,均来自于管理中心已勾选对应组件的数据连接(只有勾选适用组件后,在相应组件内才能使用对应的连接)。因此如需对接这些数据源,请前往“DataArts Studio控制台 > 管理中心”创建数据连接。 数据集成组件中集成作业支持的数据源与
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。
分类时,可通过单击,进入导入窗口。 在弹出的导入预置数据分类窗口中,勾选需要导入的数据分类,为待导入规则逐一配置数据密级或批量设置密级后,单击“确定”完成预置数据分类和规则的导入。 图4 导入预置数据分类 相关操作 编辑分类:在数据分类页面,先选择分类目录中需要修改的目录,然后单
该接口用于获取导出导入任务的进度状态。 300 40 下载资源任务文件 该接口用于下载资源文件。 300 40 上传导入的文件接口 该接口用于数据质量导入文件使用。 1800 20 导入资源 该接口用于数据质量导入操作使用。 1800 20 父主题: API概览
下拉选择Schema。该参数仅DWS和POSTGRESQL模型的表有效。 更新已有表 在导入时,如果所要导入的表在关系模型中已存在,是否更新已有的表。在导入时,系统将按表编码进行判断将要导入的表在当前的关系模型中是否已存在。在导入时,只有创建或更新操作,不会删除已有的表。 不更新:如果表已存在,将直接跳过,不更新。
EIP访问MySQL。 图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型
务指标删除。 导入/导出业务指标 导入指标:您可以通过导入功能,批量导入业务指标。 在数据架构控制台,单击左侧导航树中的“业务指标”,进入业务指标页面。 单击业务指标列表上方“更多”中的“导入”。在“导入业务指标”对话框中,单击“下载关系建模导入模板”。 图8 导入业务指标 表4
增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下
请根据错误提示修改为正确的用户名,再重试。 Cdm.0081 无效的证书。 请联系客服或技术支持人员协助解决。 Cdm.0082 证书不可读。 请联系客服或技术支持人员协助解决。 Cdm.0083 同一个进程不能配置多个证书,需要重启以使用新的证书。 请根据错误提示修改证书,再重启重试。 Cdm.0085 超过最大值。
在使用上较为便捷,但是安全性欠佳。 HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有效验证身份以及保护数据完整性。相对的,访问HTTPS的API,需要配置相关的SSL证书或跳过SSL校验,否则将无法访问。 请求方式 HTTP请求方式,表示请求什么类型的操作