检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
在数据开发主界面,单击左侧导航上的“脚本开发”,进入脚本目录。 单击脚本目录中的,选择“显示复选框”。 勾选需要导出的脚本,单击 > 导出脚本。导出完成后,即可通过浏览器下载地址,获取到导出的zip文件。 图1 选择并导出脚本 在弹出的“导出脚本”界面,选择需要导出的脚本的状态,单击“确定”。
SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。在下面的SQL语句中,所做的操作是把${Source}表中的数据全部导入${Destination}中,${fromTable}、${toTable} 就是要替换的变量参数。SQL语句为:
Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON
SQL节点,编排图3所示的作业。 DLI SQL的语句中把要替换的变量配成${}这种参数的形式。在下面的SQL语句中,所做的操作是把${Source}表中的数据全部导入${Destination}中,${fromTable}、${toTable} 就是要替换的变量参数。SQL语句为:
Migration在配置8CU的情况下可以支撑8000条/秒的同步速率。流量较大的表建议单独配置作业。 图2 查看监控指标 图3 查看指标详情 参考客户建议,根据客户业务需求创建作业。 网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息中查看数据源配置,
从而进行不同的处理,则可以根据本节点的执行状态设置IF条件判断,具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。 文件过滤器 否 输入文件过滤的通配符,满足该过滤条件的文件才会被移
Studio企业模式环境隔离 管理中心的环境隔离,当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后,数据开发时脚本/作业中的开发环境数据连接通过发布流程后,将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前,应已创建DLI的数据连接。 (可选)创建DLI环境隔离
是否支持批量调度作业? 问题描述 CDM是否支持批量调度作业? 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 数据集成(CDM作业)
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,
BYTES_WRITTEN:表示写入的字节数。 BYTES_READ:表示读取的字节数。 TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入的文件数。 FILES_READ:表示读取的文件数。 ROWS_WRITTEN:表示写入成功的行数。 ROWS_READ:表示读取成功的行数。 父主题:
单击“新建导入”,选择导入方式后,配置待导入资源的OBS或本地路径。待导入的资源应为通过导出获取的zip文件。 图7 配置待导入的资源存储路径 单击“新建导入”,上传待导入资源。待导入的资源应为通过导出获取的zip文件 单击“下一步”,勾选导入的资源类型。 图8 勾选导入的资源类型 如果选择导入数据源,则单击“下一步”需要配置数据连接。
测试完成后,单击“确定”返回API列表。已成功修改的API会在API名称后添加“已编辑”标签。 图2 已编辑API 再次发布已编辑的API。在API服务列表操作列中,选择“更多 > 发布”,然后选择已调试通过的集群进行发布。 您可以将已编辑的API发布在上一次发布的集群上,该集群上的API信息将按编辑后的信息进行更新
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
终端节点Endpoint 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud
在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,监控显示的是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据。
user over ratelimit,limit:60,time:1 minute",如下图所示。 图1 报错信息 解决方案 由于MRS服务的接口限制了单个用户每分钟最多调用60次,因此只能通过降低调用频率来解决该问题。 父主题: 数据开发
操作场景 通过设置实时集成作业的告警规则,用户可自定义监控目标与通知策略,及时了解作业状况,从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts