检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio数据服务默认会把日志写到dlm-log-{projectId}桶中。 如果“作业日志OBS路径”没有选择已有的OBS桶,首次运行作业时,默认的DLF桶创建不出来,无法写入日志。为了确保作业日志正常写入OBS桶中,当创建工作空间时,请选择已有的OBS路径。 父主题: 数据开发
DWS授权时,数据库可修改为逻辑集群,用于为DWS数据源开启逻辑集群功能后的授权。逻辑集群场景下,使用DWS额外所需如下逻辑集群权限: 允许在子集群中创建表对象:create 允许访问子集群下的表对象:usage 允许用户在具有compute权限的计算子集群上进行弹性计算:compute 配置权限后,在权限视角下支持
考虑以下几点: 目的端写入过慢。 源端抽取过慢。 其他问题(请联系技术支持人员协助解决)。 因为目的端写入过慢会影响至源端,导致源端抽取速度下降,因此链路速度过慢请优先排查目的端写入速度,在排除目的端因素后再排查上游。 目的端写入慢 检查目的端负载是否已达到目的端数据源上限。优先
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
在IAM服务左侧导航窗格中,进入“权限管理 > 权限”,单击页面中的“创建自定义策略”。 图1 单击创建自定义策略 在弹出的创建自定义策略页面中,切换到JSON视图,填写MRS权限管理所需的IAM相关自定义策略后,单击“确定”完成IAM相关自定义策略创建。 创建自定义策略时,暂不支持同时
开启审批功能时,相关API的请求体需要增加审批人属性,具体见作业开发API。 审批开关的配置、作业和脚本的审批只能在前台界面进行操作。 有实时Pipeline作业的情况下,不允许打开审批开关。 审批开关打开后,审批中心功能对审批人和单据提交人都可见。审批开关关闭时,仅当前工作空间的管理员或者拥有DAYU
密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 数据集成(CDM作业)
status 是 String 节点状态: waiting:等待运行 running:运行中 success:运行成功 fail:运行失败 skip:跳过 pause:暂停 manual-stop:取消 queue 是 String DLI资源队列名称。 说明: 在返回响应中,仅DLI
时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降低调用次数,减少集成成本,提升调用效率。 约束与限制 仅3
ReadOnlyAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。
审核的对象的详细信息。 可以通过“审核时间”进行筛选,查看所选时间段内已审核的对象。 可以通过“对象”、“创建人”或“审核人”进行筛选,查看已审核的对象。系统支持模糊搜索。 我的申请 可以查看自己提交的申请对象,是否审核通过还是审核中。同时,审核中的对象支持撤回。 单击对象名称或者“操作
1) + ";" + ... 已签名的消息头需要满足以下要求:将已签名的消息头名称转换为小写形式,按照字符代码对消息头进行排序,并使用“;”来分隔多个消息头。 Lowercase表示将所有字符转换为小写字母。 举例: 以下表示有两个消息头参与签名:host、x-sdk-date GET
只能以英文字母开头,支持英文字母、数字、下划线。 数据类型 显示该字段名称的数据类型。 配置类型 表示该字段名称对应的配置类型。比如衍生指标。 关联对象 表示该字段名称的配置类型对应的关联对象。比如衍生指标的名称。 主键 选中时表示该字段为主键。 说明: 数据连接为MRS Spark连接(通过MRS Spark连接支持MRS
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,您也可以自定义日志和DLI脏数据存储路径,支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶,不支持并行文件系统。 前提条件 修改工作空间的用户账号,需要满足如下任一条件:
运行历史 运行历史功能可支持查看脚本、作业和节点的一周(7天)内用户的运行记录。 前提条件 运行历史功能依赖于OBS桶,若要使用该功能,必须先配置OBS桶。请参考配置OBS桶进行配置。 脚本运行历史 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
I。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签,查看数据表变更详情。 父主题: 查看工作空间数据地图
单表同步:支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步:支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表,一个任务中最多支持200张目标表。 分库分表同步:支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 实时同步任务配置
主题首次同步名称冲突时,会将普通目录修改为主题目录属性,带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时,会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。
作业日志打不开,可能权限不足。 解决方案 作业日志在OBS桶中存储,您需要先在工作空间中配置作业日志的桶目录,然后确认当前账户是否具有OBS读权限(可以通过检查IAM中OBS权限、OBS桶策略来确认)。 OBS路径仅支持OBS桶,不支持并行文件系统。 修改工作空间的用户账号,需要满足如下任一条件: