检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务专享集群增量包对应数据服务专享版集群。创建一个数据服务专享集群增量包,系统会按照您所选规格自动创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共
Zone)是同一区域内,电力和网络互相隔离的物理区域,一个可用区不受其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以
购买数据模型数量增量包 数据模型数量增量包用于扩充数据模型数量配额。 不同版本的DataArts Studio实例,默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了DataArts Studio服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表
认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。
安全的场景如图2所示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理,包括MRS、DWS、DLI,统一的权限配置入口能力,提高了易用性和可维护性。 数据安全以数据为中心,提供了围绕数据全链路的数据安全能力,如统一权限治理、敏感数据治理、隐私保护策略管理。
通过不同方式调用API 调用API方式简介 (推荐)通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题: 调用数据服务API
须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 如果您只给用户配置了工作空间的角色,则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU
不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的开关,则作业提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,作业才能提交成功。具体操作请参见审批配
不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的开关,则脚本提交审批后,需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审批配
支持对同步任务设置监控报警。 基本特性 实时处理集成作业为大数据开发提供了支撑,具有以下特性: 实时性:支持数据秒级迁移。 可靠性:通过异常恢复,重试等机制确保数据的一致性和准确性。 多样性: 数据源多样性:源端和目的端可供选择多种数据源,为用户提供了多种选择。 链路多样性:部分链路支持全量和增量同步,部分链路支持分库分表。
、子公司、部门等)、业务领域(采购、生产、销售等)或者实施环境(开发、测试、生产等),没有特定的划分要求。 随着业务的不断发展,您可能进行了更细致的工作空间划分。这种情况下,您可以参考本文档,将原有工作空间的数据(包含管理中心数据连接、数据集成连接和作业、数据架构表、数据开发脚本
确认请求的key和secret是否准确。 401 Signed header ___ not found. 签名头未找到。 请确认用于签名的header头参数在调用时上传了。 401 Header x-sdk-date not found. 签名头x-sdk-date未找到。 此参数为签名时自动生成,若通过其他
HIGH_RISK 高风险 NOT_SCANNED 未扫描 security_level Boolean 是否配置了密级 classification Boolean 是否配置了分类 表5 IdentificationRuleResult 参数 参数类型 描述 result String
当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理
可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中
Studio实例使用配额接近或达到规格的情况下,您可以购买如下规格增量包: 作业节点调度次数/天增量包: 不同版本的DataArts Studio实例,提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、数据质量监控作业和元数据采集作业的调度次数之和计算的,您可以在新商业模式的DataArts
3_scripts和4_jobs文件夹内。 备份成功后,在以“备份日期”命名的文件夹内,自动生成backup.json文件,该文件按照节点类型存储了作业信息,支持恢复作业前进行修改。 启动每日备份后,若想结束备份任务,您可以单击右边的“停止每日备份”。 还原资产 在DataArts St
环境。 配置两套数据湖服务,进行开发与生产环境隔离。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS等),DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。