检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过DataArts Studio调度大数据服务时需要注意什么? 问题描述 通过DataArts Studio调度大数据服务时,需要注意的地方需要说明一下。 解决方案 DLI和MRS作为大数据服务,不具备锁管理的能力。因此如果同时对表进行读和写操作时,会导致数据冲突、操作失败。
CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
StringUtil内嵌对象 StringUtil内嵌对象提供了一系列字符串操作方法,例如从一个字符串中截取一个子字符串。 StringUtil内部是由org.apache.commons.lang3.StringUtils实现的,具体使用方法请参考apache commons文档。
DataArts Studio的会话超时时间是多少,是否支持修改? 会话超时时间指的是如果用户超过该时长未操作界面,会话将会失效,需要重新登录。 会话超时策略可以在IAM服务进行设置,如图所示。 会话超时策略默认开启,不能关闭,管理员可以设置会话超时的时长,会话超时时长默认为1个
注册账号并实名认证 账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。
(可选)获取认证信息 DataArts Studio使用过程中,例如在数据集成创建OBS连接、API调用或问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
数据目录API概览 表1 数据目录API类型 类型 说明 API流量限制 用户流量限制(次/s) 业务资产接口 业务资产接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 指标资产接口 指标资产接口 统计资产接口 统计资产接口
使用API时,每个子域名每天可以访问多少次? 每个子域名的访问次数限制与API发布到的目标有关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯
数据开发API(V2)概览 表1 数据开发API(V2)类型 类型 说明 作业开发 作业开发类型接口。 作业开发 表2 作业开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建补数据实例 创建一个补数据实例。 100 10 查询补数据实例 查询补数据实例列表,支持分页查询。
发布API 本文将为您介绍如何将数据服务中的API发布到服务目录。 操作场景 为了安全起见,在数据服务中生成的API以及注册的API,都需要发布到服务目录中才能对外提供服务。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
使用教程 创建MRS Hive连接器 创建MySQL连接器 MySQL数据迁移到MRS Hive分区表 MySQL数据迁移到OBS MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务
数据治理各模块域之间的关系 数据治理主要模块域之间的关系如下图所示: 图1 数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
认证前准备 通过SDK调用API前,需要获取如下认证信息: 访问服务前,首先需要得到API的ID、请求URL和请求方法 在数据服务的“API目录”页面,单击API名称,在“完整信息”页面查看API的ID、请求URL和请求方法。 图1 API基础定义 对于APP认证的API,您必须
运维概览 在“运维调度 > 运维概览”页面,用户可以通过图表的形式查看作业实例的统计数据,目前支持查看以下七种统计数据。 运行状态 通过时间和责任人可以筛选出今天的我的或者全部责任人的作业实例调度运行状态概览 通过时间和责任人可以筛选出昨天的我的或者全部责任人的作业实例调度运行状态概览
数据资产入表三步走 数据资产“入表”,是推动数据资产化的第一步,也是数据要素市场发展的关键一步。国有企业、上市公司如何充分发挥海量规模数据和应用场景等优势,如何解决数据难点,如何管好用好数据资产,已成为数字化转型的关键命题。对此,国内领先的数据分析和数据治理产品与服务提供商亿信华
修改作业名称 功能介绍 对作业名称进行重命名操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 PUT /v2/{project_id}/factory/jobs/{job_name}/rename 参数说明 表1 URI参数说明 参数名
操作历史 通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对
数据服务SDK概述 本文档指导API调用者通过数据服务SDK代码调用数据API,当前数据服务SDK代码仅支持调用API场景。 数据服务SDK介绍 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数