检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
然后在数据服务发布时选择对应API分组,独享每天最多访问1000次的规格。另外,您还可以为API分组绑定一个或多个独立域名(详情请参考绑定域名),API调用者通过访问独立域名来调用您开放的API,这样即可不受每天最多访问1000次的规格限制。 专享版默认发布到数据服务专享版集群上
RS集群上。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分。
jar格式驱动并上传至OBS中。 GBASE8A驱动:获取地址 https://www.gbase.cn/download/gbase-8a?category=DRIVER_PACKAGE,建议8.3.81.53版本。 说明: 驱动文件所在的OBS路径中不能包含中文。 如果需要更新
2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。 父主题: 贸易数据极简上云与统计分析
CDM有哪些安全防护? CDM是一个完全托管的服务,提供了以下安全防护能力保护用户数据安全。 实例隔离:CDM服务的用户只能使用自己创建的实例,实例和实例之间是相互隔离的,不可相互访问。 系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。
将账号的操作权限委托给DataArts Studio服务后,需要配置委托身份的权限,才可与其他服务进行交互。 为实现对权限较小化的安全管控要求,可根据作业中的节点类型,以服务为粒度,参见表1配置相应的服务Admin权限。 也可精确到具体服务的操作、资源以及请求条件等。根据作业中的节点类型,以对应服务API接口为粒度
Administrator权限的用户才创建云服务委托。云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。 云服务委托包含DWS、MRS、RDS、OBS、SMN、KMS等服务的相关权限,作用范围可以访问IAM的委托界面查看。
通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 适用组件勾选数据集成时显示该参数。 DataArts无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
table 导入前清空数据 导入前是否清空表中的数据。 是:清空表中数据。 否:不清空。 否 高级属性 Rowkey冗余 是否将选做Rowkey的数据同时写入HBase的列。 否 WAL开关 是否写WAL,不写WAL能提升性能,但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型
定义用户或用户组访问数据的脱敏方式。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 脱敏方式:按照该参数选定的值对Hive表中需要进行权限控制的列进行脱敏。
于创建数据库的SQL脚本,从而创建数据库。 本章节以可视化模式为例,介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如,MRS服务。 已新建数据连接,请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库,建议通过SQL脚本方式进行创建。
默认密钥。 绑定Agent 是 通过代理连接时,是必选项。 MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。
不支持Oracle实时增量数据同步。 分布式缓存服务(DCS)和Redis数据源约束 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 仅支持Hash和String两种数据格式。 文档数据库服务(DDS)和MongoDB数据源约束
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
在左侧导航窗格中,单击“角色授权”>“创建自定义策略”。 输入“策略名称”。 图1 策略名称 选择“作用范围”,即自定义策略的生效范围,根据服务的部署区域选择,这里我们要授予的是IAM查询指定条件下的委托列表的权限。因IAM是全局级服务,所以作用范围选择“全局级服务”。 “策略配置方式”选择“可视化视图”。
用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。
在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM
数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用但仅限于存量用户调测使用,数据服务专享版需要
和DB配置。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过名