检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
升级后需要管理员手工修改数据连接、配置环境隔离,并按照组织分工在工作空间处定义管理员、开发者、部署者、运维者等角色。 修改数据连接:请参考创建DataArts Studio数据连接。 配置环境隔离:请参考配置DataArts Studio企业模式环境隔离。 为其他用户定义工作空间角色:
表”的权限。 先创建自定义策略(查询指定条件下的委托列表),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。 在左侧导航窗格中,单击“角色授权”>“创建自定义策略”。 输入“策略名称”。
制策略。 支持对行存表、行存分区表、列存表、列存分区表、复制表、unlogged表、hash表定义行级访问控制策略,不支持HDFS表、外表、临时表定义行级访问控制策略。 不支持对视图定义行级访问控制策略。 同一张表上可以创建多个行级访问控制策略,一张表最多创建100个行访级问控制策略。
任务性能调优 性能调优概述 作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
38位时,Hive按38位创建,s小于0时,按0创建,受Hive数据类型限制,此场景可能会导致数据写入后精度丢失。 表1 MySQL->Hive自动建表时的字段映射 数据类型(MySQL) 数据类型(Hive) 说明 数值类型 tinyint(1),bit(1) BOOLEAN - TINYINT
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。 当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。
请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。 ORACLE
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable)
源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统:DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库:DWS MySQL同步到DWS作业配置 SQLServer Hadoop:MRS
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle 搜索:Elasticsearch
定义数据密级 为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数
HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable)
DM上创建MySQL连接时输入这个地址和端口)。 映射地址、映射端口:配置为内网MySQL的地址和端口。 图2 配置端口映射 单击“增加”,添加端口映射关系。 单击“开始映射”,这时才会真正开始映射,接收数据包。 至此,就可以在CDM上通过弹性IP读取本地内网MySQL的数据,然后导入到云服务DWS中。
业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产来自于数据架构组件中定义并发布过的业务指标,资产总览展示业务指标及其详情。
源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统:DMS Kafka MySQL同步到DMS Kafka作业配置 数据仓库:DWS MySQL同步到DWS作业配置 SQLServer Hadoop:MRS
配置节点调度任务(实时作业)。 提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。 发布作业。企业模式下需要发布作业,具体请参见发布作业任务。
若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 模式 是 默认选择SQL脚本中设置的数据库,支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
查找表模型列表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找关系建模中的表模型信息,包括逻辑实体、物理表和其属性。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选
管理资产标签 标签是用来标识数据的业务含义,是相关性很强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。