检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在页面选择所需要的模型单击进入,在右侧的列表中将显示该模型下面所有的表。您也可以展开主题结构,选中一个对象,右侧的列表中将显示该对象下所有的表。 在列表中,找到所需要的表,单击表名称进入表详情页面。 图1 关系模型列表 在详情页的表字段区域,选中需要关联质量规则的字段,然后单击“关联质量规则”按钮。
定)、DIMENSION_LOGIC_TABLE(维度表)、FACT_LOGIC_TABLE(事实表)、AGGREGATION_LOGIC_TABLE(汇总表)、TABLE_MODEL(关系建模表)、CODE_TABLE(码表)、STANDARD_ELEMENT)(数据标准)、B
策略。 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。
instance_id 是 String 集群ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 is_api 否 Boolean 是否查询API的访问日志,true表示查询API的访问日志,false表示查询应用的访问日志。 请求参数 表3 请求Header参数 参数 是否必选 参数类型
是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required Boolean 是否必填。true:必填,false:非必填。 searchable Boolean 是否可搜索。true表示在数据标准列表页面可搜索,false表示在数据标准列表页面不可搜索。
配置MRS Kafka目的端参数 表1 Kafka作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Topic 输入Topic数据库名称。 default 数据格式 写入目的端时使用的数据格式。 CSV:将列按照字段分隔符拼接。 JSON: 将所有列按照指定字段名称拼接为JSON字符串。
是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean 是否必填。true:必填,false:非必填。 searchable 否 Boolean 是否可搜索。true表示在数据标准列表页面可搜索,
8123 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - SSL加密 可选参数,支持通过SSL加密方式连接数据库,暂不支持自建的数据库。 否 引用符号
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
快速模式。 值得注意的是,库、表、列的权限是分层管理的,例如仅授予库权限后,则被授权用户对表和列依然是无权限的,如需对表或列授权,要再次按照对应层级进行授权。 例如,选择数据库授权,当手动填写数据表表名、或者填写“*”作为通配符时,此授权实际为对表进行授权;当手动填写数据列名、或
*数据源类型 从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。
String 修改时间。 表7 EntityPrivilegeInfo 参数 参数类型 描述 privileges Array of strings 特权列表。 inherit_privileges Array of strings 继承特权列表。 状态码: 400 表8 响应Body参数
operation_id 否 String 批量操作id,在逻辑模型转物理表时,填写的是逻辑模型的model_id,在逆向数据库时,填写的是目标模型的model_id。model_id可从接口获取模型中获取。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
查看逆向维度表任务 功能介绍 查看逆向维度表任务。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/database 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
(DWS),简称DWS)作为数据湖底座,进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务(Relational Database Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
参考创建DataArts Studio数据连接。 网络准备 数据库部署在本地IDC 参考数据库部署在本地IDC进行网络准备。 数据库部署在其他云 参考数据库部署在其他云进行网络准备。 数据库部署在华为云 参考数据库部署在华为云进行网络准备。 父主题: 数据集成(实时作业)
况,进行创建和启动作业。 选择已存在的Flink作业:请参见表1。 Flink SQL作业:请参见表2。 Flink OpenSource SQL作业:请参见表3。 Flink自定义作业:请参见表4。 高级参数:表5 表1 已存在的Flink作业-属性参数 参数 是否必选 说明 作业类型
数据的处理分析流程。 图1 数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。