检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
使用,也避免了权限过大的风险。 如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件,支持修改连接名(connectionName)、数据库名(database)和集群名(clusterName)。 图2 还原资产 单击“确定”。 父主题: 运维调度
用户在关系建模过程中,可以从数仓规划去设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或MRS_Hive。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
当无认证方式的API入参位置在Query或Path时,支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以Chrome浏览器为例,为您介绍如何使用浏览器调用无认证方式的API,主要包含如下几步:
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 实体ID,ID字符串。 表2 Query参数 参数 是否必选 参数类型 描述 biz_type 是 String 指标类型。 请求参数 表3 请求Header参数
业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
desc LIMIT 10 图2 脚本(分析10大用户关注最多的产品) 关键参数说明: 数据连接:步骤4中创建的DLI数据连接。 数据库:步骤6中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低,
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
执行脚本 功能介绍 该接口用以执行指定脚本,支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
权限点 管理员 开发者 运维者 访客 查询集群列表(MRS&DWS&CDM) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y