检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程,请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
SQL : 参考表17。 Shell :参考表18。 CDM Job: 参考表19。 DIS TransferTask :参考表20。 CloudTableManager :参考表21。 OBSManager - 参考表22。 RESTAPI :参考表23。 SMN :参考表24。 MRS
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“
写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 是 Array of strings ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除)
写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 是 Array of strings ID列表,ID字符串。 del_types 否 String 删除类型。 枚举值: PHYSICAL_TABLE: 是否删除数据库物理表,只针对能物化的表生效(配置此值则表示删除)
快速模式。 值得注意的是,库、表、列的权限是分层管理的,例如仅授予库权限后,则被授权用户对表和列依然是无权限的,如需对表或列授权,要再次按照对应层级进行授权。 例如,选择数据库授权,当手动填写数据表表名、或者填写“*”作为通配符时,此授权实际为对表进行授权;当手动填写数据列名、或
(DWS),简称DWS)作为数据湖底座,进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务(Relational Database Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts
移量”。 说明: 表名支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有表(要求表中的字段个数和类型都一样)。例如: table*表示导出所有以“table”开头的表。 *table表示导出所有以“table”结尾的表。 *table*表示表名中只要有“table”字符串,就全部导出。
表关联作业算子列表(邀测) 功能介绍 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/table/{guid}/node 表1 路径参数 参数 是否必选
待抽取数据的数据源,作业源端为Hive时,这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库,例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名,例如“cdm”。 fromJobConfig.columnList
String 数据连接ID。 db_type 是 String 数据库类型。 database_name 是 String 数据库名称。 table_name 是 String 表名。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是
数据集成配置 连接属性 否 例如:1. socketTimeout:配置JDBC连接超时时间,单位为毫秒;2. mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true 数据源认证及其他功能配置 用户名
Studio来说,标签用于标识购买的实例,以此来达到对购买的DataArts Studio实例进行分类的目的。当为实例添加标签时,该实例上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个实例作用于A部门,我们可以用该部门名称作为标签,设置到被
数据模型数量增量包: 不同版本的DataArts Studio实例,提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量计算的,您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的数据模型数量
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
pg_connect 数据库连接数 该指标为从物理机层面采集的postgres数据库连接数。 单位:Count/个。 0~2147483647 CDM集群实例 1分钟 pg_submission_row 历史记录表行数 该指标为从物理机层面采集的postgres数据库submission表行数。
况,进行创建和启动作业。 选择已存在的Flink作业:请参见表1。 Flink SQL作业:请参见表2。 Flink OpenSource SQL作业:请参见表3。 Flink自定义作业:请参见表4。 高级参数:表5 表1 已存在的Flink作业-属性参数 参数 是否必选 说明 作业类型
通过MRS ClickHouse节点执行数据开发模块中预先定义的ClickHouse SQL脚本。 参数 用户可参考表1,表2和表3配置MRS ClickHouse节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“