检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
查询作业实例列表 功能介绍 查询作业实例列表。 对于配置了周期调度或事件触发调度的批处理作业,触发一次运行就会生产一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点,可以通过此接口查询节点所关联的子作业的实例列表,参数jobName格式为[实时作业名称]_[节点名称]。
HANA 支持从SAP HANA导出数据。 参见配置SAP HANA源端参数。 云数据库 PostgreSQL 云数据库 SQL Server Microsoft SQL Server PostgreSQL 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数
偏移量,表示从此偏移量开始查询,该值大于等于0。 diagnose_id 是 String 诊断任务id,通过调用查询数据权限控制模块诊断结果接口获取。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database 否 String
“编辑器配置”里面可以对SQL查询结果展示进行配置。 企业模式下,支持从脚本开发界面快速前往发布。鼠标放置在上,单击“前往发布”,进入待发布任务界面。 支持Hive SQL、DLI SQL、DWS SQL、RDS SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面
查询规则组列表 功能介绍 查询规则组列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/data-classification/rule/group 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
String 是否查询当前用户的实例,默认为false,表示查询全部用户实例,为true时,表示查询当前用户的实例。 query_days 否 String 查询的天数,取值范围为:today、yesterday、before_yesterday、all,默认为today,表示查询今天的数据,支持查询近7天的数据。
查询发布包列表 功能介绍 用于查询发布包的列表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages 参数说明 表1 URI参数说明 参数名 是否必选
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心
本例中为了方便演示,我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中,之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中,需要在MySQL数据库中预先创建原始数据表。 正式业务流程中,MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集,这种到OBS的数据
查看表 对于关系建模中的表,您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio
实例”,获取FE角色的管理IP。 端口 是 Doris FE通过mysql协议查询连接端口。 MRS Doris获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Doris > 配置 > 基础配置”,搜索“query_port”查看端口值。 KMS密钥 是 通过KM
HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。
当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时,支持的目的端数据类型为CloudTable(仅华北-北京一支持)、DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时,支持的目的端数据类型为MySQL。 当源端数据为OBS类型时,支持的目的端数据类型为DLI、DWS。
查询统计用户相关的总览调用指标 功能介绍 查询统计用户相关的总览调用指标。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/statistic/apps-overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询集群概览信息列表 功能介绍 查询集群概览信息列表。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/instances/overview 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行结构分析,重新建模,最终打破数据孤岛,帮助企业建立统一数据模型。
配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数
yashan_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 1688 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有
如果想要读取或写入某个CSV文件,请在选择“文件格式”的时候选择“CSV格式”。CSV格式的主要有以下使用场景: 文件导入到数据库、NoSQL。 数据库、NoSQL导出到文件。 选择了CSV格式后,通常还可以配置以下可选子参数: 1.换行符 2.字段分隔符 3.编码类型 4.使用包围符 5