检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载中心 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后,可以通过下载中心查看下载和转储的结果。 约束与限制 仅SQL脚本和单任务SQL作业运行完成并且返回结果后,执行下载和转储,在下载中心生成记录,可以查看下载和转储的结果。 下载中心 下
受其他可用区故障的影响。一个区域内可以有多个可用区,不同可用区之间物理隔离,但内网互通,既保障了可用区的独立性,又提供了低价、低时延的网络连接。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。更多信息请参见华为云全球站点。
打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示:
打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示:
表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每次查询的数据连接条数的限制量,默认20。 offset 否 Integer 每次查询的数据连接条数的分页页码,默认0。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
队列属性(0:默认,1:实时队列,2:离线队列), 当前只有yarn队列涉及。 conn_id String 数据连接id。 conn_name String 数据连接名称。 cluster_id String 集群id。 cluster_name String 集群名称。 create_time
String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。
属性Map(String, Object),key:属性名称,value:属性值。 connection Connection object 数据连接。 create_time Number 创建时间。 created_by String 创建人。 display_text String
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如:数据入湖阶段,支持对敏感字段进行脱敏设置,支持对数据源连接进行管控,控制对数据源的访问权限;分析师查询数据时,支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略:包括统一权限治理
配置模板 本章节主要介绍如何创建并使用模板。用户在编写业务代码时,对于重复的业务逻辑,可以直接引用SQL模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS
'${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时,对于时间的判断可以写成以下两种: _timestamp >= '2018-10-10 00:00:00' and _timestamp
/052101/DAY20211110.data /052101/DAY20211111.data 是 列表文件源连接 当“列表文件”选择为“是”时,才有该参数。可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。
应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 TaurusDB、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼容Influx、Redi
Studio 创建IAM用户并授权 自定义工作空间角色 添加工作空间成员和角色 管理中心 DataArts Studio支持的数据源 创建数据连接 资源迁移 使用教程 数据集成 数据集成概述 CDM支持的数据源 CDM使用教程 数据架构 准备工作 数据调研 标准设计 模型设计 指标设计
dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For Each节点支持Loop表达式,所以HIVE SQL节点后面需要连接一个For Each节点。 此场景下不能使用StringUtil表达式#{StringUtil.split(StringUtil.split(StringUtil
属性Map(String, Object),key:属性名称,value:属性值。 connection Connection object 数据连接。 create_time Number 创建时间。 created_by String 创建人。 display_text String
dataArray[][]}或#{Loop.current[]}均可以实现,且当前只有For Each节点支持Loop表达式,所以HIVE SQL节点后面需要连接一个For Each节点。 此场景下不能使用StringUtil表达式#{StringUtil.split(StringUtil.split(StringUtil
String 任务名。 data_source_type 否 String 数据源类型。 data_connection_id 否 String 数据连接id。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 directory_id 否 String