检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置YASHAN源端参数 作业中源连接从YASHAN导出的数据时,源端作业参数如表1所示。 表1 YASHAN作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用S
您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格,可以在APIG共享版控制台新建一个API分组(详情请参考
新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ
使用Android语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Android Studio,如果未安装,请至Android
通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产来自于数据连接和元数据采集任务,其中的数据连接来源于管理中心的数据连接,库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。 约束限制 业
境调用接口的URL参数不生效? 问题描述 Postman调用接口返回结果正常,测试环境调用接口的URL参数不生效。 解决方案 URL的参数连接符&需要转义。 父主题: 数据开发
值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。 添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。
值直接写入目的端。 这里“添加字段”中“自定义字段”的功能,要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器,或者目的端为HBase连接器。 添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。
新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Python安装包(可使用2.7.9+或3
示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本、搭建Node.js开发环境为例介绍。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Nodejs安装包,如果未安装,请至Nodejs官方网站下载。
enabled(启用AQE用于连接操作,可以通过根据正在处理的数据动态选择最佳连接算法来提高性能。) spark.sql.adaptive.skewedJoin.enabled(启用AQE用于倾斜的连接操作,可以通过自动检测倾斜的数据并相应地优化连接算法来提高性能) spark.sql
M无法通过弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户
String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。
String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。
使用C#语言调用APP认证的API时,您需要先获取SDK,然后打开SDK包中的工程文件,最后参考API调用示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Visual Studio,如果未安装,请至Visual
JSON文件保存到本地。 由于安全原因,CDM导出作业时没有导出连接密码,连接密码全部使用“Add password here”替换。 在本地编辑JSON文件,将“Add password here”替换为对应连接的正确密码。 将编辑好的JSON文件批量导入到CDM集群2,实现集群1和集群2之间的作业同步。
配置MRS ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时,目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设
创建DLI连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“数据湖探索(DLI)”后单击“下一步”,配置DLI连接参数,如图2所示。 名称:用户自定义连接名称,例如“dlilink”。
解析响应消息体中的流 导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export";
新建工程,最后参考调用API示例调用API。 本章节以IntelliJ IDEA 2018.3.5版本为例介绍。 前提条件 已获取API的域名、ID、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Go安装包,如果未安装,请至Go官方网站下载。