检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MYSQL https://downloads.mysql.com/archives/c-j/ 5.1.48版本,获取mysql-connector-java-5.1.48.jar Oracle ORACLE_6 ORACLE_7 ORACLE_8 驱动包下载地址:https://www
自动建表只同步列注释,表注释不会被同步。 自动建表不支持同步主键。 不自动创建 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 待清空分区 “导入前清空数据”设置为“是”时,呈现此参数。
写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true,空字符串将作为null。 否 清空数据方式 导入前清空数据,如果设置为true时,呈现此参数。
D,在项目列表中查看项目和项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取,接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可参考IAM文档获取。 接口的认证鉴权请参见认证鉴权。
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
hell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 安全模式认证 是 是否安全模式认证。 https访问 是 开启https访问。 Https协议提升了集群安全性,同时集群性能会下降。 连接超时时间 否 连接超时时间,单位ms。默认10000。 超时时间 否
外部接口的安全管控和监控审计能力,保障数据传输接口安全。 数据删除是一种逻辑删除技术,为保证删除数据的不可恢复,一般会采取数据多次的覆写、清除等操作。 隐私计算通过实现数据的可用不可见,从而满足隐私安全保护、价值转化及释放。 人员能力 数据安全治理离不开相应人员的具体执行,人员的
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题:
URL地址:配置为获取CDM作业的JSON中获取的URL,格式为https://{Endpoint}/cdm/v1.0/{project_id}/clusters/{cluster_id}/cdm/job。例如“https://cdm.cn-north-1.myhuaweicloud
作业描述信息 cleanoverdueDays 否 integer 设置作业的最大超时时间 cleanWaitingJob 否 String 清除等待的作业 emptyRunningJob 否 String 是否空跑 version 否 String 作业版本信息 表3 Node数据结构说明
导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient
中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。
认在根目录/。 cleanOverdueDays 否 Int 设置作业的最大超时时间。 cleanWaitingJob 否 String 清除等待的作业。 emptyRunningJob 否 String 取值为0和1,1表示空跑,0表示:取消空跑,不设置该参数时,默认为0。 processType
Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”,设置待嵌入水印的数据库和数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列 下拉选择常见的字段类型作为嵌入列。如数值型、字符型。 注意:当选择水印版
httpclient; } private String login(){ HttpPost httpPost = new HttpPost("https://"+IAM_ENDPOINT+"/v3/auth/tokens"); String json = "{\r\n"+ "\"auth\":
查询集群列表 功能介绍 查询集群列表接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
置信息,方便查看异常数据产生的源头。 输出空值:勾选,则当空值不满足设定规则时,可在异常表中输出空值。 清理异常数据:勾选,清理异常数据会清除当前子规则历史异常数据,请谨慎操作。数据质量作业在重跑时,会清空异常表中的历史数据。 异常数据数量 可选择输出全部的异常数据,或者设定数量的异常数据。
查询集群详情 功能介绍 查询集群详情接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org
基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx.com/prefix。 默认Header参数 是 适用组件勾选数据集成时显示该参数。 默认head