检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmode=require 引用符号 可选参
请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean 是否开启LTS日志转储功能,true表示开启,false表示关闭。 log_group_id 否 String 日志组ID。 log_group_name 否 String 日志组名称。 log_stream_id
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean true
调用说明 数据治理中心提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 构造请求 认证鉴权 返回结果 父主题: 使用前必读
如调用失败提示“Could not get any response”,可根据提示在Postman设置中关闭“SSL certificate verification”选项或关闭Proxy代理,然后再次尝试运行。 图12 调用API 父主题: 通过不同方式调用API
也可通过右键单击执行结果页签的名称,单击重命名。重命名不能超过16个字符。 可通过右键单击执行结果页签的名称关闭当前页签、关闭左侧页签、关闭右侧页签、关闭其它页签、关闭所有页签。 MRS集群为非安全集群、且未限制命令白名单时,在Hive SQL执行过程中,添加application
开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况,将发送报警信息,用户将收到基线任务的报警信息。 :关闭报警开关,用户无法收到基线任务的报警信息。
SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:建立Hive的数据连接创建的连接。 开发Hive SQL作业
保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS
data Object 返回的数据信息。 请求示例 将标签ddd从ID为1217123755210469378的表上移除。 DELETE https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tag=ddd
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Flo
08分。 全量同步 当选择MRS集群时,支持配置是否全量用户同步,默认开启同步全量用户。 当您不需要同步全量用户时,可选择关闭此选项。 *用户/用户组 当关闭全量同步时可,支持指定待同步的用户/用户组,请至少选择一位用户或一个用户组。 用户同步任务新建完成后,并不会直接运行。需要
SQL脚本,脚本名称为“dws_sql”。在编辑器中输入SQL语句,通过SQL语句来实现统计前一天的销售额。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:创建DWS的数据连接中已创建的连接。 开发DWS SQL作业
data Object 返回的数据信息。 请求示例 给ID为1217123755210469378的表打标签aaa、bbb。 PUT https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tags=bbb&tags=aaa
myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 cdm.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 cdm.cn-north-4.myhuaweicloud.com HTTPS 华北-乌兰察布一 cn-north-9
如图2所示。 图2 查看规则评分 规则名称为运行实例名称,如果作业被运行多次,取最新时间运行实例的结果。如果同一运行实例中,有多个子实例检验该表,则每个子实例一条记录。 单击“规则评分”列的评分值链接,展开该规则关联的字段评分,如图3所示。 图3 表关联规则评分界面 查看业务报告业务质量评分
而导致迁移失败,此时可关闭配置避免迁移报错。 useCursorFetch=false:CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL
转换逻辑模型为物理模型,转换成功则显示转换后的目标模型信息。 异常:目标模型信息的“id”等属性为null时,则需要调用《获取操作结果》接口查看具体报错信息:GET https://{endpoint}/v1/{project_id}/design/operation-results?operation_typ
21c (21.3) drivers)。 解决方案 推荐使用Oracle Database 12c中的ojdbc8.jar驱动,下载地址:https://www.oracle.com/database/technologies/jdbc-ucp-122-downloads.html。
保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS