检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为Hive数据源且使用JDBC方式读取数据时,CDM不支持多并发,此时应配置为单进程抽取数据。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 定时备份/恢复 该功能依赖于OBS服务。当前定时备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已创建OBS连接,详情请参见OBS连接参数说明。
发页面。 在脚本编辑器上方单击“提交”,提交版本。选择审批人,描述内容长度最多为128个字符,并勾选是否在下个调度周期使用新版本,不勾选则无法单击确认。在提交版本时,单击“版本对比”可以查看当前提交版本与最近一个版本之间的差异对比。 图1 提交 如果在“审批中心”开启了提交审批的
同步状态 UNKNOWN 未知 NOT_SYNC 未同步 SYNCING 同步中 SYNC_SUCCESS 同步成功 SYNC_FAIL 同步失败 sync_msg String 同步日志。 sync_time Long 同步时间。 create_time Long 创建时间。 create_user
的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准,调整不生效。 修改升序或降序的排序参数为其他排序方式,则会调用失败,不允许修改。 (可选)在创建API时,如果已打开“返回总条数”开关,则当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时
如果同步状态均显示成功,则说明汇总表发布成功,汇总表在数据库中已创建成功。 如果同步状态中存在失败,可单击该汇总表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以在汇总表页面勾选该汇总表,再单击列表上方的“更多 > 同
描述 validation-result Array of validationResult objects 校验结构:如果创建连接失败,返回失败原因,请参见validation-result参数说明。如果创建成功,返回空列表。 表10 validationResult 参数 参数类型
在管理中心创建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。 同步IAM用户。 登录MRS管理控制台。 选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型,并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL,目的端为DWS时,支持的字段类型请参见下表,以确保数据完整同步到目的端。 表1 PostgreSQL
关联技术指标 当前业务指标在规范设计中的实现。 导入结果会在导入对话框的“上次导入”中显示。如果导入成功,单击“关闭”完成导入。如果导入失败,您可以查看失败原因,将模板文件修改正确后,再重新上传。 图9 上次导入 导出指标:您可以通过导出功能,导出已生成的指标定义。 在数据指标控制台,
debug_status String API调试状态(共享版)。 枚举值: API_DEBUG_WAITING:等待调试 API_DEBUG_FAILED:调试失败 API_DEBUG_SUCCESS:调试成功 publish_messages Array of ApiPublishDTO objects
错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 状态码:401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
连接名称。 validation-result Array of validationResult objects 校验结构:如果创建连接失败,返回失败原因,请参见validation-result参数说明。如果创建成功,返回空列表。 表11 validationResult 参数 参数类型
使用Python脚本连接MRS安全集群执行Impala SQL 第一步:在执行任务的服务器上安装相应的包 pip install krbcontext(版本0.10) pip install kerberos(版本1.3.1) pip install impala 命令样例如下:
数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 DataArts
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案
作业名称。 validation-result Array of JobValidationResult objects 校验结果: 如果修改失败,返回失败原因。 如果修改成功,返回空列表。 表10 JobValidationResult 参数 参数类型 描述 message String
DRS任务切换到实时Migration作业配置 DRS(数据复制服务)任务迁移到Migration,完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务,DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算。
"value": "dws2obs/${currentTime}" } 作业名改成动态的,否则会因为作业重名而无法创建: "to-connector-name": "obs-connector", "from-link-name": "dws_link"
最后保存并提交版本(单击),执行调度作业(单击)。实现作业每天自动运行,每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败,可以通过数据开发的运维调度界面进行查看,如图9所示。 图9 查看作业执行情况 父主题: 图数据自动化构建与分析