检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发并调度Import GES作业 假设MySQL中的原始数据表是每日更新的,我们希望每天都能将基于原始数据的最新图数据更新到GES中,则需要使用数据开发按如下步骤编排作业,并定期调度。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
作业配置了周期调度,但是实例监控没有作业运行调度记录? 可能原因 作业配置了周期调度,但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。 解决方案 在“运维调度 > 作业监控”界面确认作业的调度状态是否是调度中,只有调度中的作业到了调度周期后才会调度。 图1
已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。
在数据开发子模块中,新建的DLI SQL脚本默认队列是一个已删除的队列,怎么处理? 问题描述 新建的DLI SQL脚本默认队列是一个已删除的队列。 图1 DLI SQL脚本 问题分析 新建的DLI SQL脚本队列显示的逻辑是这样的,在该工作空间,上一次使用DLI SQL脚本或打开DLI
全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映射到公网时,需要检查是否启用了PASV模式。这种情况下客户端和服务端建立连接的时候是走的随机端口,
数据库名称 待导出数据的MySQL数据库名称。 DB_name 用户名 访问MySQL数据库的用户,该用户拥有MySQL数据库的读、写和删除权限。 username 密码 访问MySQL数据库的用户密码。 DB_password DWS数据库 IP地址 DWS数据库的IP地址,CDM可通过内网访问该地址。
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
数据开发节点运行中报TOKEN不合法? 问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
Studio平台,提供了数据使能的全套能力,支持数据的采集、汇聚、计算、资产管理、数据开放服务的全生命周期管理。 华为FusionInsight解决方案,对应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 TaurusDB、云数据库 GaussDB、云数据库 PostgreSQL、云数据库
作业配置了每日调度,但是实例没有作业运行调度记录? 问题描述 作业配置了每日调度,但是实例没有作业运行调度记录。 原因分析 原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。
er/WordCount.jar 下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载JAR包的SHA256值,其中,“D:\wordcount.jar”为JAR包的本地存放路径和JAR包名,请根据实际情况修改。
为什么运行静态脱敏任务后却没有按照规则脱敏? 可能原因 静态脱敏任务依赖于敏感数据发现任务。如果未在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”,则系统会认为表中无敏感字段,也就不会按照规则进行脱敏。 解决方案 创建静态脱敏任务前,必须先创建敏感数据发现任务,并在运
定已上传的驱动文件。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数,指定每次请求获取的行数,根据
单击“集群”,在“概览”页签下,从右上方选择“更多 > 下载客户端”。 图2 下载客户端 弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,
您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是依据数据架构主题关联匹配的质量作业运行的结果,包
排序。 运行时间 展示实例的运行时长。 结束时间 展示实例结束运行的时间。结束时间支持按照升序和降序进行排序。 处理人 展示实例的处理人。 重跑 再次运行规则实例。 结果&日志 详细展示作业实例的运行结果和日志。 质量作业结果 质量作业运行结果中,支持查询每条规则的运行状态(包括
/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外,华为云还提供了以下销售许可证及软件著作权证书,供用户下载和参考。具体请查看合规资质证书。
结构化数据文件水印嵌入的数据有以下要求: 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列嵌入水印,如果该列的值是可枚举穷尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型
如何使用Java调用CDM的Rest API创建数据迁移作业? CDM提供了Rest API,可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例,介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306