检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到HDFS的作业时,目的端数据源选择HDFS、文件格式选择二进制
选择对应的连接名称与topic,当有新的kafka消息时将会触发作业运行一次 配置为:KAFKA 事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job
Hive)。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”,设置待嵌入水印的数据库和数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列
中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的,需要确保/tmp目录磁盘不被占满。
资源ID,查询方法请参见查询资源列表。 返回的id即为 resource_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
CDM在配置字段映射时提示字段的数据类型不支持,要求删除该字段。如果需要使用该字段,可在源端作业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名
rated Values,CSV)格式文件,文件大小不超过20M,并保存到本地。 已完成数据水印嵌入任务,请参考嵌入数据水印。 约束与限制 数据水印溯源的源文件大小不能超过20MB。 为实现准确溯源,请确保数据的完整性以及正确性:数据水印溯源的表数据文件第一列不允许为空,表数据记录数建议在5000以上。
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoin
件,选择不同的执行路径,可使用IF条件判断。 本教程包含以下三个常见场景举例。 根据前一个节点的执行状态进行IF条件判断 根据前一个节点的输出结果进行IF条件判断 多IF条件下当前节点的执行策略 IF条件的数据来源于EL表达式,通过EL表达式,根据具体的场景选择不同的EL表达式来
有OBS场景: 作业定义文件在OBS上的路径。例如obs://myBucket/jobs.zip。 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3
是逐层递进的,先设计概念模型,再进一步细化设计出逻辑模型,最后设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建
简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到
Content-Type消息体的类型(格式),默认取值为“application/json”。 如果请求消息体中含有中文字符,则还需要通过charset=utf8指定中文字符集。 解决方案 修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。
选择对应的连接名称与topic,当有新的kafka消息时将会触发作业运行一次。 配置为:KAFKA 事件类型,当前只支持监听DIS通道的新上报数据事件,每上报一条数据,触发作业运行一次。 配置为:DIS 选择要监听的OBS路径,如果该路径下有新增文件,则触发调度;新增的文件的路径名,可以通过变量Job
List<String> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。 dependPackages 否 List<DependPackage> 主Jar包所依赖的JAR包、properties文件。总的长度不能超过10240个字符。同时存在
参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:连接定义文件在OBS上的路径,连接定义文件的格式参考导出连接的响应消息。 无OBS场景:连接定义文件在本地的路径。 params 否 List<Params> 连接参数,默认值为空。 sameNamePolicy
关系到表的性能,需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2,再向上取整,4) 分区表桶数 = MAX(单分区数据量大小(G)/2G*2,再后向上取整,1) 其中,要注意的是: 需要使用的是表的总数据大小,而不是压缩以后的文件大小。 桶的设置以偶数
账号是您访问华为云的责任主体,有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号,可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面,根据页面提示完成账号注册。 为了能够给您提供更好的云服务使
般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数据。格式如下所示,id是点数据的唯一标识。 id,label,property 1,property 2,property 3,… 边数据集罗列了各个边的数据信息,一行为一条边的数据。GES中图规格是以边的数量进行定义的,如一百万边。格式如下所示,id
类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。 本章节介绍如何创建数据标准,创建好的数据标准,可用于在关系建模中新建业务表时与业务表中的字段相关联,从而约束业务表中的字段遵从指定的数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。