检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
objects 码表属性值。 count_field_values 否 Integer 码表属性值总数。 表7 CodeTableFieldValueVO 参数 是否必选 参数类型 描述 id 否 String 码表字段ID,ID字符串。 fd_id 否 String 所属码表属性ID,ID字符串。
已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本,从源表table1这张数据表里面获取最大时间值数据。
已完成数据水印嵌入任务,请参考嵌入数据水印。 约束与限制 数据水印溯源的源文件大小不能超过20MB。 为实现准确溯源,请确保数据的完整性以及正确性:数据水印溯源的表数据文件第一列不允许为空,表数据记录数建议在5000以上。 创建数据水印溯源任务 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
工作空间内的API配额已满,无法新建API怎么解决? 数据服务专享版的API如何通过公网访问? 数据服务专享版的API怎样通过域名访问? 如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题?
作业中源连接为DLI连接时,源端作业参数如表1所示。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点,您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式,EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接:按顺序逐个执行节点,当A节点执行完成后,再执行B节点。
有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。 MRS
data,统一的返回结果的最外层数据结构。 表4 data 参数 参数类型 描述 value CodeTableVO object 码表结构。 表5 CodeTableVO 参数 参数类型 描述 id String 码表ID,ID字符串。 name_en String 表名称,英文名。 name_ch
常用EL表达式样例合集 本章节介绍常用的EL表达式及示例。 表1 常用的EL表达式 方法 描述 示例 String getNodeStatus(String nodeName) 获取指定节点运行状态,成功状态返回success,失败状态返回fail。 例如,判断节点是否运行成功,
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
配置成功后,单击“同步”完成未来表配置。 同步完成后,当未来表用户在指定Schema下创建未来表时,当前实例下所有对该Schema拥有全表权限的用户,将自动获得对所创建未来表的相应权限。 图5 同步未来表配置 为未来表用户配置Schema(未来表用户视图) 基于未来表用户视图的配置,可以单次为一个未来表用户配置多个Schema。
单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在目的端自动创建类型,这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容,详细请参见字段转换。 图7 云搜索服务的字段映射 单击“
type=xxxxxx”的长字符串并单击,在右侧区域中选择“Preview”,依次展开字段,查找“guest_agent_version”字段,其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本,请联系DWS服务客服或技术支持人员。 配置Ranger组件
String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。 表13 RelationVO
事实表:归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。 数据集市:新建DM层并发布汇总表。 DM (Data Mart):又称数据集市。DM面向展现层,数据有多级汇总。 汇总表:汇总表是由一个特定的分析对象(如会员)及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。 表1 FTP/SFTP连接参数
在数据开发界面,在DWS连接上右键单击,选择“新建数据库”,创建一个数据库用于存放数据表,数据库名称为“demo”。 图4 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级,然后再右键单击,选择“新建模式”,创建数据库模式用于存放数据表,数据库模式名称为“dgc”。 图5 创建数据库模式 创建一个DWS
在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。 单击“运行结果”,查看具体的指标监控情况。 图8 运行结果 业务场景的运行结果说明如下: 正常:表示实例正常结束,且执行结果符合预期。 告警:表示实例正常结束,但执行结果不符合预期。 异常:表示实例未正常结束。
'c' 数值:1,2 字段:a,b,c 添加排序参数。 在排序参数列表中,单击“新建”可设置排序字段。 字段名称对外不可见,是所选的数据表中的字段,是API调用时实际访问的内容。在API查询SQL语句已编写完成且测试通过的前提下,可在“字段名称”输入框中选择排序字段。 变量可自定义,