检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
比较多的场景。 列模式:表的数据将以列式存储,适用于统计分析类查询(group、join多的场景),或者即席查询(查询条件不确定,行模式表扫描难以使用索引)的场景。 行模式 导入模式 导入数据到DWS时,用户可以指定导入模式: COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。
只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 new_biz BizVersionManageVO object 业务版本管理,只读。 base_time Integer 基准时间。 表8 ApprovalVO 参数 参数类型 描述 id String 审批单ID,ID字符串。
Yarn和DLI队列,且由于DLI限制暂不支持为DLI default队列授权。 仅当数据连接中的Agent选择的CDM集群为2.10.0.300及以上版本时,才支持MRS Yarn队列权限管控。 仅DAYU Administrator、Tenant Administrator或者数据安全管理
态。 在排除源端负载的情况下,如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段,或者Kafka\hudi等数据源抽取速度慢,请优先尝试加大作业并发数,以提高作业的并发抽取速率。 Mysql\Ora
限定长度不是必需的,它会默认为1。 ‘a’或‘aaaaa’ CHAR CHAR VARCHAR(M) 可变长度的字符串是以长度为1到255之间字符数(高版本的MySQL超过255); 例如: VARCHAR(25). 创建VARCHAR类型字段时,必须定义长度。 ‘a’或‘aaaaa’ VARCHAR
允许的特殊字符 说明 秒 0-59 , - * / 当前版本只允许输入0。 分 0-59 , - * / - 时 0-23 , - * / - 天 1-31 , - * ? / L W C - 月 1-12 , - * / 当前版本只允许输入*。 星期 1-7 , - * ? / L
Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接
DISTRIBUTE BY 仅DWS连接支持,支持HASH(属性名称)、REPLICATION2种方式分布。 HUDI表 PreCombineField 版本字段,仅Hudi表需要填写。 *属性名称(CHN) 表中的属性字段的中文名称。只允许除\、<、>、%、"、'、;及换行符以外的字符。 *属性名称(ENG)
关联资产,数据类型Map<String, Entity>,key:guid,value:资产信息。 表7 Entity 参数 参数类型 描述 version Number 数据版本。 relationship_attributes Object 关联关系属性,数据类型Map<String, Object>,key:关系类型:value:关联关系对象。
Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致,详细操作请参见创建DataArts Studio数据连接。 创建数据连接
String 适用。 表9 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。 表10 maintainWindow 参数 参数类型 描述 day String 周几。 startTime String 开始时间。
在指标定义列表中,找到需要查看的指标定义,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看指标定义的发布历史、版本对比和发布日志信息。 删除指标定义 如果您已不再需要某个指标定义,可以删除该指标定义。如果待删除的指标定义已发布,则无法执行删除操作,您必
当前支持导入逻辑模型。 请准备好需要导入的.ldm格式的逻辑模型。该逻辑模型是从第三方系统Power Designer导出来的。 导入的LDM模型支持的版本:16.x 单击逻辑实体列表上方“导入”中的“导入LDM”。在“导入表”对话框中,选择“导入配置”页签。 图13 导入LDM 选择是否更新已有数据。
所选数据连接类型中已创建数据连接,支持从下拉列表中选择。 若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”,设置待扫描的数据库范围。单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要
当前支持导入物理模型。 请准备好需要导入的.pdm格式的物理模型。该物理模型是从第三方系统Power Designer导出来的。 导入的PDM模型支持的版本:16.x 导入物理模型时,如果数据源类型不支持,系统会默认继承物理模型的数据连接类型。 在物理表列表中,单击列表上方的“导入”,选择“导
本示例是一个DataArts Studio全流程入门教程,旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据,选择MRS Hive作为数据湖底座,使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标:
一站式数据解决方案,完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异,一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理,是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。数据质
配置入口API算子 入口API算子是API工作流的入口,工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 表1 入口API算子 参数 说明 API名称 入口API名称即API工作流名称。
DWS表当前支持复制(Replication)和散列(Hash)两种分布策略。 REPLICATION:在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗
注册API 本文将为您介绍如何将已有的后端服务API,借助数据服务统一注册发布到API网关,与通过数据服务生成的API进行统一管理。 目前数据服务共享版支持Restful风格的API注册,包含GET/POST常见请求方式。 配置API基本信息 在DataArts Studio控制