检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL执行过程中的脏数据写到dlf-log-{projectId}桶中。 若要自定义DLI脏数据日志路径,请前往空间管理进行编辑操作。详细操作请参见配置OBS桶。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间
可以输入对应jar包文件的OBS路径,格式为:obs://桶名/文件夹路径名/包名。在选择资源包之前,您需要先将Jar包及其依赖包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径:作
入数据架构页面。 在数据架构控制台,单击左侧导航树中的“模型设计 > 维度建模”,选择“维度”页签进入维度页面。 在左侧主题目录中选中一个对象,然后单击“新建”,或者直接单击“新建”按钮,开始新建维度。 在新建维度之前,如果您尚未添加主题信息,请先参考主题设计添加主题信息。 在“新建维度”页面,根据页面提示配置参数。
配置了资源队列时,此处配置的资源队列为最高优先级。 Flink作业资源包 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 重跑策略 否 从上一个检查点重跑 重新启动 输入数据路径
开发一个Hive SQL作业 本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台,支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能;可
创建CDM集群 CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可相互访问。 CDM集群可用于如下场景: 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务
输出,不支持质量评分。 自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如果您
设置“基本配置”参数: 图1 事实表基本配置 表1 基本配置参数说明 参数名称 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 只能以fact_开头,支持英文字母、数字、下划线。 系
查看已导入的数据。单击“关闭”退出该页面。 导出 在物理表列表中,选择需要导出的表,单击列表上方的“导出”,进入导出模型页面后,选择导出对象(表或者DDL),如果选择DDL,需要选择表“全部”或者“部分”,“包含库名”默认勾选,单击“确定”可导出所选择的物理表。 编辑 在物理表
查询集群详情 功能介绍 查询集群详情接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如何选择版本 请您根据您所需的功能和规格,慎重选择DataArts Studio版本。 购买版本后,无法直接降级版本。如已购买企业版,无法直接降级到初级版,您需要采取先备份数据,然后退订原有实例,购买新实例,最后迁移备份数据到新实例的方式来实现版本降级。 如果您的业务量不断增长,