检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在弹出的界面中添加规则,完成规则参数配置。 图14 规则配置页 配置完成后,单击“确定”,完成事实表字段批量关联质量规则。 通过逆向数据库导入事实表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到事实表目录中,使其变成事实表。 在数据架构控制台,单击左侧导航树中的“维度建模”,进入维度建模页面。
如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交脚本、删除脚本以及导入“提交态”的脚本时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。 企业模式下,不支持提交审批。 版本回滚
案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行
案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行
变量是指不同的空间下取值不同,需要重新配置值,比如“工作空间名称”变量,这个值在不同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 具体应用如下: 在环境变量中已新增一个变量,“参数名”为sdqw,“参数值”为wqewqewqe。
表已存在,则不创建,数据写入到已存在的表中。 不存在时创建 写入模式 数据写入模式。 TRUNCATE+LOAD:TRUNCATE方式会在导入前执行TRUNCATE语句清空填写的分区数据,再进行LOAD写入数据。 LOAD:写入前不做任何处理。 INSERT_OVERWRITE:对数据进行覆盖写入。
客户端安装目录/impala/user.keytab 图5 查看principal Python3代码样例参考 Python2和python3导入包的版本(krbcontext)有差异。 ## *********************************************
type 是 String 写入数据的类型,类似关系数据库中的表名。 toJobConfig.shouldClearType 否 Boolean 导入前是否清除数据。 toJobConfig.primaryKey 否 String 主键或唯一索引。 toJobConfig.columnList
创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。
历史数据到源数据表,使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。 将基础数据插入维度表中。 将DWI层的标准出行数据导入DWR层的事实表中。 数据汇总,通过Hive
HTTPS是在HTTP协议上进行了SSL或TLS加密校验的协议,能够有效验证身份以及保护数据完整性。相对的,访问HTTPS的API,需要配置相关的SSL证书或跳过SSL校验,否则将无法访问。 请求方式 HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。
勾选需要配置失败重试的作业,单击 > 作业配置,进入作业配置窗口。 对于CDM Job作业,建议仅选择文件类的CDM Job作业或启用了导入阶段表的数据类CDM Job作业。未启用导入阶段表的数据类CDM Job作业可能因作业失败重试引起数据重复写入,导致迁移前后的数据不一致。 图2 作业配置菜单 在作业配置窗口中,配置失败重试策略。
Administrator、数据安全管理员或预置的工作空间管理员角色的用户)而言,数据开发中的所有脚本和作业目录将由于无权限而置灰,具体影响包括:不能新建、编辑、查看、删除、导入导出目录下的作业或脚本,但是新建目录、作业关联脚本、选择依赖作业、配置全部作业告警、查看操作历史、备份作业、监控作业等操作不受限制。 当工
”分隔,例如:“cf1:c1&cf2:c2”。 toJobConfig.isOverride 否 Boolean 使用BULKLOAD方式导入数据时,是否清空数据,例如:“true”。 toJobConfig.delimiter 否 String 当选取多个列做rowkey时,连接多列的分隔符,例如:“|”。
如何在IAM中创建细粒度权限策略? 如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? 用户已添加权限,还是无法查看工作空间? IAM用户操作时报错“无xx权限”怎么办? DataArts Studio的工作空间可以删除吗? 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费?
项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
不易被外部发现破解。数据泄漏后能够溯源水印标识,从而对安全事件精准定位追责。通过数据水印嵌入后的敏感数据一旦发生数据泄露,数据溯源可以通过导入泄露文件运行溯源任务提取水印标识,精准定位泄露单位及责任人。 文件水印 文件水印支持如下两种场景,能够将水印注入数据文件中,实现对安全事件精准定位追责。
图5 编辑CDM作业 在源端作业配置的高级属性里面,通过配置where子句获取迁移所需的数据,作业运行时,将从源端获取到的迁移数据复制导出并导入目的端。 图6 配置where子句 where子句配置如下: dt > '${maxtime}' 父主题: 使用教程
API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理
表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成,您可以通过管理控制台获取访问地址: 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。