检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如果您需要新建自定义规则,请直接参考新建数据质量作业进行自定义规则质量作业的创建。
当“规则类型”选择“表级规则”,数据对象选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 参数默认值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。
在左侧导航栏中,单击“脚本开发”,再右键单击“脚本”选择“新建目录”,在弹出框中输入目录名称例如“transport”,然后单击“确定”。 在脚本目录树中,右键单击目录名称transport,选择菜单“新建Hive SQL脚本”。 在新建的HIVE_untitled脚本中,选择数据连接mrs_h
开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE SQL节点和For Each节点,选中连线图标并拖动,编排图5所示的作业。 配置HIVE SQL节点属性。此处配置为引用SQL脚本,SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_
datatable 否 String 数据表名称。 table_id 否 String 数据表ID。 queue 否 String DLI的队列名称。 access_mode 否 String 获取数据的模式。 枚举值: SQL:SQL取数方式 ROW_KEY:ROW_KEY取数方式
如果CDM需要访问本地数据源、Internet的数据源,或者跨VPC的云服务,则必须要为CDM集群绑定一个弹性IP,或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
表1 DDS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192
创建数据迁移作业,将OBS数据迁移到DWS。 数据开发,包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie(用于存放评分最高的Top10电影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开
DataArts Studio支持连接哪些数据源? DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务,也支持对接如MySQL、Oracle等传统数据库,支持程度各有不同,详情请参见DataArts Studio支持的数据源章节。 DataArts Studio对
编辑空间管理 在“空间信息”中,单击“设置”按钮对已分配配额进行配置。 图4 设置已分配配额 数据服务已创建的API属于计费项,当前操作正在增加API配额,这会使工作空间下可以创建更多的API,同时可能使收费增加,请确认。 设置专享版API已分配配额。 图5 设置配额 已分配配额不能小于已使
数据服务专享版的API如何通过公网访问? 对于默认发布在数据服务专享版集群的API,当数据服务专享版集群支持公网访问后,API即可通过公网调用。 而数据服务专享版集群如果要支持公网访问,仅在创建数据服务专享版集群时,勾选开启“公网入口”才能进行公网访问。因此,对于已创建的未开启公
在左侧下拉框中选择待修改的DLI队列名称,右侧下拉框中选择要设置的DLI队列名称。 搜索:输入作业名称,单击,可筛选需要修改的含有DLI SQL节点的作业。 刷新:单击,刷新含有DLI SQL节点的作业列表。 下载:单击,下载该界面中勾选的作业列表。 图5 DLI队列 单击“确定”,完成配置。
1元收费。 图6 设置已分配配额 已分配配额设置完成后,单击“空间信息”中的“确定”,完成配置。 相关操作 设置集群日志转储:日志转储功能开启后,集群中当前工作空间下API的所有访问日志,会转储到工作空间指定的OBS桶或者LTS日志中。 在集群页面单击集群名称,进入基本信息页签。选择打开日志转储功能选择转储方式:
取值样例 DWS MySQL PostgreSQL SQL Server Oracle SAP HANA 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面
MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0
ataArts Studio数据连接新建连接。 *SQL队列 数据源类型为DLI时,需要选择DLI SQL队列。 *数据库 单击设置选择待脱敏的数据库。 不支持对DLI default数据库中的数据表进行脱敏。 *源表名 单击设置选择待脱敏的数据表。 *是否指定列 支持指定列脱敏
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 咨询与计费
集群配置/日志查看/数据监控。 监控指标配置。 创建集群 连接管理 连接管理实现的能力如下: 支持DLI、MRS Hive、Spark SQL、DWS、MySQL、主机等连接管理。 支持代理连接、直连、MRS API等连接方式。 创建连接 作业管理 作业管理可以实现在同构、异构数据源之间进
对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle NoSQL:表格存储服务(CloudTable) 搜索:Elas
DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。