检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图6 “返回总条数”参数配置
模板参数。 weight Integer 规则权重。 calculation_range String 计算范围。 calculation_range_sql String 计算范围SQL。 alarm_condition String 告警表达式。 export_abnormal_table
CUs为DLI计费单位,一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明: 并发数不能大于计算单元(CUs-1)的4倍。 异常自动启动 否 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 表3 Flink OpenSource
登录DataArts Studio控制台。选择对应工作空间的“数据集成”模块,进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。 图1 数据集成定位 产品功能
查看增量包”,查看已购买的增量包。 不同规格类型的资源组,计费不同,详情请查看计费说明,您也可以通过DataArts Studio提供的价格计算器,选择您需要的区域、规格,快速计算出购买DataArts Studio资源组的参考价格。 按需计费方式购买数据集成资源组 购买“按需计费”增量包,系统会按
SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table top_like_product
仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则模板发布后,会产生对应的版本号,此处选择所需的版本。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行对账作业时,建议通过设置where条件进行条件扫描。 where条件
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
destination 是 String 设置目的。 definition 是 String 指标定义。 expression 是 String 计算公式。 remark 否 String 备注。 approval_info 否 ApprovalVO object 审批信息,只读参数。业
其他参数保持默认即可。 规则模板: 模板名称:选择“表行数(DWS,HIVE,SparkSQL,ORACLE)”。 其他参数保持默认即可。 计算范围:选择“全表扫描”。 告警条件:非必填,保持默认即可。 图3 子作业规则配置 单击“下一步”,进入“告警配置”页面。 告警条件选择“子
”中输入告警条件表达式,然后按照此方法添加其他规则后,单击“确定”。 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。 在此
当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图8 “返回总条数”参数配置
包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 产品架构如图1所示。
避免频繁调用。 使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
逻辑集群权限: 允许在子集群中创建表对象:create 允许访问子集群下的表对象:usage 允许用户在具有compute权限的计算子集群上进行弹性计算:compute 配置权限后,在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图8 权限视角权限配置 成员列表:在
是否按照天粒度补数据,true表示是,false表示否。 priority 否 int 设置补数据作业的优先级。当系统资源不充足时,可以优先满足优先级较高的作业的计算资源,数字越大优先级越高,当前只支持对DLI SQL算子设置优先级。 is_stop_when_fail 否 Boolean 补数据作业失
规则权重 设置规则的权重,支持按照字段级别设置权重。权重范围:【1-9】,整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行质量作业时,建议通过设置where条件进行条件扫描。 数据质量
条规则,然后设置告警条件,设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中,请输入告警条件表达式,在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。
关,则当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改如下参数设置。其中的use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 1 request.add
当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图9 “返回总条数”参数配置