检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
description String 规则描述。 created_by String 策略创建人。 created_at Long 策略创建时间。 updated_by String 策略更新人。 updated_at Long 策略更新时间。 builtin_rule_id String 内置规则ID。
定条数时,任务失败退出。 否 脏数据策略 “是否写入脏数据”为是时显示该参数,当前支持以下策略: 不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏
数据开发,包含创建DLI SQL脚本和开发作业。 分析10大用户关注最多的产品 分析10大用户评价最差的商品 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。
以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管理动态水印策略注入水印后的结构化数据文件进行水印提取。 水印注入 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达到
操作历史 通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据,同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对
转移作业责任人 数据开发模块提供了转移作业责任人的功能,您可以将责任人A的所有作业一键转移到责任人B名下。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
查看作业依赖关系图 您可以通过查看作业依赖关系视图,直观查看该作业关联的上下游作业。 前提条件 已经在开发Pipeline作业的作业调度配置中设置了依赖作业,否则视图中仅能展示当前作业节点,无法展示具备依赖关系的上下游作业节点。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts
影) 创建DWS SQL脚本top_active_movie(用于存放最活跃的Top10电影) 开发并调度作业,通过编排作业和配置作业调度策略,定期执行作业,使得用户可以每天获取到最新的Top10电影结果。 服务退订,如果不再使用DataArts Studio及相关服务,请及时进行退订和资源删除。
当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 https://xx
时,会自动生成一张汇总表,可在“汇总表-自动汇聚”下查看。 衍生指标=原子指标+统计维度+时间限定+通用限定。 原子指标:明确统计口径,即计算逻辑。 统计维度:用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。 时间限定:时间限定是时间条件限制的标准化定义。
Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。
分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。
点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。
已购买资源组,详情请参见购买数据集成资源组。 已购买并配置云专线,与云上的至少一个虚拟私有云VPC连通。若未开通云专线请参考通过云专线实现云下IDC访问云上VPC和其他云对应官网资料进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。
Studio实例,默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不
用于连通数据源和资源组网络的中间桥梁,本方案中需要使用当前租户下的一个虚拟私有云。若未开通VPC请参考创建虚拟私有云进行配置。 VPC:10.186.0.0/19 子网:10.186.0.0/24 资源组VPC Migration实时计算资源组所属VPC,由于资源组创建在用户账户下属的资源租户,使
0/19),下一跳跳至其他云的VPN网关,建议参考其他云VPN官网资料进行配置。 必要时,其他云上的VPN网关路由表中也需要添加路由,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至其他云的VPN连接/网关,建议参考其他云VPN官网资料进行配置。
当API对应的数据表数据量较大时,获取数据总条数将会比较耗时。此时,如果需要在调用时不计算并返回数据总条数,可以修改use_total_num参数。use_total_num参数用于控制是否计算并返回数据总条数,值为1返回数据总条数,值非1不返回数据总条数。 图6 “返回总条数”参数配置
事件管理 基线任务及其上游任务出错,或关键路径上的任务变慢时,将会产生相应的事件,用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出。 查看事件列表 参考访问DataArts Studio实例控制台,登录DataArts