检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。
代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”,数据对象选择对应的数据库即可。
线实例的详情和相关事件。 单击基线名称后面“操作”列的“详情”,进入“基线实例详情”的界面,可以查看基线实例的基本信息、保障作业、关键路径作业及甘特图、基线作业修改前后的版本对比、和相关事件。 单击基线名称后面“操作”列的“相关事件”,进入“相关事件”的界面,可以查看事件的详细信
String 每天的可补数据时间段,如:每天的10点15分到23点30分,表示:10:15-23:30 day_of_week 否 String 每周的星期几可以补数据,如:每周一,周三的每天10点15分到23点30分 day_of_month 否 String 每个月的哪几天可以补数据,如每月1号,3号,表示:1
分库分表:支持将多个来源的多个数据库的多个分表迁移到目的端的一个表中,支持灵活配置来源库来源表和目标表的映射关系。 整库增量数据实时同步:支持同时对源端多张库表批量操作。 支持将整个数据库的变化日志同步到目标端中,一般用作实时日志的收集。 支持一次性配置一个实例下多个库的多个表,一个任务中最多支持50个目标表。
在脚本目录中,右键单击目录名称,选择新建相应的脚本。 进入脚本开发页面,具体操作请参见开发SQL脚本、开发Shell脚本、开发Python脚本。 当前最多支持创建5个同类型的临时脚本。当关闭了临时未保存的脚本,再次新建同类型的脚本时,会打开上次未保存的临时脚本。 父主题: 脚本开发
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中选择需要复制的脚本,右键单击脚本名称,选择“拷贝另存为”。 图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数
业务场景实例:展示当前用户的所有业务场景实例内容。 我的订阅:展示被当前用户设置订阅的业务场景信息列表。“我的订阅”较“业务场景实例”增加了“通知状态”信息。该信息展示了业务场景实例的运行结果是否被成功订阅,例如,发送告警邮件。 2 导航栏 左侧导航栏,包括数据业务场景的存储目录。 用户可以根据
本章节适用于配置实时处理集成作业的Mysql到DWS链路,期望将源端1个或多个Mysql实例的数据实时同步到目的端为DWS数据库的场景。 整库:适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表:适用于将多个源端为Mysql实例上的多个分库中的分表实时同步到1个目标端为DWS实例的汇聚表。
操作人 展示实例的操作人。 创建时间 展示实例的创建时间。 开始时间 展示实例开始运行的时间。开始时间支持按照升序和降序进行排序。 运行时间 展示实例的运行时长。 结束时间 展示实例结束运行的时间。结束时间支持按照升序和降序进行排序。 处理人 展示实例的处理人。 重跑 再次运行规则实例。
当“规则类型”选择“自定义规则”,数据对象选择对应的数据库即可。 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 SQL 当“规则类型”选择“自定义规则”时,需要配置该
当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。 导入预置数据分类时,需要先为所有的预置规则配置数据密级,才能导入预置数据分类。 导入预置数据分类时,会直接导入分类和对应的识别规则,与当前分类和规则同名的部分无法导入。 当父类下有子分类的时候,无法直接删除该父分类,需要先删除子分类。
Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。 为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。
从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间
PAUSED: 暂停调度 createUser 是 String 作业的创建者 createTime 是 Long 作业的创建时间 startTime 否 Long 作业的启动时间 endTime 否 Long 作业配置的结束时间 lastInstanceStatus 否 String
从FTP/SFTP/OBS导出文件时,CDM支持指定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间
解析SQL节点的血缘时,支持多SQL解析及列级血缘解析,单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS
解析SQL节点的血缘时,支持多SQL解析及列级血缘解析,单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS
配置源表与目标表映射 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如cu
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 Success 400 BadRequest 500