检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
继续编辑、保存或提交。 抢锁的操作依赖于软硬锁的处理策略。配置软硬锁的策略请参见配置默认项。 软锁:忽略当前作业或脚本是否被他人锁定,可以进行抢锁或解锁。 硬锁:若作业或脚本被他人锁定,则需锁定的用户解锁之后,当前使用人方可抢锁,空间管理员或DAYU Administrator可以任意抢锁或解锁。
提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具手段,从一些关键核心维度进行季度性迭代评分,持续促进所有部门数据治理工作的落实提升。
仅管理员角色的用户支持管理审批人,可新建和删除审批人。 审批管理 用户可在审批中心页面,查看自己提交的申请及进度,查看待自己审批的申请,查看已审批的历史记录并对审批人进行管理。 审批人管理 选择“数据权限 > 审批中心”,在“审批人管理”页签“新建”和“删除”审批人,如图1。审批人数据来源于工作空间中添加的人。
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
Y Y N N 操作连接 Y Y Y N 查询连接 N N N N 操作作业 Y Y Y N 查询作业 N N N N 绑定EIP Y N N N 解绑EIP Y N N N 数据开发 权限点 管理员 开发者 部署者 运维者 访客 新建Schema Y Y N N N 删除Schema
离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数
单击,前往数据开发模块的“通道管理”“”页面新建DIS通道。 前往DIS管理控制台进行新建。 转储任务重名策略 是 选择重名策略。当“转储服务类型”配置的转储任务名称出现重名时,DIS Dump将根据重名策略进行下一步操作。 忽略:不添加转储任务,并退出DIS Dump,DIS Dump的状态为“成功”。
需要审批人在“审批中心”的“待审批”页签进行审批,只有当审批通过后,脚本才能提交成功。具体操作请参见审批配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发” 。 在“作业开发”界面中,单击“新建作业”,如图3所示。 图3 新建作业 在弹出的“新建作业”页面,配置如所示的参数。单击“确定”,创建作业。 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“
fromJobConfig.splitType 否 枚举 指定任务分片方式,选择按文件或文件大小进行分割。HDFS上的文件,如果在HDFS上已经分片,则HDFS每个分片视为一个文件。 FILE:按文件数量进行分片。例如有10个文件,并在任务参数中指定“throttlingConfig.num
置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 作业参数中支持定义参数和常量,作业参数的作用范围为当前作业。 参数是指不同的作业下取值不同,需要重新配置值,导出导入后需要重新进行配置。 常量是指在不同的作业
仅支持查看非默认队列的数据。单击队列名称,可以将某个队列进行置顶。 作业数/任务日调度数 统计较长周期总作业数量与日调度任务数量的变化趋势,任务表示作业中的算子。 作业数:所有批处理作业和实时作业的总数。 任务日调度数:按照当天调度成功的节点进行统计,不区分实时任务和离线任务。 系统默认查看
审核权限。 审核人不支持手工添加,需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员,以便添加审核人时进行选择。 勾选短信通知或邮件通知,并添加审核人后,DataArts Studio将自动在消息通知服务(SMN)中创建对应的主题。 主题的显示
当前一节点的输出结果是多个(两个及以上)字段时,输出结果形如[["000"],["001"]]所示。此时需要结合For Each节点及其支持的Loop内嵌对象EL表达式如#{Loop.current[0]},循环获取输出结果,详见获取SQL节点的输出结果值。 String getParam(String key)
种迁移方式同时进行: CDM通过专线直接迁移近一个月的数据以及备HBase集群的数据: CDH → CDM(华为云) → MRS 使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。
获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala SQL 天任务依赖分钟任务 Flink Jar作业开发指导
TRUNCATE+LOAD:TRUNCATE方式会在导入前执行TRUNCATE语句清空填写的分区数据,再进行LOAD写入数据。 LOAD:写入前不做任何处理。 INSERT_OVERWRITE:对数据进行覆盖写入。 LOAD 分区 分区信息,表为分区表的时候,写数据的时候,可以选择需要写入的分区数据。
更新数据血缘关系。如需更新,需要等待冷却期结束或将数据开发作业再次提交版本后调度。 数据血缘关系删除需要通过删除作业或删除作业元数据的方式进行,仅将作业停止调度不会触发血缘关系的删除。 新建并运行元数据采集任务 请参见配置元数据采集任务,新建并运行元数据采集任务,注意任务中需要选择待查看血缘关系的数据表。
只能包含英文字母、数字和下划线,且必须以英文字母开头。 所属流程 选择所属流程信息。如果您还未创建流程,请参见流程设计进行创建。 关联指标定义 选择需要关联的指标定义。选如果您还未创建指标定义,请参见指标定义进行创建。 数据类型 选择复合指标的数据类型。 例如,双精度(DOUBLE)。 *复合指标类型 当前支持如下几种类型。
功能描述 阶段 相关文档 1 数据服务 新增支持API全量导出。 数据服务脚本脚本模式API支持返回别名。 开放数据服务API接口,支持通过API进行数据服务开发。 商用