检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应
先向前找上游依赖实例,依赖上游一整个区间内的实例;向前未找到依赖的实例时,需要向后找,向后查找时,只依赖最近的一个实例。 通过图表进一步进行原理解释: “先向前找上游依赖实例,依赖上游一整个区间内的实例” 解释如下: 图1 先向前找上游依赖实例,依赖上游一整个区间内的实例 “向
改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应
除时,会自动弹出“删除资源”的界面,单击“确定”,会自动弹出“引用列表”的界面,可以查看资源被哪些作业所引用,单击“查看”可跳转到作业页面进行查看详情。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。 在资源的“操作”列,单击“删除”,弹出“删除资源”页面。 单击“确定”,删除资源。
单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk
等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
> 配置”。 选择“作业标签”,进入“作业标签管理”页面。 单击作业标签列表中,标签名称所在行对应的“锁定”或“解锁”按钮,可对作业标签进行锁定或解锁操作。 当作业标签是“锁定”状态时,不能被删除。 当作业标签是“锁定”状态时,导入该标签会失败。 当作业标签是“锁定”状态时,作业也不能添加或移除该标签。
可以通过时间筛选,查看指定操作时间段内的历史操作数据。 可以对“涉及对象”进行过滤,查看作业名称或节点名称相关的历史操作数据。 可以通过模糊查询,查看相关的历史操作数据。 可以对“操作对象”、“操作类型”、“操作人”和“状态”进行过滤,查看相关的历史操作数据。 父主题: 运维调度
安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。
I审核。 申请自己的API推荐采用API主动授权/续约,无需审核。 自己的应用推荐采用APP解除授权,无需预留准备时间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/authorize/action 表1 路径参数
等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
文档写入。 INDEX 管道ID 该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 目的端为Elasticsearch时需要先在kibana中创建管道ID。 目的端为CSS时不需要创建管道ID,此参数填写配置文件名称,默认为name。
使用JSP表达式语言(Expression Language)对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。在表达式内可以使用整型数,浮点数,字符串,常量true、false和null。 数据进行转换过程中,替换内容包含特殊字符时,需要先使用\将该字符转义成普通字符。
导出作业的JSON文件到本地,在本地手动修改JSON文件中的参数后(原理同2相同),再导回CDM。 推荐使用方法1,下面以HBase导到DWS为例进行说明。 解决方法一:CDM的字段映射界面增加字段 获取源端HBase待迁移的表中所有的字段,列族与列之间用“:”分隔,例如: rowkey:rowkey
单击“添加作业”,至少选择两个作业。单击“删除”可以删除已添加的作业。 单击“确定”。 更多操作 编辑:单击“编辑”,可以对已配置的互斥组信息进行修改。 删除:单击“删除”,可以对已配置的互斥组进行删除。 查询:在右上角的搜索框输入关键字,可以模糊查询已配置的互斥组。 父主题: 配置
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
文件格式为CSV格式时支持此参数。 CSV只支持\作为转义符。 选择是,CSV数据行中的\作为转义符使用。 选择否,CSV中的\作为数据不会进行转义。 是 使用正则表达式分隔字段 文件格式为CSV格式时支持此参数。 是否使用正则表达式分隔字段。 是 正则表达式 文件格式为CSV格式
按照指定的pattern返回计划时间前第num个工作日的时间字符串,num只可为正整数。若没有获取到符合条件的结果则返回null值。 该EL表达式适用于按照日历选择自定义日期进行周期调度。 获取作业调度前五天的工作日的日期。 #{Job.getPreviousWorkday(5, "yyyyMMdd")} String
ab_subpartitions的SELECT权限。 否 抽取分片字段 “按表分区抽取”选择“否”时,显示该参数,表示抽取数据时使用该字段进行数据切分,CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段,例如以自然增长的序号字段作为分片字段。 单击输入框后面
单击“数据服务”模块。 单击左侧菜单“共享版> SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK,下载SDK包到本地。 进行SDK包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk