检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
即规则所属分类,支持内置(按模板添加)和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级管理页面进行设置,详情请参见新建数据密级。 分类模板 分类类型选择“内置”,呈现此参数。如果选择“内置”,用户可以根据实际需要选择系统内置的敏感数据识别定义模板,例如:时间、手机号、车牌号。
只支持英文字母、数字、“-”、“_”,最大长度为64字符,且参数名称不允许重名。 参数名称需根据脚本变量定义中设置的格式来命名。例如,脚本变量定义中设置的格式为${dlf.},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,ab
创建OBS目录:选择需要创建目录的路径,在路径后输入“/目录名”,目录名不允许重名。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
FilterCriteria object 过滤条件。 time_range 否 TimeRange object 时间过滤条件,可以根据此条件设置过滤资产。 scroll_id 否 String scroll_id。 security_levels 否 Array of strings
单击,前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群 --运行程序参数 -c org.apache
隔符来区分各个文件,默认为|。列表文件选择“是”时,不显示该参数。 | QUERY参数 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。 否 忽略不存在原路径/文件 如
开始时间(>=) “偏移量参数”选择为“时间范围”时配置。拉取数据的开始时间,包含设置时间点的数据。 2020-12-20 12:00:00 结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间,不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符
数据缓存队列大小,默认为0,即表示缓存队列不考虑数据大小,只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时,考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000 全量阶段连接Mysql的so
多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您可以根据脚本责任人筛选脚本,在脚本目录上方的搜
特定分页数据,您可以修改如下参数设置分页,其中pageSize表示分页后的页面大小,pageNum表示页码。 图6 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中,因此不支持在调用时修改分页设置。 (可选)排序配置:默认情况下,
I。 图1 全量导出API 打开下载到本地的Excel文件,可以查看导出的API。不同类型的API会分别导出到文件页签中,单击下方页签可以切换查看并编辑。 图2 Excel文件样式 导出API 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。
节点名称,只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号,且长度小于等于128个字符。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。
> 作业开发”。 任务配置为天调度,如下图: 图1 调度周期配置为天 在节点的连线上,单击右键,选择设置条件,配置条件表达式。通过表达式来判断,是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
在详情页面,选择“日志信息”,在左侧日志列表中单击具体日志文件,即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新,可在右上角去掉勾选“日志滚动”选项。 支持下载日志到本地,可单击右上角文件下载按钮进行下载。 父主题: 实时集成任务运维
页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录顶部,单击,选择“责任人转移”。 图1 责任人转移 分别设置“当前责任人”和“目标责任人”,单击“转移”。 提示转移成功后,单击“关闭”。 相关操作 您还可以根据作业责任人筛选作业,在作业目录上方的
主题首次同步名称冲突时,会将普通目录修改为主题目录属性,带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时,会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择开发环境,选择“数据开发 > 任务发布”。 在任务发布界面,切换到“发布包管理”,您可以看到开发者提交的待审批任务。您可以通过“查看详情”操作,查看当前任务相比上一版本的修改点。 如有问题,可以通过“撤
> 作业开发”。 任务配置为天调度,如下图: 图1 调度周期配置为天 在节点的连线上,单击右键,选择设置条件,配置条件表达式。通过表达式来判断,是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job