检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分页大小参数名称 分页大小参数名称,默认放到query参数中。如果参数名设置为page_size,也支持通过#page_size获取。 page_size 分页页码参数名称 分页参数名称,默认放到query参数中。如果参数名设置为page_index,也支持通过#page_index获取。
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
敏感数据的保护方式 敏感数据识别与添加标签 从海量数据中将数据进行分类分级,方便进行不同粒度和级别的安全管理。 数据泄露检测与防护 如果出现频繁访问敏感数据的异常行为,可以及时进行风险告警。 数据静态脱敏、数据水印 对于已标记特定安全级别的敏感数据,可在对外提供数据时进行脱敏或者加水印。
0分B作业的运行实例。 天依赖分钟 规则:按自然天,天周期作业实例依赖前一天内分钟级作业的实例。 举例:A依赖B,A为天作业,依赖B分钟作业, A依赖B在前一天内的最后一个实例, A会在最后一个B作业实例执行完成后执行。 天依赖小时 规则:按自然天,天周期作业实例依赖前一天内最后一周期小时作业的实例。
支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚本时,鼠标放置在上,单击“前往发布”跳转到任务发布页面。
作业配置了每日调度,但是实例没有作业运行调度记录? 问题描述 作业配置了每日调度,但是实例没有作业运行调度记录。 原因分析 原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。
BOOLEAN BOOLEAN - TINYINT INT TINYINT(1)默认会转成BOOLEAN类型,可通过在管理中心MySQL数据连接中添加“连接属性”使其仍保持转成TINYINT(1): tinyInt1isBit = false TINYINT UNSIGNED INT -
文件。 图4 选择JSON文件 JSON文件上传成功后,单击“设置密码”,配置数据连接的密码或SK。 图5 进入设置密码 在设置密码弹窗中,依次输入各数据连接的密码或SK,完成后单击确认,回到导入作业界面。 图6 设置密码 在导入作业界面,单击确认,开始导入。 图7 开始导入 导
S桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E
Dummy节点不执行任何操作,本例选择Dummy节点用于设置Dummy节点到Subjob节点之间连线的IF条件。 Subjob节点用于将需要后续执行的作业job2作为子作业引用执行。实际使用中您可以引用已有作业,也可以使用其他作业节点替代Subjob节点。 作业的调度方式设置为“事件驱动调度”,DIS通道
“使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如:
创建数据连接时,在代理模式下为什么选不到需要的CDM集群? 可能原因 创建数据连接时,在代理模式下选不到需要的CDM集群,可能是由于CDM集群关机。 解决方案 请确认CDM集群是否被关机。如果关机,请重新启动。 父主题: 数据开发
脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS Manager的Hetu组件中自行添加数据源。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。 脚本参数
选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 资源队列 否 输入资源队列名称。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构
内容是可枚举的维度。 层级维度:属性之间具有层级结构的维度。 高级配置 设置自定义项,以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。
根据下拉框选择对应的资产责任人,可以手动输入名字或直接选择已有的责任人。 高级配置 设置自定义项,以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。
运维管理接口 获取任务执行结果列表 获取实例结果 数据质量运维管理操作处理&记录 父主题: 数据质量API
使用前必读 概述 调用说明 基本概念 终端节点Endpoint 项目ID和账号ID 实例ID和工作空间ID 数据资产guid 约束与限制