检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置调度日历相关参数。 输入“日历名称”、选择“默认工作日”以及对调度日历进行备注。 默认工作日可以选择“周一到周五”或“周一到周日”。系统默认周一到周五,生成对应的日历信息。 单击“确认”,调度日历配置完成。 配置完成后,请前往作业开发界面,在所需作业画布右侧“调度配置”页签,选择周期调度,选择
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 KMS是一种安全、可靠、简单易用的
导入作业定义及依赖 单击“下一步”,根据提示导入作业。 导入作业时,如果作业中存在“锁定”状态的标签,则作业导入会失败。 当作业导入失败需要自动生成标签时,如果标签已存在且被锁定,则导入失败的作业不会添加上该标签。 在导入作业过程中,若作业关联的数据连接、dis通道、dli队列、GES
Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建
基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较少(100W以下)的情况。 基于采样数据,采样数量为x条 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较多的情况。 基于全量数据,随机取x%的数据 基于已采集的全量数据在数据目录中生成数据概要。 适用于数据量较多的情况。
Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 连接属性 可选参数,单击“显示高级属性”后显示。 自定义连接属性,单击“添加”可增加多个属性。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts
以在数据湖探索(DLI)服务控制台中的SQL编辑器中执行以下SQL命令: /* 创建数据表TABLE_LIST,然后插入表1数据,最后查看生成的表数据 */ CREATE TABLE Table_List (Source STRING, Destination STRING) STORED
TRUNCATE+LOAD:TRUNCATE模式只清理分区下的数据文件,不删除分区。 LOAD:写入前不做任何处理。 LOAD_OVERWRITE:将生成一个临时目录,目录名为:表名_UUID,使用hive的load overwrite语法将临时目录加载到hive表中。 LOAD_OVERWRITE
页面。 在“调用信息”页面,单击“申请权限”。 在申请权限页面,设置使用截止时间、选择应用,然后单击“确认”,完成API的权限申请。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调
以在数据湖探索(DLI)服务控制台中的SQL编辑器中执行以下SQL命令: /* 创建数据表TABLE_LIST,然后插入表1数据,最后查看生成的表数据 */ CREATE TABLE Table_List (Source STRING, Destination STRING) STORED
单击“确定”,策略配置完成。 图3 配置权限策略 表2 配置HDFS权限策略参数说明 参数名 参数描述 策略类型 根据用户所选服务组件自动生成。包括访问、脱敏、行过滤器,其中脱敏和行过滤器类型是Hive特有的。 策略状态 开启表示权限策略生效,关闭表示权限策略创建成功后不生效。默认开启。
可以根据实际需要选择系统内置的敏感数据识别定义模板,例如:时间、手机号、车牌号。 分类名称 分类类型选择“内置”,分类名称自动关联分类模板生成。 分类类型选择“自定义”,用户可以自行填写分类名称。 说明: 定义数据分类规则,名称必须唯一。 识别规则 分类类型选择“自定义”,呈现此参数,支持正则表达式。
Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDD
Language,简称EL),根据运行环境动态生成参数值。数据开发EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 环境变量 环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。 补数据 手工触发周期方式调度的作业任务,生成过去某时间段内的实例。
下个节点ID,没有则为尾节点。ID字符串。 id 是 String 创建时传空,更新时必填。ID字符串。 qualified_id 否 String 认证ID,自动生成。 create_by 否 String 创建人。 update_by 否 String 更新人。 bizmetric_num 否 Integer
下个节点ID,没有则为尾节点。ID字符串。 id 是 String 创建时传空,更新时必填。ID字符串。 qualified_id 否 String 认证ID,自动生成。 create_by 否 String 创建人。 update_by 否 String 更新人。 bizmetric_num 否 Integer
为5。 生成异常数据 开启“生成异常数据”开关,单击“选择库表”可将质量作业中不符合设定规则的异常数据存储在异常表中。 说明: 系统内置模板,“表级规则”中的“表行数” 模板。“字段级规则”中的“字段平均值”、“字段汇总值”、“字段最大值”、“字段最小值”模板不支持生成异常数据。
该接口用以获取脚本实例的执行状态和结果。 300 30 删除脚本 此接口用以删除指定脚本。 300 30 执行脚本 该接口用以执行指定脚本,脚本每执行一次,生成一个脚本实例。 300 30 停止脚本实例的执行 停止脚本实例的执行。 300 30 资源管理 表4 资源管理 API 说明 API流量限制(次/s)
unt.jar 下载的Flink作业资源包需要进行JAR包完整性校验。Windows操作系统下,打开本地命令提示符框,输入如下命令,在本地生成已下载JAR包的SHA256值,其中,“D:\wordcount.jar”为JAR包的本地存放路径和JAR包名,请根据实际情况修改。 certutil