检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
在字段所在行的“数据标准”列,单击按钮可以选择一个数据标准与字段相关联。将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面
description String 描述信息。 qualified_name String 扩展名。 guid String guid,自动生成。 code String 编码。 alias String 别名。 status String 实体的发布状态,只读,创建和更新时无需填写。
编码类型,例如:“UTF_8”或“GBK”。 toJobConfig.markerFile 否 String 当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定,不指定时默认关闭该功能。 toJobConfig.copyContentType 否 Boolean “toJobConfig
hive表清理数据模式 “导入前清空数据”设置为“是”时,呈现此参数。 选择Hive表清理数据模式。 LOAD_OVERWRITE模式:将生成一个临时数据文件目录,使用Hive的load overwrite语法将临时目录加载到Hive表中。 TRUCATE模式:只清理分区下的数据文件,不删除分区。
后端策略数量 每个用户最多创建5个后端策略。 √ 应用数量 每个用户最多创建50个应用。应用配额包括用户自行创建的应用和API市场购买API生成的应用。 √ 流控策略数量 每个用户最多创建30个流控策略。 用户流量限制不超过API流量限制。 应用流量限制不超过用户流量限制。 源IP流量限制不超过API流量限制。
知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配置作业超时告警,可以提前发现作业运行的潜在风险问题,判定当天是否能按基线生成业务侧所需要的数据,提高容错窗口时间,降低故障时间。 前提条件 已完成数据开发作业的开发和调度配置。 配置作业节点失败重试 您可以通过关键
页面。 在“调用信息”页面,单击“申请权限”。 在申请权限页面,设置使用截止时间、选择应用,然后单击“确认”,完成API的权限申请。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调
MRS 3.x之前版本:选择“系统设置 > 权限配置 > 用户管理”。 在需导出文件的用户所在行,选择“更多 > 下载认证凭据”,待文件自动生成后指定保存位置,并妥善保管该文件。 人机用户创建好后,需要登录一次FusionInsight Manager重置密码后才有效。 认证凭据中会携带kerberos服务的“krb5
onfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。
使用DataArts Studio。 您需要在MRS服务控制台,创建一个包含Hive组件的MRS集群,用于通过存储其中的点数据集和边数据集生成元数据。建议创建MRS集群时,相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致,
在字段所在行的“数据标准”列,单击按钮可以选择一个数据标准与字段相关联。将字段关联数据标准后,表发布上线后,就会自动生成一个质量作业,每个关联了数据标准的字段会生成一个质量规则,基于数据标准对字段进行质量监控,您可以前往DataArts Studio数据质量模块的“质量作业”页面
Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDD
数据开发作业状态,只读。 materialization String 码表数值落库状态,只读。 publish_to_dlm String DLM API生成状态,只读。 biz_metric String 业务指标同步状态,只读。 summary_status String 统一统计状态,只读。
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 400 BadRequest。 401 Unauthorized。 403
支持配置分区字段,将在写入OBS时自动生成对应分区目录,目录名为“分区字段=分区值”。同时,字段选择顺序影响分区的层级,例如选择par1、par2作为分区字段,那么par1为一级分区,par2为二级分区,最多支持五级分区。 目标字段编辑 Migration会根据选择的源端消息格式自动解析源端消息,生成对应的字
有哪些需求,需要获得什么价值? 监控数据质量 支持更多数据源和更多规则的监控 作业数量规模是多少? 本示例仅1个 用户可手动创建几十个作业,也可以在数据架构中配置自动生成数据质量作业。如果调用数据质量监控的创建接口,则可创建超过100个质量作业 用户的使用场景? 对DWI层数据进行标准化清洗 一般在数据加工
单击“下一步”,进入选择待迁移表的界面,您可以选择全部或者部分表进行迁移。 单击“保存并运行”,CDM会立即开始执行整库迁移任务。 作业任务启动后,每个待迁移的表都会生成一个子任务,单击整库迁移的作业名称,可查看子任务列表。 单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线,且长度为1~64个字符。