检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本名称已经被其他脚本占用。 请检查脚本名称是否被占用。 400 DLF.0203 The script fails to be modified. 修改脚本失败。 请检查脚本。 400 DLF.0802 The specified parameter is not configured. 指定的参数没有配置。
参数说明 *策略名称 hetu权限同步策略的标识,同一个数据表上不能有同名的hetu权限同步策略。 为便于策略管理,建议名称中标明要同步的集群名和Catalog名。 策略描述 为更好地识别hetu权限同步策略,此处加以描述信息,长度不能超过255个字符。 权限源端 *数据源类型 当前仅支持MRS
管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接,是基于管理中心的数据连接完成的,创建方法请参考配置DataArts Studio数据连接参数。
SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接,并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句,提交并运行作业。
通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 父主题: 通过不同方式调用API
否 String 业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
以配置资源路径中的动态参数为例进行说明,例如资源路径(请求Path)设置为: /v2/{project_id}/streams,资源路径中的{project_id}为动态参数,需要在此进行配置。 单击“添加”,参数名配置为project_id。 参数位置选择PATH。 类型设置为STRING。
et=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 符合条件的申请总数。 records Array of RecordForApplyDetail
争阶段,这从客观上对企业的创新能力提出了更高的要求,现在企业的创新在很大程度上要借助科技的手段,在业务数据的开发和利用基础上进行创新,数据为企业实施有效的创新提供了丰富强大的动力。 企业数据繁杂,无标准,质量低。 企业的IT系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角
据安全建设的方针总则,围绕数据全生命周期各阶段的安全要求,建立与制度流程相配套的技术和工具。 图3 数据安全技术体系 其中基础通用技术工具为数据全生命周期的安全提供支撑: 数据分类分级相关工具平台主要实现数据资产扫描梳理、数据分类分级打标和数据分类分级管理等功能。 身份认证及访问
包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。例如某作业包含2个DWS SQL节点和1个Dummy节点,每天00:00开始执行,隔10小时调度一次,当天额外进行了过去10天的补数据,则该作业当天调度次数为2*3+2*3*10=66,后续每天调度次数为2*3=6。
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。 短时间内下发大量作业,可能会导致集群资源耗尽异常等,您调用API时需要注意。 CDM是批量离线迁移工具,不建议客户创建大量小作业场景。
可以查看未来一周的作业调度结束的数据,包含作业名称、调度结束时间以及责任人。 调度结束时间小于或等于2天,显示为红色。 调度结束时间在3~5天,显示为橙色。 调度结束时间在6~7天,显示为黑色。 父主题: 运维调度
作业监控界面。 图1 前往监控 在监控界面,可以查看该作业节点的日志信息、版本信息、对该作业执行调度、单击编辑或者作业名称进行作业开发界面修改作业信息等。 图2 作业监控界面 父主题: (可选)管理作业
"Total Rows" : "4", "Status" : "false", "Name" : "1_database.dqc_test2" } ] }, { "sub_rule_id" : "1012386182631510017"
全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。 父主题: 配置数据安全策略(待下线)
消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 x-return-publish-messages 否 String 是否返回专享版API的发布信息。
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
地命令提示符框,输入如下命令,在本地生成已下载SDK包的SHA256值,其中,“D:\java-sdk.zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示:
有访问密钥一起使用,对请求进行加密签名。 AppSecret:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 发送API请求时,需要将当前时间置于HTTP的X-Sdk-Date头,将签名信息置于Authorization头。签名只在一个有限的时间内是有效的,超时即无效。