检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线处理:对已收集的大量数据进行批量处理和分析,这些任务通常是在计算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处
在过滤框中选择“作业”,展示历史7天的作业运行记录。 单击某一条运行记录,可查看当时的作业信息和日志信息。 如果该作业当时只有部分节点执行测试,则运行历史只展示参与测试运行的节点信息和日志信息。 父主题: 数据开发
API目录”或“开发API > API管理”页面,在API列表操作列中,选择“编辑”。注意,API如果处于发布、下线、停用、恢复的待审核或待执行状态,则不支持编辑。 在基本配置处,修改“服务目录可见性”参数的取值,可以选择为“当前工作空间可见”、“当前项目可见”或“当前租户可见”。然后保存修改。
String 路径。 last_run_time String 最后一次执行时间。 start_time String 开始时间。 end_time String 结束时间。 next_run_time String 下一次执行时间。 duty_person String 责任人。 update_type
详情属性中文,只读。 attr DimensionAttributeVO object 引用属性字段,只读。 detail_attrs Array of DimensionAttributeVO objects 详情字段,只读。 表12 DimensionAttributeVO 参数 参数类型
表名。 dw_id String 数据连接ID。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 extend_info String 扩展信息。
司做到代码“0”改动、数据“0”丢失迁移上云。 案例:搭建实时报警平台 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。
审计。 数据安全合规检查 通过对敏感数据的分析,制定数据安全合规管理制度,帮助企业建设以及改善信息安全合规管理体系。 敏感数据识别流程 在执行识别敏感数据任务之前,您可通过图1了解敏感数据识别流程。 图1 敏感数据识别流程图 定义数据密级 在对数据进行操作前,为数据定义密级,用以明确涉密的范围。
Administrator、Tenant Administrator、数据安全管理员或预置的工作空间管理员角色的用户有权限新建、编辑或删除目录权限策略。 目录权限策略中可以配置多个目录,但同一用户、用户组或角色仅能出现在一条策略中。 数据服务仅专享版目录支持权限管控。 新建目录权限策略 在DataArts Studi
zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk.zip 哈希: 77e033cfb4ea3a8bfdc773d44b9db
自定义项英文名称。 not_null 是 Boolean 是否必填。 optional_values 否 String 可选值。当可选值有多个时,用分号分隔。 type 是 String 自定义项类型。 枚举值: TABLE: 表自定义项 ATTRIBUTE: 属性自定义项 SUBJECT:
段列下标为0、1、2,keyIndex取值为0,则valueIndex为1、2。 keyIndex下标取值范围是从0开始的正整数,否则任务执行会报错。 - 额外配置 数据格式为JSON显示该参数。 该参数指定不同的类型的控制写入数据格式或者指定配置参数。 使用该能力前必须配置参数
LTS数据连接参数说明 表1 LTS数据连接 参数 是否必选 说明 数据连接类型 是 LTS连接固定选择为LTS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明:
下线/停用功能需要为已授权的应用预留充分的准备时间,需至少提前2天发起请求。若需要立即执行下线/停用,需要发起请求后,无有效的授权应用或是有效的授权应用均处理完消息(立即执行,或定期后完成执行)。 调用方法 请参见如何调用API。 URI POST /v1/{project_id
间。 直接删除队列资源后,队列中的授权配置依然存在,权限继续生效。需要通过删除策略或回收权限,才能删除相应队列权限。 数据安全无法删除当前正在数据开发中被使用的Yarn队列资源。 编辑策略:在MRS Yarn队列详情页面,单击对应策略操作栏中的“编辑”,即可编辑策略。 删除策略:在MRS
"sync_msg" : null, "sync_status" : "NOT_SYNC", "table_id" : "NativeTable-ae55cb5c44be4119b8958a3ba5d9a71f-bigdatatest-chuan", "table_name"
搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后端数据源,该连接可作为作业源端,将多个数据源的数据合一迁移到其他数据源上。 NoSQL Redis Hadoop:MRS HDFS,MRS HBase,MRS
OBS数据连接参数说明 表1 对象存储服务(OBS)连接 参数 是否必选 说明 数据连接类型 是 OBS连接固定选择为OBS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
zip”为SDK包的本地存放路径和SDK包名,请根据实际情况修改。 certutil -hashfile D:\java-sdk.zip SHA256 命令执行结果示例,如下所示: SHA256 的 D:\java-sdk.zip 哈希: 77e033cfb4ea3a8bfdc773d44b9db
仅专享版支持API版本管理。 API更新版本是通过对已发布的API进行编辑后再次发布实现的。API如果处于发布、下线、停用、恢复的待审核或待执行状态,则不支持编辑,因此无法更新版本。 更新API版本 API更新版本是通过对已发布的API进行编辑后,再次发布,从而实现版本更新。 在DataArts