检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业任务参数调优 概述 实时数据集成服务底层使用Flink流处理框架进行开发,因此包含了Flink系统中最重要的两个部分:JobManager和TaskManager。 作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager
可以在数据库列中存储一个oracle目录对象和一个文件名,用户可以通过它来读取这个文件。 不支持 不支持 其他类型 rowid 实际上是数据库表中行的地址,它有10字节长。 不支持 不支持 urowid 是一个通用的rowid,没有固定的rowid的表。 不支持 不支持 SQL Server数据库迁移时支持的数据类型
40 Gbps。 通过公网互通时,网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP,数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时,网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。
作业最大算子反压 展示用户Flink作业的最大算子反压值,数值从0-1,数值越大,反压越严重 ≥ 0 实时处理集成作业 1分钟 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
request->addHeader("x-Authorization", header.getValue()); } } 使用curl库访问API,查看访问结果。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
sig_headers_add(¶ms.headers, "x-Authorization", authorization); 使用curl库访问API,查看访问结果。 static size_t WriteMemoryCallback(void *contents, size_t size
导入文件时,OBS和本地方式均限制文件大小不超过10MB。 旧空间导出资源 请您登录控制台首页,选择并进入旧工作空间的“管理中心”模块,然后执行如下操作进行资源导出。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
aadmin/kafkasuperuser用户组。 说明: kafka普通用户需要被Kafka管理员用户授予特定Topic的读写权限,才能访问对应Topic。 建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数
Studio基础包套餐采用包年包月计费模式,套餐到期后进入宽限期,宽限期内您可正常访问及使用DataArts Studio,且正常计费。您需要在宽限期内购买套餐时长,否则会进入保留期。 保留期内,数据仍予以保留,但是您将无法访问DataArts Studio实例,您无法在DataArts Stu
如果此前已创建并运行过待查看数据表的元数据采集任务,此操作可跳过。 启动作业调度 元数据采集完成后,系统基于最新的作业调度实例产生相关的数据血缘关系。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
数据安全纳入数据治理的范畴,对所有企业数据要求依据数据安全等级定义进行数据安全定级,在数据产生、传输、存储和使用的过程中进行必要的数据安全访问控制,同时对数据相应的CRUD活动均需产生日志以完成安全审计。 主数据 主数据管理是数据标准落地和提升数据质量的重要手段,是企业级数据治理
作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
获取难度,提升数据消费体验和效率,最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数据生命周期内统一的数据使用保护能力。通过访问权限管理、敏感数据识别、隐私保护管理等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。
Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下: 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下: 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
开发API工作流1:对返回消息进行映射或格式转换 某API默认返回的是JSON数据,现需要将API调用结果转换为EXCEL格式。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
数据权限 元数据采集 使用教程 数据服务 准备工作 创建API 调试API 发布API 管理API 流量控制 调用API 审核中心 数据安全 访问权限管理2.0 敏感数据识别 隐私保护管理 常见问题 了解更多常见问题、案例和解决方案 热门案例 数据库、数据仓库、数据湖与华为智能数据湖方案
保护。 对泄露数据进行快速溯源 通过对泄露数据文件解封,根据数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息(数据源地址、分发单位、负责人、分发时间等),从而对安全事件精准定位追责。 数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS
jsonPath) 返回json字符串指定路径下的字段值。类似于XPath,path方法可以通过路径检索或设置JSON,其路径中可以使用.或[]等访问成员、数值,例如:tables[0].table_name。 字符串变量str的内容如下: { "cities":