检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据连接与资源组同时创建在华为云同一个租户 图4 原理图 通过对等连接打通资源组网段和数据源VPC。 登录DataArts Studio控制台。 在DataArts Studio控制台,单击“资源管理”,进入资源管理页面。 图5 新建网络连接 在“实时网络连接”页签,单击“新建”,在弹出的“新建网络连接”对话框输入对应参数。
Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订。本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts
输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射 是 针对工作流中查询到的所有普通API结果集,支持对一个或多个节点的结果集名称进行映射,映射后的名称会作用到JSON或文件名
查看API不同操作对应的实例信息(专享版) 查看API调试信息(专享版) 导入包含API信息的EXCEL文件 导出包含API信息的EXCEL文件 全量导出包含API的EXCEL压缩文件 下载EXCEL模板 父主题: 数据服务API
由于联邦用户在只有用户组信息,因此联邦用户无法同步。 由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可以按自身需要创建IAM对应的MRS同名用户从而不进行用户同步。
离线资源管理为您提供查看当前DataArts Studio实例下所有CDM集群的功能,并支持为CDM集群关联不同的工作空间。 只有当CDM集群在关联了工作空间后,才能在所关联的工作空间中使用该CDM集群。 参考访问DataArts Studio实例控制台,以 Administrator或Tenant Admin
集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1
Mdd))}}”。 暂不支持通过Elasticsearch的query DSL(即DSL语法,Domain Sepcified Language)查询方式对源数据进行过滤。 last_name:Smith 抽取元字段 表示是否抽取索引的元字段,目前只支持(_index、_type
访问该工作空间。 创建工作空间 参考访问DataArts Studio实例控制台,以 Administrator或Tenant Administrator账号登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击“新建
en认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小12MB以内,12MB以上的请求请使用Token认证。 AK/SK既可以使用永久访问密钥中的AK/SK,也可以使用临时访问密钥中
Studio实例网络互通。 已创建CDM集群,详情请参见购买批量数据迁移增量包章节。 创建数据迁移连接 登录DataArts Studio控制台,单击相应工作空间后的“数据集成”。 在集群管理页面,单击所创建集群操作列“作业管理”,进入“作业管理”页面。 图1 作业管理页面 在连接管
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令:
离线处理集成作业开发 离线处理集成作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导 父主题: 数据开发
导入包含API信息的EXCEL文件。 2400 120 导出包含API信息的EXCEL文件 导出包含API信息的EXCEL文件。 2400 120 全量导出包含API的EXCEL压缩文件 全量导出包含API的EXCEL压缩文件。 2400 120 下载EXCEL模板 下载EXCEL模板。 2400 120 申请管理接口
能数据管理能力的一站式治理运营平台,包含数据集成、数据开发、数据架构、数据质量监控、数据资产管理、数据服务、数据安全等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
s Studio控制台并等待6分钟后,才能使该工作空间成员的权限变更生效。 对于工作空间管理员角色,即使自定义角色与其权限点相同,也无法进行某些需要校验管理员角色的操作。例如全量导出数据服务API等。 操作步骤 参考访问DataArts Studio实例控制台,以DAYU Administrator或Tenant
后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 获取项目ID和账号ID 项目ID表示租户的资源,账号ID对应当前账号,IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。
割为多个任务并发执行。 导入DWS的数据库名称为public,表名为cdm_all_type,导入前不清空数据。 当DWS数据库里没有本地MySQL数据库中的表时,CDM自动在DWS端创建该表。 DWS端加载的字段列表为id&gid&name。 作业抽取数据时,并发执行的Extractor数量为3。
见元数据采集任务。否则会导致同步失败,报错“数据连接不存在”。 约束与限制 当前敏感数据同步仅支持同步到数据地图组件。不支持将识别到的敏感数据同步到数据目录组件,且数据目录组件也不再支持手动新增、编辑敏感数据的密级和分类信息。 敏感数据同步依赖于元数据采集任务。如果未对数据连接进行元数据采集,则无法找到数据连接。
Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 diagnose_id 是 String 诊断任务id,通过调用查询数据权限控制模块诊断结果接口获取。 datasource_type