检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接数据仓库服务(DWS)时,具体参数请参见数据仓库服务(DWS)连接参数说明。 SAP HANA 连接SAP HANA时,具体参数请参见SAP HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时,具体参数
已默认记录了当前账号的白名单,不支持删除,因此共享版IAM认证方式的API无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。 申请API授权时,仅支持通过应用授权的方式,暂不支持白名单授权方式。 APP认证方式的API只能授权给APP类型的应用。
Studio REST API封装的SDK包。 通过调用此SDK包提供的代码样例,即可通过API接口对数据治理中心的各组件进行相关操作。 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 Java Python Go Github代码仓,详见SDK列表。
Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区,且使用同一个VP
M用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色,另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。 工作空间角色决定了该
同步IAM用户到数据源 默认情况下,用户通过DataArts Studio数据连接访问数据源(此处指MRS/DWS数据源)时,使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限,需要先将IAM上的用户信息同步到数据源上,然后不同用户在数据
在待下线的API所在行,单击“更多 > 下线”,弹出“下线API”对话框。 选择API需要下线的时间,单击“确定”,完成API定时下线。 下线时间必须选择在API发布后的最低保留期限时间之后。选择下线时间后,下线操作会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理,或在
分类名称 分类类型选择“内置”,分类名称自动关联分类模板生成。 分类类型选择“自定义”,用户可以自行填写分类名称。 说明: 定义数据分类规则,名称必须唯一。 识别规则 分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。
的市场上,企业都在不同的细分市场上争夺优质客户。如何在这样的市场环境中选择市场的经营策略?企业每一笔资金的来源与利用、每一次经营管理决策都必须基于准确的数据分析判断。只有基于准确的数字,才能够帮助企业在激烈的竞争中取得竞争优势。 图1 华为数据治理工作思考 父主题: 华为数据治理案例
”。当“文件格式”选择为“CSV格式”时,才有该参数。 , 使用包围符 选择“是”时,包围符内的字段分隔符会被视为字符串值的一部分,目前CDM默认的包围符为:"。 否 使用转义符 选择“是”时,CSV数据行中的\作为转义符使用。 选择“否”时,CSV中的\作为数据不会进行转义。CSV只支持\作为转义符。
免双方使用同一集群,导致业务高峰期时资源抢占引起业务不可用。 CDM集群作为管理中心数据连接Agent时,单集群无法连接多个MRS安全集群。建议您按照业务情况规划多个Agent与MRS安全集群一一映射。 CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200
量超出设置的告警阈值时,会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台,单击进入“主题管理 > 主题”,找到主题名称“DGC_Topic_Manager_Schedule_Alarm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。
选择已创建的源端数据连接,且创建的连接必须已勾选数据集成选项。连接不存在时可参见创建DataArts Studio数据连接创建所需连接。 需要测试数据源端和资源组之间网络是否可用,不可用时根据界面提示修改。 选择资源组,集群创建可参见创建CDM集群。 选多个集群时系统会随机下发任务,故需要多个集群时版本规格建
CDM所属的VPC必须与DWS一致。 6b47302a-bf79-4b20-bf7a-80987408e196 子网ID CDM所属的子网必须与DWS一致。 63bdc3cb-a4e7-486f-82ee-d9bf208c8f8c 安全组ID CDM所属的安全组必须与DWS一致。
5所示。 图5 独立执行时的脚本参数 开发一个脚本。开发脚本时,脚本表达式里面必须包含变量(例如,SQL中变量是DATE,脚本中就写${DATE})。在作业参数配置里面,您可以在2中编写脚本参数DATE的语句表达式。 在“脚本开发”界面,在编辑器中输入开发语句,如下图所示。 INSERT
接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(如密码过期)时,此连接会失效。建议您将数据湖认证信息设定为永久有效,避免由于连接失败导致业务受损。 当前DataArts
Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为Apache Hive开启LDAP认证时配置的用户名。 ldap密码 是
Flink调试OBS桶 Flink SQL实时作业开发 在进行Flink SQL作业调试时,调试OBS桶必须选择并行桶。 展示层脱敏配置 脚本开发和作业开发 进行脚本和作业开发执行结果、表数据预览操作时,支持配置是否开启前端展示层脱敏。 配置工作空间模式 系统支持按照作业调度计划时间去运行,同时支持按照业务日期去运行。
1版本,获取ojdbc8.jar 说明: 不支持使用新版本(如Oracle Database 21c (21.3) drivers),会导致创建作业时无法获取模式名。 云数据库 PostgreSQL PostgreSQL POSTGRESQL https://mvnrepository.com/artifact/org
可以选择性的展示规则实例,例如运行的开始时间和结束时间处于某一时间区间实例。 根据处理人、实例名称进行搜索展示规则实例的列表信息,输入内容支持模糊搜索。 5 SQL并发数配置 单击SQL框,进入“单连接SQL并发数配置”页面,配置SQL并发数。输入值必须在10到1000之间。单击“确定”,完成配置。