检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI队列。该参数仅DLI连接类型有效。 Schema DWS和POSTGRESQL的模式。该参数仅支持DWS和POSTGRESQL连接类型。 描述 描述信息。支持的长度为0~600个字符。 通过逆向数据库导入逻辑实体 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到逻辑实体目录中,使其变成逻辑实体。
ClientAliveInterval 300 ClientAliveCountMax 3 ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔,默认是0,不发送请求。然而ClientAliveInterval 300表示五分钟发送一次,然后客户端响应,这样就保持长连接了。Cl
发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1
复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种数据库的数据同步。您可以根据数据库所在网络环境,选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前,您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通,对应数据库环境与网络连通配置详情请参见:配置实时网络连接。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 为什么权限同步到DLI中,会提示权限不够?
*数据连接 选择要申请的资源所在的数据连接。 资源选择 *待添加资源 在导航树上选择数据库后,勾选所需的数据表,单次申请时支持选择不同数据库下的表。 说明: 当前仅支持按照数据表粒度,申请数据表的查询数据(SELECT)权限。因此权限申请前,请确保空间权限集已配置所选数据表中所有列的SELECT权限。
查看表权限的拥有者(表权限视图) 数据安全支持权限清单查看,通过表名展示当前实例下拥有表权限的工作空间用户、用户组和角色(包含空间权限集、权限集和角色)。 约束与限制 表-角色页签暂不支持展示存算分离MRS Hive的URL权限策略。 当前暂不支持在表权限视图页面直接对权限进行配置、回收。
体操作请参见创建告警规则和通知。 告警类型选择“指标”,云产品选择“数据治理中心-DataArts Studio作业”。 父主题: 管理并查看监控指标
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
为IAM子用户账号,且至少具有DWS Database Access权限。 仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持细粒度认证。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 MRS
MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train Http Trigger OCR
果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.filePrefix 否 String 自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 父主题:
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
障数据全链路、全生命周期安全能力。例如:数据入湖阶段,支持对敏感字段进行脱敏设置,支持对数据源连接进行管控,控制对数据源的访问权限;分析师查询数据时,支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略:包括统一权限治理、敏感数据治理、隐私保护策略和数据安全运营四大能力。
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU
体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型
中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法,之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新,那只有通过重建这种方式更新。 重建数据表:先删除数据库中已有的表,再重新创建表。