检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定,在DataArts Studio实例内所有工作空间的数据安全组件内,拥有最高权限。数据安全组件中,仅安全管理员和DAYU Administrator系统角色有权限进行如下操作:
产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、数据库资源,建议通过名称后缀进行区分,详细操作请参见配置DataArts Studio企业模式环境隔离。 对于DWS、MRS Hive和MRS
对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图5所示。
rmation的数据库和数据表。 资源队列 输入执行作业的资源队列。 Impala SQL、Hive SQL、HetuEngine SQL只能手动输入,不支持选择。 选择执行DLI作业的资源队列。当脚本为DLI SQL时,配置该参数。选择了资源队列以后,单击可以查看队列性能,系统
可靠性:通过异常恢复,自动重试等机制确保数据的一致性和准确性。 多样性: 数据源多样性:源端和目的端有多种数据源可供选择,为用户提供了多种选择。 场景多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面
约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts Studio实例控制台,登录DataArts
在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 值得注意的是,动态脱敏策略为DataArts Studio
关系型数据库数据源的访问地址,可填写为IP或域名。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。
Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts Studio需要通过Agent来访问租户资源或服务,需要依赖云数据迁移服务(Cloud Data Migration,简称CDM)。其中云数据迁移与数据集成为同一服务的两种形态,
过滤器”为“DRIVING_BEHAVIOR_201803*”。 文件格式问题解决方法 数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: 指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来
规格的Task排队等待运行。 性能影响因素 根据迁移模型,可以看出CDM数据迁移的速率受源端读取速度、网络带宽、目的端写入性能、CDM集群和作业配置等因素影响。 表1 性能影响因素 影响因素 说明 业务相关因素 作业抽取并发数配置 创建CDM迁移作业时,支持设置该作业的抽取并发数。
过滤器”为“DRIVING_BEHAVIOR_201803*”。 文件格式问题解决方法 数据库的数据导出到CSV文件,由于数据中含有分隔符逗号,造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法: 指定字段分隔符 使用数据库中不存在的字符,或者是极少见的不可打印字符来
与MRS集群kerberos认证失败。 请确认kerberos认证用户和密码是否很强,修改正确后,请重试。 Cdm.0018 作业和连接内容不合法。 请联系客服或技术支持人员协助解决。 Cdm.0019 IP 和端口无效。 请稍后重试,或联系客服或技术支持人员协助解决。 Cdm.0020 必须包含子字符串:%s。
to be performed.”,可能是权限不足引起的。 解决方案 则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略(查询指定条件下的委托列表),再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面,鼠标移动至右上方的账号名,在下拉列表中选择“统一身份认证”。
由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下: 图1 报错信息 原因分析 MySQL到DWS链路,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL
下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。 在“参数值”里面引入变量名称,例如{para}。 图2 配置请求头参数 配置作业参数。 单击“作业参数配置”,进入“作业参数配置”界面。 在“变量”里面输入该变量para和变量值。该值的大小不能超过1024个字符。
指的是Hetu引擎的资源队列名称。查看Hetu引擎的资源队列名称,需要登录MRS的FusionInsight Manager系统,单击左侧导航的HetuEngine,在基本信息区域,单击HSConsole WebUI链接,在计算实例列表中查看Hetu引擎的资源队列名称。 规则模板
节点状态为成功,为什么日志显示运行失败? 问题描述 节点状态为成功,日志显示运行失败。 解决方案 强制成功操作会更新作业实例(和节点)状态为成功。 父主题: 数据开发
新建维度 维度建模包含维度、维度表和事实表三个部分。 维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。维度多数具有层级结构,如:地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。
MongoDB连接迁移失败时如何处理? 问题描述 MongoDB连接迁移失败时如何处理? 解决方案 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。