检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio实例或增量包时,可用区无要求。再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。
水印。 个人信息合规 精准区分和保护个人数据,避免产生合规问题。 满足GDPR要求 满足GDPR关于在海量数据中找到和保护敏感数据的要求,可对敏感数据的使用进行审计。 数据安全合规检查 通过对敏感数据的分析,制定数据安全合规管理制度,帮助企业建设以及改善信息安全合规管理体系。 敏感数据识别流程
于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作
通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式,校验数据表中指定字段的合法情况。 IP地址校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 电话格式校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。
创建API时,有三种认证方式可选,不同认证方式的API支持的调用方式也有所不同,详见表1。 表1 API认证与调用方式说明 认证方式 安全级别 授权与认证机制 支持的调用方式 调用方法示例 使用说明 (推荐)APP认证 高 通过APP应用将API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证。
称,选择“修改”后,在弹出的页面中修改数据库的信息。 删除数据库:在脚本开发导航栏,选择,展开下方的数据连接,右键单击数据库名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。 删除操作不可撤销,请谨慎操作。 父主题: 数据管理
积极拥抱数据资产入表新时代 在当前数字化的浪潮下,数据已经成为劳动力、土地、知识、技术以后的第五大生产要素,“数据即资产”已成为共识。 2024年1月1日起,财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时,备受关注的数据要素市场有望被真正激活。
参考:配置委托权限 将账号的操作权限委托给DataArts Studio服务后,需要配置委托身份的权限,才可与其他服务进行交互。 为实现对权限较小化的安全管控要求,可根据作业中的节点类型,以服务为粒度,参见表1配置相应的服务Admin权限。 也可精确到具体服务的操作、资源以及请求条件
_sdi_db中的原始数据表。 图26 逆向数据库 逆向数据库成功后,单击“关闭”。逆向后的表为草稿状态,在单击“发布”后,在列表中可查看导入并发布的表。 图27 查看表 请参照以下步骤,新建一个“标准出行数据”的标准化的业务表。 在“数仓规划”页签中,单击新建的DWI关系模型,
迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求,可以通过CDM的字段转换功能转换为上述格式。 数据接入服务(DIS)和Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 设置为长久运行的任务,如果DIS系统发生中断,任务也会失败结束。
关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。
关键配置:文件/路径过滤器+定时执行作业。 前提条件:源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景:源端数据源为文件类型(OBS/HDFS/FTP/SFTP)。这里的指定时间,是指文件的修改时间,当文件的修改时间大于等于指定的起始时间,CDM才迁移该文件。 关键配置:时间过滤+定时执行作业。 前提条件:无。
配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员可以全身心聚焦业务创新,盘活100T的存量数据,使资产最大化变现。 CDM和D
级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。 级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。 级别4是量化管理级别,已经步入适宜匹配状态,贯穿组织采用的正式一致的数据治理方法都是可量化管控的。 级别5是最高级别,专注于持续优化提升,已经步入卓越状态。
DWS数据连接开启SSL时测试连接失败怎么办? 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
*用户组/用户 指定当前工作空间成员中的用户或用户组。 指定的用户或用户组按照所选的“SQL操作”进行操作时,只能操作满足“表达式”条件的行级数据。 当选择SELECT时,SELECT类操作受行访问控制的影响,所选用户组/用户只能查看到满足表达式条件的行数据,受影响的操作包括SELECT,UPDATE
择,CDM会自动选择一个分布列。关于分布列的更多信息,请参见数据仓库服务。 DWS主键或表只有一个字段时,要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时,如果选择自动建表,主键必须为以下类型,未设置主键的情况下至少要有一个字段是以下类型,否则会无法创建表导致CDM作业失败。
在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。
数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理,并给出相应的结果或触发相应的操作。 选择目录 选择作业所属的目录,默认为根目录。 作业描述 自定义作业的描述信息。 单击“确定”,创建作业。 父主题:
指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实表,与多维模型所属的业务对象保持一致,与多维模型中的最细数据粒度保持一致。