检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题： 数据集成
配置委托时获取委托列表失败如何处理？ 可能原因 当配置工作空间级或者作业级委托，查看委托列表时，报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”，可能是权限不足引起的。 解决方案 则需要使
如何使用表达式方式获取当前时间？ 问题描述 如何使用表达式方式获取当前时间？ 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 父主题：
Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下载Flink作业资源包"wordcount
执行DWS SQL脚本时，提示id不存在，如何处理？ 可能原因 在执行DWS SQL脚本时，提示id不存在，原因是由于id的大小写引起的。 解决方案 DWS执行SQL时，系统默认是小写，如果是大写字段需要加""。 举例：select * from table1 order by "ID";
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 在脚本开发导航栏，选择，右键单击数据连接名称，选择“新建数据库”，配置如表1所示的参数。 表1 新建数据库 参数 是否必选 说明 数据库名称 是 数据库的名称，命名要求如下：
MongoDB连接迁移失败时如何处理？ 问题描述 MongoDB连接迁移失败时如何处理？ 解决方案 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。
running or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示？ 在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？ 如何创建通知配置对全量作业都进行结果监控？ 数据开发的并行执行节点数是多少？ DataArts
CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务（如
数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？ 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用，具体价格请参考该服务的计费详情页。商用计费
新建数据质量规则 新建数据质量作业 新建数据对账作业 数据目录（数据地图与数据权限） 在DataArts Studio数据目录模块中，您可以查看数据地图，还可以进行数据权限管理。 数据地图 查看工作空间内的数据资产 数据权限 数据权限简介 数据安全 数据安全为数据湖提供数据生命周
整，离不开高度集成的全球结账管理系统，更离不开数据治理，通过交易核算自动化、ERP优化、数据调度优化、数据质量监控以及提升数据分析平台的性能，华为实现了全球核算实时可视，过程可跟踪、可管理。 图1 华为数据治理实践 父主题： 华为数据治理案例
作业开发时，测试运行后如何查看运行日志？ 问题描述 作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
失败。 数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明： 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”，数据对象选择对应的数据库即可。 数据表 选择配置的数据质量规则所应用到的表。 说明： 数据表与数据库强相关，基于已选择的数据库。
其中，DataArts Studio的相关事件在“事件来源”中包含如下分类： CDM：数据集成组件的事件。 DLF：数据开发组件的事件。 DLG：管理中心、数据架构、数据质量、数据目录和数据服务组件的事件。 图1 CDM操作事件 在需要查看的事件左侧，单击事件名称左侧箭头，展开该记录的详细信息。
定义数据分类 当数据密级已经无法满足大数据量下的数据分级分类诉求时，您可以进一步为不同价值的数据定义数据分类，以更好地管理和分组计量自己的数据，让各类各组之间属于并列、平等并且互相排斥的关系，使数据更清晰。本章主要介绍如何定义数据分类。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导： 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源，DataArts
定义数据密级 为了方便对数据进行管理，在对数据进行操作前，需要您为数据定义密级，并对保密等级做相应的描述，例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数
如何在IAM中创建细粒度权限策略？ 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制，您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的
支持的数据源 实时处理集成作业可以实现表或文件级别的数据实时增量迁移。 实时处理集成作业支持的数据源如表1所示。 表1 实时增量数据迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 关系型数据 MySQL Hadoop：MRS Hudi 消息系统：DMS Kafka 数据仓库：DWS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
