检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在本示例中,选择数据仓库服务(DWS)服务作为数据底座。 创建DWS集群的具体操作请参见创建集群。为确保DWS集群与DataArts Studio实例网络互通,DWS集群需满足如下要求: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群
使得用户可以每天获取到最新的数据分析结果。 服务退订,如果不再使用DataArts Studio相关服务,请及时进行退订和资源删除。 父主题: 免费版:基于DLI的电商BI报表数据开发流程
待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。 校验文件个数以及文件大小。 在MRS中恢复HBase表并验证。
配置数据目录权限 本章节主要介绍数据目录权限管理。 约束与限制 仅管理员角色的用户支持创建、删除、修改数据目录权限规则和设置数据目录权限生效状态。 开发者、运维者和访客角色的用户仅支持查看数据目录权限规则和规则列表。 管理数据目录权限规则 在DataArts Studio控制台首
CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
数据架构发布后主题一致,按照主题层级如、等进行展示。 直接新建的普通目录不受同步影响。但当普通目录名称与主题名称冲突时: 主题首次同步名称冲突时,会将普通目录修改为主题目录属性,带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时,会出现同步失败的情况。 不支持变更自动同步
S服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。 单击“确定”,创建作业。 父主题: 作业开发
图数据自动化构建与分析 图数据自动化构建与分析场景介绍 操作环境与数据准备 创建数据集成作业 开发并调度Import GES作业 分析图数据
子作业个数 “拆分作业”选择“是”时,显示该参数,根据“作业拆分字段”的最小值和最大值限定的数据范围,将作业拆分为多少个子作业执行。 - 父主题: 配置CDM作业源端参数
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供国际带宽,主要面
"_timestamp >= '${startTime}' and _timestamp < '${currentTime}'" } 源端数据库是数据仓库服务DWS或者MySQL时,对于时间的判断可以写成以下两种: _timestamp >= '2018-10-10 00:00:00' and
指标设计 业务指标 技术指标 父主题: 数据架构
度量评估工具 度量评估对象 度量评估方法 度量评估频次 数据治理成熟度评估 企业整体 调查问卷 年度 数据治理评分卡 各业务及IT部门 数据治理工作组与各业务及IT部门共同打分 季度 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估,了解各维度数据治理现状,并制定可操作性目标
标准设计 新建码表 新建数据标准 父主题: 数据架构
行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) 详情请参见支持的数据源。 父主题: 数据目录
新建用户同步任务前,已在管理中心创建数据仓库服务(DWS)或MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 新建用户同步任务前,已参考授权dlg_agency委托为dlg_agency委托配置权限。 约束与限制 DataArts
在连接目录中,右键单击对应的连接,选择“查看引用”,弹出“引用列表”窗口。 在引用列表窗口,可以查看该连接被作业或脚本引用的情况。 图1 引用列表 父主题: 数据管理
据源地址、分发单位、负责人、分发时间等),从而对安全事件精准定位追责。 数据水印使用流程 您可以通过图1来了解。 图1 水印使用流程 约束与限制 当前数据水印任务仅支持MRS Hive数据源。 主键不支持嵌入水印。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段嵌入水印。
条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持通过建表语句产生的OBS文件到DLI表之间的血缘。 DWS SQL 支持Insert into等DML操作产生的DWS表之间的血缘。
数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理体系转变为常态化管理体系,降低日常行政成本,发挥更大的数据流动与服务价值。通过自主申报健康信息,民众可获取反映健康状况的健康码,并凭码通行社区、办公楼、交通口等核验场景。在防疫初期,健康码有助于防止线下扎