检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Workspace-level agency is dlg_agency, Execute job use agency dlg_agency, job id is 07572F197E4642E5BE549C2B656F157Ctm7cHkHd [2021/11/17 02:00:36 GMT+0800]
计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 MRS MRS计费说明 MRS服务支持按需和包周期计费。本例中使
Open/Close Resource 功能 通过Open/Close Resource节点按需开启或关闭华为云服务。 参数 用户可参考表1和表2配置Open/Close Resource节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英
SQL脚本执行以下SQL命令: /* 创建数据表 */ CREATE TABLE A (PRODUCT_ID INT, SALES INT, DATE DATE); CREATE TABLE B (PRODUCT_ID INT, SALES INT, DATE DATE); 给源数据表插入示例数据。您可以在DataArts
环境变量 环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所将使用到的信息。 补数据 手工触发周期方式调度的作业任务,生成过去某时间段内的实例。 数据治理 数据资源及其应用过程中相关管控活动、绩效和风险管理的集合。 数据调研 基于现有业务数据、行业现状
SQL脚本执行以下SQL命令: /* 创建数据表 */ CREATE TABLE A (PRODUCT_ID INT, SALES INT, DATE DATE); CREATE TABLE B (PRODUCT_ID INT, SALES INT, DATE DATE); 给源数据表插入示例数据。您可以在DataArts
配置委托时获取委托列表失败如何处理? 可能原因 当配置工作空间级或者作业级委托,查看委托列表时,报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”,可能是权限不足引起的。 解决方案 则需要使
密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问密钥仅在初次生成时自动下载,
CDM集群)和DWS集群之间的网络。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群,系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,
如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user; 高级属性 分区过滤条件 读取方式为HDFS时,单击“显示高级属性”后显示此参数。 该参数表示
data delete from alter table create table drop table into outfile select id,name from sqoop.user; 传输模式 支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3
API连接或使用集群名模式时,是必选项。 选择所属的MRS集群。仅支持连接MRS云服务,自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,
acle数据库。 SID:通过SID连接Oracle数据库。 linkConfig.sidname 否 String 配置Oracle实例ID,用于实例区分各个数据库。创建Oracle连接,且linkConfig.databaseconfig(数据库连接类型)选择为“SID”时才有该参数。
统一接口标准,减少上层应用对接工作量。 将数据逻辑沉淀至数据平台,实现应用逻辑与数据逻辑解耦,在减少数据模型的重复开发的同时,避免数据逻辑调整带来的“散弹式修改”。 将数据逻辑相关的存储与计算资源下沉到数据平台,降低应用侧的资源消耗。 减少大量明细、敏感数据在应用侧的暴露,同时通过A
重要手段。主数据管理保障了数据应用和运营过程中核心数据的存在和一致性。 数据质量管理是数据应用和运营过程中数据准确性、一致性、完整性、及时性、唯一性、有效性的重要保障,是数据业务价值创造的重要前提。 数据目录管理模块完成元数据的采集和注册,为数据应用和数据消费提供了解数据的窗口。
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后,您可创建并配置实时集成作业,将多种输入及输出数据源搭配组成同步链路,进行数据的实时同步。 前提条件 已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,详情请参见购买数据集成资源组。
数据服务创建数据API使用推荐的APP认证方式时,才能通过SDK方式进行数据API调用;当使用其他认证方式时,可以通过API调用工具或浏览器调用。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecret)进行安全认证,支持通过SDK或
获取SQL节点的输出结果值 当您在数据开发模块进行作业开发,需要获取SQL节点的输出结果值,并将结果应用于后续作业节点或判断时,可参考本教程获取SQL节点的输出结果。 场景说明 使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时,输出结果为二维数组形式
自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个
方法论产品落地 数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts