检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持按HBase的Region分片。 Apache Hive HDFS读取方式时,支持按Hive文件分片。 JDBC读取方式时,不支持分片。 对象存储 对象存储服务(OBS) 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库
免费试用即将到期,如何续费? 当免费试用的DataArts Studio实例即将到期时,您可以购买DataArts Studio实例以继续使用。您可以登录DataArts Studio控制台,找到即将到期的免费试用的DataArts Studio实例,在试用的DataArts S
您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。 您可以将表1数据保存在
geOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 bad_record_location_name String 脏数据OBS路径。 description
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
数据目录如何可视化展示数据血缘? 数据血缘在数据目录中展示,首先要完成元数据采集任务,其次数据开发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。
缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。
您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。 您可以将表1数据保存在
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
实时作业概述 DataArts Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活
name String 脏数据OBS路径。 description String 工作空间描述。 eps_id String 企业项目ID,获取方法请参见项目ID和账号ID。 job_log_location_name String 作业日志OBS路径。 name String 工作空间名称。
创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table
不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
图数据自动化构建与分析场景介绍 图引擎服务(Graph Engine Service,简称GES)是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务,并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。 在DataArts S
不归档:不对脏数据进行存储,仅记录到任务日志中。 归档到OBS:将脏数据存储到OBS中,并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接,目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
录。 脚本执行完成后在“执行结果”中,单击“转储”可以将脚本执行结果转储为CSV和JSON格式的结果文件到OBS中,详情请参见表7。 转储功能依赖于OBS服务,如无OBS服务,则不支持该功能。 当前仅支持转储SQL脚本查询(query)类语句的结果。 DataArts Studi
CDM作业改名后,在数据开发中如何同步? 问题描述 CDM作业改名后,在数据开发中不能同步。 解决方案 CDM作业改名后,需要在数据开发作业的CDM节点属性中,重新选择改名后的CDM作业名称。 父主题: 数据开发
如何查看CDM作业被哪些作业进行调用? 问题描述 CDM作业被哪些作业进行调用。 解决方案 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
如何确认质量作业或对账作业已经阻塞? 可能原因 质量作业或对账作业运行阻塞,不清楚如何确认阻塞。 解决方案 作业运行状态长时间处于运行中时,选择“运维管理”,单击操作栏中的“结果&日志”并选择查看“运行日志”,当“运行日志”不再更新,表示作业已经阻塞。 图1 作业运行日志 父主题: