检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
器端向客户端请求消息的时间间隔,默认是0,不发送请求。然而ClientAliveInterval 300表示五分钟发送一次,然后客户端响应,这样就保持长连接了。ClientAliveCountMax的默认值3。ClientAliveCountMax表示服务器发出请求后客户端没有响
String 数据源的类型。 枚举值: MYSQL:MYSQL数据源 DLI:DLI数据源 DWS:DWS数据源 HIVE:HIVE数据源 HBASE:HBASE数据源 connection_name String 数据连接名称。 connection_id String 数据连接ID。 database
选择转储服务类型,目前支持转储至: CloudTable:通道里的流式数据存储在DIS中,并实时导入表格存储服务Cloudtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。
数据血缘的展示: 首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 通过数据目录查看数据血缘关系
组。 Kafka源端属性配置:支持设置Kafka的配置项,需要增加 properties. 前缀,作业将自动移除前缀并传入底层Kafka客户端,例如:properties.connections.max.idle.ms=600000。 添加数据源。 图1 添加数据源 目标端配置。
cd7", "kmsName" : "KMS-1111" }, "dw_type" : "HBASE", "dw_name" : "test_hbase_01", "agent_id" : "91f81a12-75c5-43ce-aab8-7149ecef3b17"
数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。
onnector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。ftp-connector/sftp-con
专享版 Kafka Broker Kafka专享版实例的地址,格式为 host:port。 - Kafka SASL_SSL 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。当DMS Kafka实例的连接信息中启用的安全协议为“SASL_SSL”时需要开启。 开启Kafka
String 数据源的类型。 枚举值: MYSQL:MYSQL数据源 DLI:DLI数据源 DWS:DWS数据源 HIVE:HIVE数据源 HBASE:HBASE数据源 connection_name 否 String 数据连接名称。 connection_id 否 String 数据连接ID。
枚举 选择作业所属的分组,默认分组为“DEFAULT”。 throttlingConfig.numLoaders 否 Integer 仅当HBase或Hive作为目的数据源时该参数才有效。 最大加载任务数,例如:“5”。 throttlingConfig.recordDirtyData
onnector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。ftp-connector/sftp-con
数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。
数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的,仅当连接MRS 3.2.1以及之后版本的MRS集群时,支持通过可视化方式查看数据库、数据表和字段,但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时,只能以日志形式显示执行结果。
Exception? 调用创建资源的API报错“资源名不合法”是什么原因? 补数据的作业实例都是成功的,为什么补数据任务失败了? DWS数据连接可视化建表,报错提示“表已存在”,但是展开数据连接看不到该表? 调度MRS spark作业报错“The throttling threshold
标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。 案例 案例:贸易数据统计与分析 使用云数据迁移(Cloud Data Migration,简称CDM)将本地贸易统计数据导入到OBS,再使用数据湖探索(Data
DataArts Studio和沃土是什么关系? 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础,通过优化整合新ICT技术,融合数据,使能客户实现业务协同与敏捷创新。 DataArts Studio作为沃土平台数据使能模块,帮助接入沃土数字平台的企业更好的管理使用数据。
Endpoint格式为“host1:port1,host2:port2”。 linkConfig.isPlatinumInstance 是 Boolean 选择是否打开客户端连接Kafka专享版实例时SSL认证的开关。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 linkConfig
0246 创建目录%s失败。 请确认是否具有创建权限,或稍后重试。若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0247 操作HBase失败。原因:%s。 请根据错误提示进行定位,若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0248 清空%s数据失败。原因:%s。
鉴权。 Kerberos:安全模式选择Kerberos鉴权。 linkConfig.properties 否 Map 属性配置,可以添加客户端的配置属性,所添加的每个属性需配置属性名称和值 父主题: 连接参数说明