检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schema(schema)\ .format("hbase")\ .option("ZKHost",ZKHost)\ .option("TableName",TableName)\
附加请求消息头字段,如指定的URI和HTTP方法所要求的字段。例如,定义消息体类型的请求消息头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 参数 说明 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为hostname
) NOT ENFORCED) ) with ( 'connector.type' = 'redis', 'connector.host' = '', 'connector.port' = '', 'connector.password' = '', 'connector
配置Superset连接DLI进行数据查询和分析 Superset是一个开源的数据探索和可视化平台,支持对数据进行快速、直观的探索,同时支持创建丰富的数据可视化和交互式仪表板。 通过将Superset与DLI对接,用户可以访问DLI进行数据查询和分析,简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。
查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务,不提供下载功能。 如何使用API通过公网访问DLI? DLI域名公网访问请使用域名访问:dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。
区域和可用区 什么是区域、可用区? 区域和可用区用于描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Re
在地区和终端节点获取DLI对应区域的域名。 如果不配置,程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName 是 - OBS上的桶名称。该桶用于
FIELDNAME1 FIELDTYPE1, FIELDNAME2 FIELDTYPE2) USING REDIS OPTIONS ( 'host'='xx', 'port'='xx', 'passwdauth' = 'xxx', 'encryption' = 'true'
options( 'Host'='opentsdb-3xcl8dir15m58z3.cloudtable.com:4242', 'metric'='ctopentsdb', 'tags'='city,location')") 表1 创建表参数 参数 说明 host OpenTSDB连接地址。
需要使用跨源的队列列表。 说明: 只有包年包月队列和专属队列可以使用增强型跨源连接。 routetable_id 否 String 对应服务的子网关联的路由表。 hosts 否 Array of Objects 用户自定义主机信息,最大支持2万条记录,详细信息参见表 hosts请求参数。 tags 否 Array
// Write data to redis dataFrame.write.format("redis").option("host",host).option("port",port).option("table", table).option("password",auth)
'connector.host' = '', 'connector.port' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,对于redis,需配置为'redis'。 connector.host 是 redis连接地址。
云API参考》。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 hosts 否 Array of Objects 用户自定义主机信息,详细信息参见表 hosts参数说明。 elastic_resource_pools 否 Array of Objects
opentsdb_new_test using opentsdb options('Host'='10.0.0.171:4242','metric'='ctopentsdb','tags'='city,location')"); Host、metric、tags三个参数详情讲解可参考表1。 插入数据
uri的格式为:mongodb://username:pwd@host:8635/db 其中以下参数需要修改为实际值: “username”为创建的mongo(DDS)数据库用户名。 “pwd”为创建的mongo(DDS)数据库用户名对应的密码。 “host”为创建的mongo(DDS)数据库实例IP。
创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle,且仅按需专属队列和包周期队列支持增强型跨源。因此仅按需专属队列和包周期队列支持在SQL作业中连接Oracle数据库。 语法格式 1 2 3 4 5 6 7 8 9 CREATE TABLE
assword、certificate,且语法中hosts字段值以http开头。 若开启安全模式,未开启https: 方法1:推荐使用password类型跨源认证,并配置pwd_auth_name为跨源认证的名称,且语法中hosts字段值以http开头。 方法2:不使用跨源认证,
DLI产品咨询类 DLI Flink与MRS Flink有什么区别? DLI中的Spark组件与MRS中的Spark组件有什么区别? 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据? 区域和可用区 全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量
参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 匹配规则为:^(?!_)(?
为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制,num参数仅支持INT类型。 values_row 想要插入到表中的值,列与列之间用逗号分隔。