检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表3。 表3 privileges参数 参数名称 是否必选 参数类型 说明 object 否 String 授权时object的信息。 applicant_project_id 否 String 授权的项目ID。 privileges 否 Array of Strings 授权操作信息。
avro.codec 否 (none) String 仅用于文件系统,avro 压缩编解码器。默认不压缩。目前支持:deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义 Avro
avro.codec 否 (none) String 仅用于文件系统,avro 压缩编解码器。默认不压缩。目前支持:deflate、snappy、bzip2、xz。 数据类型映射 目前,Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义 Avro
import SparkSession 创建session 1 sparkSession = SparkSession.builder.appName("datasource-redis").getOrCreate() 设置连接参数 1 2 3 4 host = "192.168
'batch.size.bytes'= '1mb', 'es.nodes.wan.only' = 'true', 'es.mapping.id' = 'FIELDNAME'); 关键字 表1 CREATE TABLE关键字说明 参数 描述 es.nodes CSS的
'batch.size.bytes'= '1mb', 'es.nodes.wan.only' = 'true', 'es.mapping.id' = 'FIELDNAME'); 关键字 表1 CREATE TABLE关键字说明 参数 描述 es.nodes CSS的
spark-submit [options] <app jar | python file> [app arguments] 表2 DLI Spark-submit参数列表 参数名称 参数值 描述 --class <CLASS_NAME> 提交的Java/Scala应用程序的主类名称。 --conf
0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
202103241606060001 appShop 2021-03-24 16:06:06 200 180 2021-03-24 16:10:06 0001 Alice 330106 202103251202020001 miniAppShop 2021-03-25 12:02:02
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
应用场景 DLI服务适用于海量日志分析、异构数据源联邦分析、大数据ETL处理。 海量日志分析 游戏运营数据分析 游戏公司不同部门日常通过游戏数据分析平台,分析每日新增日志获取所需指标,通过数据来辅助决策。例如:运营部门通过平台获取新增玩家、活跃玩家、留存率、流失率、付费率等,了解
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-dws").getOrCreate() 通过DataFrame API访问数据源 连接参数配置 1 2
or code.test.com:443 Content-Type 消息体的类型(格式),默认取值为“application/json”,有其他取值时会在具体接口中专门说明。 是 application/json Content-Length 请求body长度,单位为Byte。 POST/PUT请求必填。
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-css").getOrCreate() 通过DataFrame API 访问 连接配置 1 2 resource
"spark-sdv-app.jar", "status": "READY", "underlying_name": "987e208d-d46e-4475-a8c0-a62f0275750b_spark-sdv-app.jar"
SparkSession; 创建会话 1 SparkSession sparkSession = SparkSession.builder().appName("datasource-dws").getOrCreate(); 通过SQL API 访问数据源 创建DLI跨源访问DWS的关联表,填写连接参数。
SparkSession; 创建会话 1 SparkSession sparkSession = SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession
MetaException(message:Permission denied for resource: databases.xxx,action:SPARK_APP_ACCESS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理”>“库表管理”。
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-opentsdb").getOrCreate() 创建DLI跨源访问 OpenTSDB的关联表 1 2