检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame JavaRDD<String> javaRDD = javaSparkContext.parallelize(Arrays
keytab路径 上传“user.keytab”文件的OBS路径。 图1 创建认证信息-Kerberos 访问MRS的表。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kerberos类型跨源认证关联的字段
Key密码 keystore中的私钥密码。 图1 创建认证信息-Kafka_SSL 访问开启SASL_SSL认证的Kafka。 跨源认证创建成功后，在创建访问数据源时只需关联跨源认证即可安全访问数据源。 建表时关联跨源认证的字段请参考表3。 表3 建表时与Kafka_SSL类型跨源认证关联的字段
15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时，您还需要创建DLI云服务委托授予DLI访问其他服务（DEW）读取访问凭证。 SQL作业、Flink
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame 1 2 3 4 JavaRDD<String> javaRDD = javaSparkContext
table).option("password", auth).load().show() 操作结果 通过SQL API 访问 创建DLI关联跨源访问 Redis的关联表。 sparkSession.sql( "CREATE TEMPORARY VIEW person
执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark.sql.shuffle.partitions参数提高并行度 用户可在JDBC中通过set方式设置dli.sql.shuffle
配置DLI对接AOM Prometheus监控 AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。它支持多种类型的组件监控，提供预置监控大盘和全面托管的Prometheus服务，通过Prometheus监控来统一采集、存储和显示监控
*”日志，搜索“Full GC”关键字，查看日志中是否有时间连续，并且频繁出现“Full GC”的日志信息。 图5 Full GC日志 FullGC问题原因定位和解决： 原因1 小文件过多：当一个表中的小文件过多时，可能会造成Driver内存FullGC。 登录DLI控制台，选择SQL编辑器，在SQL编辑器页面选择问题作业的队列和数据库。
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下： 域名的限制长度为1到255的字符串，并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母，例如.com，.net，.cn等。 测试时域名后可选择添加端口，用":"隔开，端口最大限制为5位，端口范围：0~65535。
FileNotFoundException: getFileStatus on error message 该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件，重用之前的表元数据信息，能够检测到表的字段的增加或者减少，主要用于表中元数据未修改，表的数据修改的场景。
队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为：IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
was restricted. Restricted for no budget. 该提示信息说明您可能因账户欠费获余额不足导致操作受限。 解决方案： 检查账户状态。 请先确认是否欠费，如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误，请退出账号后重新登录。 父主题：
是否支持IPv6：如果创建增强型跨源连接时您选择的子网是开启IPv6的，则您创建的增强型跨源连接也是支持IPv6的。 主机信息：访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题： 管理增强型跨源连接
2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ java.lang.IllegalArgumentException: offset (0) + length (8) exceed
当前线上购物无疑是最火热的购物方式，而电商平台则又可以以多种方式接入，例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标，从而能在显示大屏上实时展示相关数据，方便及时了解数据变化，有针对性地
Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Superset与Kyuubi对接，用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程，提供了数据的统一管理和分析能力，使得用户能够更深入地洞察数据。
标准的SQL接口来访问和分析数据。 将Power BI与Kyuubi对接，通过Kyuubi访问DLI进行数据查询和分析，简化了数据访问流程，提供了数据的统一管理和分析能力，从而获得更深入的数据洞察。 本节操作介绍PowerBI基于Kyuubi连接DLI，以访问和分析DLI中的数据的操作步骤。
Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Tableau与Kyuubi对接，用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程，提供了数据的统一管理和分析能力，使得用户能够更深入地洞察数据。
主机：安装Kyuubi主机IP地址。 端口：访问Kyuubi主机的端口。端口默认10009 认证方式：本例选择密码认证方式。 用户名：Kyuubi数据库的访问凭证，Kyuubi用户名。 密码：Kyuubi数据库的访问凭证，Kyuubi访问密码。 数据连接URL： Hive 0.11
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
