检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从DLI导入数据到OBS，数据量不一致怎么办？ 问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。
option("driver", driver) \ .load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI跨源访问rds的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表，执行insert overwrite语句向RDS写入数据报错：DLI.0999: B
配置SQL防御规则 什么是SQL防御 大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。
SparkSession.builder().appName("datasource-css").getOrCreate(); 通过SQL API访问 创建DLI跨源访问 CSS关联表。 sparkSession.sql("create table css_table(id long, name string)
时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 是，执行3。 否，执行2购买“SQL队列”类型的队列。 选择“资源管理 > 弹性资源池”，选
builder().appName("datasource-dws").getOrCreate(); 通过SQL API 访问数据源 创建DLI跨源访问DWS的关联表，填写连接参数。 1 sparkSession.sql("CREATE TABLE IF NOT EXISTS dli_to_dws
通过DataFrame API 访问 连接配置 1 2 resource = "/mytest" nodes = "to-css-1174404953-hDTx3UPK.datasource.com:9200" resource为指定在CSS关联的资源名。格式可以用"/index/
SparkSession.builder().appName("datasource-rds").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问RDS的关联表，填写连接参数。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF
builder().appName("datasource-opentsdb").getOrCreate(); 通过SQL API 访问 创建DLI跨源访问MRS OpenTSDB的关联表，填写连接参数。 1 sparkSession.sql("create table opentsdb_new_test
sys.datasource.dli-inner-table 资源包 运行spark作业依赖的jar包。 表4 计算资源规格参数说明 参数名称 参数描述 资源规格 下拉选择所需的资源规格。系统提供3种资源规格供您选择。 资源规格包含以下参数： Executor内存 Executor CPU核数
说明 host OpenTSDB连接地址。 访问CloudTable OpenTSDB，填写OpenTSDB链接地址，具体可以登录CloudTable控制台，单击“集群模式 > 集群名称”，在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连
failure错误怎么办？ 跨源访问MRS HBase，连接超时，日志未打印错误怎么办？ DLI跨源连接报错找不到子网怎么办？ 跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 创建RDS跨源表提示空指针错误怎么办？ 对跨源DWS表执行insert
option("driver", driver) \ .load() jdbcDF.show() 操作结果 通过SQL API 访问数据源 创建DLI跨源访问 dws 的关联表。 1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 通过SQL API访问MRS的OpenTSDB # _*_ coding:
appName("datasource-HBase-MRS").getOrCreate(); 通过SQL API 访问 未开启Kerberos认证 创建DLI跨源访问MRS HBase的关联表，填写连接参数。 1 sparkSession.sql("CREATE TABLE testhbase(id
SparkSession.builder().appName("datasource-mongo").getOrCreate() 通过SQL API访问 创建DLI跨源访问 mongo的关联表 sparkSession.sql( "create table test_dds(id string,
SQLContext sqlContext = new SQLContext(javaSparkContext); 通过DataFrame API 访问 读取json数据为DataFrame 1 2 3 4 JavaRDD<String> javaRDD = javaSparkContext
option("collection",collection)\ .load() jdbcDF.show() 操作结果 通过SQL API 访问 创建DLI关联跨源访问 Mongo的关联表。 sparkSession.sql( "create table test_dds(id string
获取ZK连接地址需要先创建跨源连接。具体操作请参考《数据湖探索用户指南》。 访问CloudTable集群，填写ZK连接地址（内网）。 访问MRS集群，填写ZK所在节点IP与ZK对外端口，格式为："ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。 说明： 访问MRS集群，只支持创建增强型跨源连接并且
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
