检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
modules 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在Spark参数(--conf)配置跨源作业的依赖模块。 DLI系统提供的用于执行跨源作业的依赖模块访问各个不同的服务,选择不同的模块: CloudTable/MRS HBase: sys.datasource
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.mongo。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.rds。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)' 配置 spark.driver.
“dli-sdk-python-x.x.x.zip”压缩包,解压后目录结构如下: 表1 目录结构 名称 说明 dli python环境的DLI SDK基础模块。 examples python样例代码。 pyDLI pyHive的实现接口。 setup.py Python SDK安装脚本。 安装DLI
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.dws。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.opentsdb。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.hbase。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
包名。 modules 否 Array of Strings 依赖的系统资源模块名,具体模块名可通过查询组内资源包(废弃)接口查看。 DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase: sys.datasource
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择Spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.css。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 “Spark参数(--conf)”
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.hbase。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择Spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.css。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 “Spark参数(--conf)”
Postgres Connector产生的数据 如果您正在使用Debezium PostgreSQL Connector捕获变更到 Kafka,请确保被监控表的REPLICA IDENTITY 已经被配置成FULL ,默认值是DEFAULT。 否则,Flink SQL将无法正确解析Debezium数据。
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.dws。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.rds。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.hbase。 如果选择Spark版本为3.1.1及以上版本时,无需选择Module模块, 需在 'Spark参数(--conf)'
dbt-core==1.7.9 pip是Python的包管理工具,通常与Python一起安装。 如果尚未安装pip,可以通过Python内置的ensurepip模块安装: python -m ensurepip 安装dli-sdk-python 执行安装命令: python setup.py install
cn-north-4.myhuaweicloud.com”。 resource-path 资源路径,即API访问路径。从具体API的URI模块获取,例如“获取用户Token”API的resource-path为“/v3/auth/tokens”。 query-string 查询参