检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择待查询的SQL作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“ 下载”,下载SQL作业日志到本地。 图3 下载SQL作业日志 父主题: 使用DLI提交SQL作业
将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。 Microsoft
将该IP配置在/etc/hosts文件中。 图3 在/etc/hosts文件中配置IP地址 步骤2:配置ODBC连接Kyuubi 安装ODBC驱动 根据数据库类型,需要在本地主机上安装相应的ODBC驱动。本例使用Hive数据库类型。 Cloudera Hive ODBC,推荐使用v2.5.12。 Microsoft
cast函数转换 显式转换 转换结果 cast(date as date) 相同DATE值。 cast(timestamp as date) 根据本地时区从TIMESTAMP得出年/月/日,将其作为DATE值返回。 cast(string as date) 如果字符串的形式是“yyyy-
选择待查询的Spark作业,单击操作列的“更多 > 归档日志”。 系统自动跳转至DLI作业桶日志路径下。 选择需要查看的日期,单击操作列的“下载”下载Spark日志到本地。 图3 下载Spark作业日志 父主题: 使用DLI提交Spark作业
大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName :所属区域名称 projectId :项目ID 通过
大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName :所属区域名称 projectId :项目ID 通过
fpp 根据条目数允许的错误率。 用于计算应为布隆过滤器分配多少位以及哈希函数的数量。通常将此值设置得很低(默认值:0.000000001),在磁盘空间上进行权衡以降低误报率。 0.000000001 hoodie.bloom.index.parallelism 索引查找的并行度,其中涉及Spark
返回间隔。 CURRENT_DATE DATE 返回本地时区中的当前 SQL 日期。在流模式下为每条记录进行取值。 但在批处理模式下,它在查询开始时计算一次,并对每一行使用相同的结果。 CURRENT_TIME TIME 返回本地时区的当前 SQL 时间,这是 LOCAL_TIME
7及以上版本。 下载的JDBC驱动包中包含了.bat(Windows)或.sh(Linux/Mac)脚本,这些脚本用于自动化安装JDBC驱动到本地Maven仓库。 您可以根据操作系统运行相应的脚本安装JDBC驱动 Windows:双击.bat文件或在命令行中运行。 Linux/Mac:运行
K链接,即可获取对应的SDK安装包。 表1 目录结构 名称 说明 jars SDK及其依赖的jar包。 maven-install 安装至本地Maven仓库的脚本及对应jar包。 dli-sdk-java.version Java SDK版本说明。 方法一:通过Maven安装DLI
IDEA工具对创建的自定义函数进行调试,则需要在IDEA上勾选:include dependencies with "Provided" scope,否则本地调试运行时会加载不到pom文件中的依赖包。 具体操作以IntelliJ IDEA版本2020.2为例,参考如下: 在IntelliJ ID
表达式的返回类型必须是 TIMESTAMP(3),表示了从 Epoch 以来的经过的时间。 返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出(以保证 watermark 递增)。每条记录的 watermark 生成表达式计算都会由框架完成。 框架会定期发出所生成的最大的
表达式的返回类型必须是 TIMESTAMP(3),表示了从 Epoch 以来的经过的时间。 返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出(以保证 watermark 递增)。每条记录的 watermark 生成表达式计算都会由框架完成。 框架会定期发出所生成的最大的
表达式的返回类型必须是 TIMESTAMP(3),表示了从 Epoch 以来的经过的时间。 返回的 watermark 只有当其不为空且其值大于之前发出的本地 watermark 时才会被发出(以保证 watermark 递增)。每条记录的 watermark 生成表达式计算都会由框架完成。 框架会定期发出所生成的最大的
名”(例如:DLI-demo),创建桶成功后,返回桶列表,单击桶DLI-demo。OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。
仅OBS表支持。 string 列描述 该列的描述。 - 操作 增加列 删除列 说明: 当列数较多时,建议您使用SQL语句创建表,或直接从本地Excel导入列信息。 - 表3 数据位置为OBS的参数说明 参数名称 描述 示例 数据格式 支持以下数据格式。 Parquet:DLI支
sourcePath, String destinationPath) throws IOException { // 从远程存储复制文件到本地的操作 byte[] fileContent = Files.readAllBytes(Paths.get(sourcePath));
IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。 约束与限制 需要在DLI控制台下“全局配置 > 服务授权”开启Tenant Adminstrator(全局服务)。
查询已创建的“testcsvdatasource”表数据。 select * from testcsvdatasource; 图1 查询结果 本地修改原始的OBS表文件“test.csv”,增加一行“Aarn,98,20”数据,重新替换OBS桶目录下的“test.csv”文件。 Jordon