检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1”,可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下: 通过OBS下载数据文件。 通过文本编辑器打开数据文件,发现数据量缺失。
队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
操作请参考方法一:通过Maven安装DLI SDK依赖。 在集成开发环境中导入JAR文件,适用于使用Eclipse作为集成开发环境的项目。具体操作请参考方法二:通过在Eclipse中导入JAR文件安装SDK。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面,单击选
导出数据(废弃) 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾,即,若桶名包含“.”, 则最后一个“
”和“短息验证码”。 单击“确定”,下载证书。 下载成功后,在credentials文件中即可获取AK和SK信息。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 获取Token 当您使用Token
Keytab的地址。 'principal' ='krbtest' 认证用户名。 krb5.conf和keytab文件获取请具体参考开启Kerberos认证时的相关配置文件操作说明。 插入数据 1 sparkSession.sql("insert into testhbase values('95274'
OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。
properties.bootstrap.servers 是 无 string Kafka Broker地址。格式为:host:port,host:port,host:port,以英文逗号(,)分隔。 format 是 无 string Flink Kafka Connector在序列化
'connector' = 'mysql-cdc', 'hostname' = '192.168.12.148',--IP替换为RDS MySQL的实例IP 'port' = '3306',--端口替换为RDS MySQL的实例端口 'pwd_auth_name'= 'xxxxx'
OPENTSDB OPTIONS ( 'host' = 'xx;xx', 'metric' = 'METRIC_NAME', 'tags' = 'TAG1,TAG2'); 关键字 表1 CREATE TABLE关键字描述 参数 描述 host OpenTSDB连接地址。 获取
新增访问密钥”,如图5所示。 图5 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明:
SHOW_LOG_FILE 命令功能 查看log文件的meta和record信息。 命令格式 查看meta: call show_logfile_metadata(table => '[table]', log_file_path_pattern => '[log_file_path_pattern]'
定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 通过DataFrame API 访问 import相关依赖 from __future__
功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hi
kind:资源包类型,当前支持的包类型分别为: jar:用户jar文件 pyfile:用户Python文件 file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。
允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。
按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。 进入对应日期的文件夹后,找到名字中包含“taskmanager”的文件夹进入,下载获取taskmanager
列的类型和列名不一定要相同。INTERSECT默认去重。 注意事项 不能在多个集合运算间(UNION,INTERSECT,EXCEPT)加括号,否则会出错 示例 返回“SELECT * FROM student _1”查询结果与“SELECT * FROM student _2”查询结果的交集,不包含重复记录。
和性能综合考虑是否开启。 证书文件还需要在作业配置页面的“其他依赖文件”中完成配置。 OBS路径/opt/flink/usrlib/userData/为默认存储依赖文件路径。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表2 Flink作业传输通信加密配置参数
SQL表达式中,支持简单的字符表达式,也支持Unicode方式,一个Unicode字符串是以U&为固定前缀,以4位数值表示的Unicode前需要加转义符。 -- 字符表达式 select 'hello,winter!'; _col0 ------------------