检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
key运行一个亿的模拟数据,数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。 查看executor错误日志。 查看task错误日志。 结论:rowkey过于集中,出现了热点region。 处理步骤 Hbase做预分区。 把rowkey散列化。
FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method 错误用法:将会报错。 SELECT http_method, count(http_method) FROM apigateway
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。
该提示信息说明您可能因账户欠费获余额不足导致操作受限。 解决方案: 检查账户状态。 请先确认是否欠费,如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误,请退出账号后重新登录。 父主题: SQL作业运维类
403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] Spark作业运行大批量数据时上报作业运行超时异常错误 使用Spark作业访问sftp中的文件,作业运行失败,日志显示访问目录异常
"keystore_location": "obs://lan-1/cer/keystore.jks" }] } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API
"keystore_location": "obs://lan-1/cer/keystore.jks" }] } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API(废弃)
ssl", "true") 如果CSS安全集群开启了HTTPS访问,此处需要设置为“true”,并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问,此处需要设置为“false”,则不需要设置后面安全证书、文件地址等参数。 .option("es.net
"is_success": true, "message": "Upload success." } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API(废弃)
"is_success": true, "message": "Upload success." } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 跨源认证相关API
error, please contact technical support." } ] } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 弹性资源池相关API
登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据,请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。
但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的,否则会出错,可以通过IF EXISTS来避免该错误。 示例 删除名为student_view的视图。 1 DROP VIEW student_view; 父主题: 视图
但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的,否则会出错,可以通过IF EXISTS来避免该错误。 示例 删除名为student_view的视图。 1 DROP VIEW student_view; 父主题: 视图相关
{ "total_count": 1000 } 状态码 状态码 描述 200 修改成功。 400 请求错误。 500 内部服务器错误。 错误码 请参见错误码。 父主题: 资源标签相关API
2、TLS1.3进行传输中加密,所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch; date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL; datepart值为NULL时,返回NULL。
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch; date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL; datepart值为NULL时,返回NULL。