检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"error_code": "AS.0001" } 其中,error_code表示错误码,error_msg表示错误描述信息。 父主题: 如何调用API
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/S
Flink作业 DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。
null错误 Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 Flink Opensource SQL如何解析复杂嵌套 JSON? Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? Flink
如何申请扩大配额 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。 图1 我的配额 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
SQL作业相关问题 如何理解DLI分区表的列赋权? 如何避免字符码不一致导致的乱码? OBS表压缩率较高 更多 跨源连接相关问题 Flink作业如何进行性能调优? 更多 Spark作业相关问题 如何查看DLI Spark作业的实际资源使用情况 Spark队列操作OBS表如何设置AK/SK?
显示访问目录异常 Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。
索来分析用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。 流程指导 使用DLI进行电商数据分析的操作过程主要包括以下步骤: 步骤1:上传数据。将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 步骤2:分析数据。使用DLI对待分析的数据进行查询。
作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DLI服务时,如果触发了监控列表中的关键操作,那
如何合并小文件 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL: INSERT OVERWRITE TABLE tablename select
如何获取项目ID? 项目ID是系统所在区域的ID。用户在调用API接口进行云资源管理(如创建集群)时,需要提供项目ID。 查看项目ID步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在“我的凭证”页面的项目列表中查看项目ID。
如何获取AK/SK? 访问密钥即AK/SK(Access Key ID/Secret Access Key),表示一组密钥对,用于验证调用API发起请求的访问者身份,与密码的功能相似。用户通过调用API接口进行云资源管理(如创建集群)时,需要使用成对的AK/SK进行加密签名,确保
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况? 怎样判断当前DLI队列中的作业是否有积压? 怎样查看DLI队列负载? 怎样监控DLI队列上的作业异常? 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败,提示超时异常怎么办?
准备一个linux弹性云服务器ECS,用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。
数据。Flink作业可通过DIS的source源将数据从生产者快速移出,进行持续处理,适用于将云服务外数据导入云服务后进行过滤、实时分析、监控报告和转储等场景。 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管
count函数如何进行聚合 使用count函数进行聚合的正确用法如下: SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' Group BY http_method
jars 否 Array of Strings 用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 pyFiles 否 Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系