检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Operator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“数据接入服务”,进入DIS主界面创建通道,若未提示权限不足,表示“DIS Operator”已生效。
String 授权用户ID。 principal_name String 授权用户名。如果授权给租户下的所有子用户,格式为:domainName.*;如果授权给租户下的指定子用户,则格式为:domainName.userName action_type String 授权操作类型。 putRecords:上传数据。
data_schema 否 String 用于描述用户JSON、CSV格式的源数据结构,采用Avro Schema的语法描述。 csv_properties 否 CSVProperties object CSV 格式数据的相关属性,比如分隔符 delimiter compression_format
'DISFlinkStreamingSourceJavaExample'”。 在打开的配置页面中,“Program arguments”中输入运行参数,格式为 : DIS网关地址 Region名称 AK SK ProjectID 通道名称 起始位置 消费者标识 如在华北-北京1测试,则参数示例为
第七次正式发布。 修改文档结构和名称。 2018-07-10 第六次正式发布。 新增了如下内容: 创建APP 删除APP 查询Checkpoint 变更分区数量 2018-06-12 第五次正式发布。 修改了如下内容: 开通DIS服务 DIS服务端错误码 2018-05-11 第四次正式发布。
(cn-north-1)中设置相关权限,并且该权限仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置权限。访问DIS时,需要先切换至授权区域。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由
数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 父主题: 使用DIS
前往授权。 descriptor.setAgencyName("dis_admin_agency"); // 可选,转储OBS的目标文件格式:默认text,可配置parquet、carbon descriptor.setDestinationFileType(DestinationFileTypeEnum
options”中输入-Dspark.master=local[*],表示用local模式运行spark作业;“Program arguments”中输入运行参数,格式为 : DIS网关地址Region名称AK SK ProjectID 通道名称起始位置Streaming批次时间 如在华北-北京1测试,则参数示例为
com/v3/auth/tokens Content-Type: application/json 请求消息体(可选) 该部分可选。请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-Type对应,传递除请求消息头之外的内容。若请求消息体中的参数支持中文,则中文字符必须为UTF-8编码。
4360 Invalid data schema. 创建通道或更新通道时,传入的data_schema无效 请检查data_schema的格式并重试。 400 DIS.4375 The app does not commit checkpoint 该app没有在通道中提交checkpoint操作
ADVANCED data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。
在CloudTable中创建数据表 用户创建DIS通道,选择将数据转储到CloudTable中,需要创建CloudTable数据表。 采集获得数据是JSON格式,样例如下: {"DeviceID":"4d3a27c13dc21ae056044b818a03dwen002","Mileage":"55378500"
4360 Invalid data schema. 创建通道或更新通道时,传入的data_schema无效 请检查data_schema的格式并重试。 400 DIS.4601 The number of resource tags has reached the maximum