检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。
完成服务的开通、删除、配置操作,并将用户信息同步到数据面。 完成数据面资源的申请与自动部署。 服务数据面 接收用户发送数据的请求,对已鉴权的数据接收并存储。 接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object Storage
单击需要查看的通道名称。进入所选通道的管理页面。 单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。
app not found. 指定的APP不存在 请检查指定的APP名称是否正确 400 DIS.4335 Invalid IAM agency. 创建转储任务时,使用的IAM委托无效 检查DIS创建的dis_admin_agency或用户自定义的IAM委托是否存在,权限是否完整。
因数据转储成功后,存储的目录结构取决于源数据的时间戳和时间目录格式定义的年月日层级。本示例中,时间目录格式精确到日,所以数据最终存储目录结构为“桶名称/转储文件目录/2010/10/12”。 源数据时间戳 时间戳的属性名。 说明: 请输入您待上传的源数据中定义的时间戳对应的字段名称。 时间戳的格式,从下拉框中选择。
授权管理 通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授
Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
Insight,简称DLI)中,需要通过创建IAM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
面查看通道关联的企业项目。用户只能查询到有访问权限的项目下的通道资源。 在通道管理页面的列表中,查看通道所属的企业项目。 图1 查看企业项目 在通道列表中,单击通道名称,进入通道“基本信息”页面,可以查看与通道关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。
项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
GMT+08:00 状态 日志转储的状态。 已完成 失败 异常 读取记录数 从通道内读取的用户记录数。 写入记录数 写入目标服务(如MRS)的记录数,例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文
data_type 否 String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB
在“SMN主题”下拉框中,选择合适的消息通知主题。 用户可以根据需要,通过以下操作新建消息通知主题。 单击“去创建SMN主题”,系统将跳转到消息通知服务的“主题”页面,用户可通过单击页面右上方的“创建主题”来新建主题,具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行,单击“更多
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 正常返回 错误码 请参见错误码。 父主题: 标签管理
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 正常返回 错误码 请参见错误码。 父主题: 标签管理
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建,参见图2。 创建通道时,关闭“Schema开关”。待通道创建成功后,选择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“转储任务”页签