检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
授权管理 通过添加授权策略，可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称，进入所选通道的管理页面。 选择“授权管理”，单击“添加授权策略”， 选择授
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串，用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程，则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。
进入App管理页面，单击“创建App”，输入对应的名称，完成创建。 查看App 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看的通道名称，进入所选通道的管理页面。 单击“Apps”，可查看到接入该通道的所有App。 可查看接入该通道的App名称，ID和创建时间。
timed out 可能原因：服务器连接DIS网关超时。 处理方法：检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件，日志中会输出类似如下日志，表示解析了[N1行(B1字节数)/N2文件(B2字节数)]，成功上传了[N3行/N4文件]。
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.
Lake Insight，简称DLI），具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器，存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X
Key的记录会分配到同一个分区。此配置项可设置每条记录的PartitionKey值，取值如下： RANDOM_INT：PartitionKey的值为随机数字的字符串，记录均匀分布在每个分区。 FILE_NAME：PartitionKey的值为文件名称字符串，记录分布在特定的一个分区中。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 使用标签过滤资源（通道等）请求体。 错误码 请参见错误码。
息头中。 IAM获取token的API DIS创建通道的API 前提条件 您需要规划数据接入服务所在的区域信息，并根据区域确定调用API的Endpoint。 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。
存储该通道数据的HBase表数据的列族名称。 column_name 是 String 存储该通道数据的HBase表数据的列名称。 取值范围：1～32，只能包含英文字母、数字和下划线。 value 是 String 通道内JSON数据的JSON属性名，用于生成HBase数据的列值。 type
mrs_cluster_id 是 String 存储该通道数据的MRS集群ID。 mrs_hdfs_path 是 String 存储该通道数据的MRS集群的HDFS路径。 file_prefix 否 String 临时存储该通道数据的OBS桶下的自定义目录，多级目录可用“/”进行分隔，不可以“/”开头。
获取项目ID和账号ID 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、
用户数据的字段分隔符，根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围：“，”、“；”和“|”三种字符中的一个。 user_name 是 String 存储该通道数据的DWS数据库的用户名。 user_password 是 String 存储该通道数据的DWS数据库的密码。 kms_user_key_name
需要添加授权策略的通道名称。 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数
获取项目ID和账号ID 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、
起多个pipeline或者多个Logstash实例消费时，需要配置不同的值。比如实例1的值为client1，实例2的值为client2。 logstash endpoint 是 DIS对应Region的数据接口地址。 https://dis.cn-north-1.myhuaweicloud.com group_id
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下：
择“通道管理”页签，单击已创建的通道名称，进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建，参见图2。 创建通道时，关闭“Schema开关”。待通道创建成功后，选择“通道管理”页签，单击已创建的通道名称，进入所选通道的管理页面。选择“转储任务”页签
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
