检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
u、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤: 使用root用户,进入“/opt”目录。 cd /opt 创建目录“jre”。 mkdir
Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。 父主题: 入门
1538018769241, 'state': 'RUNNING', 'create_time': 1537949648144, 'destination_type': 'OBS', 'task_name': 'task_test1'}]} 父主题: 使用SDK(Python)
String 通道的当前状态。 CREATING:创建中 RUNNING:运行中 TERMINATING:删除中 TERMINATED:已删除 枚举值: CREATING RUNNING TERMINATING FROZEN stream_type String 通道类型。 COMMON:普通通道,表示1MB带宽。
value=['LATEST', 30, 'dis_admin_agency',1800]) obs_dump_task =['destination_file_type','obs_bucket_path','file_prefix', 'partition_format','record_delimiter']
日志转储的状态。 已完成 失败 异常 读取记录数 从通道内读取的用户记录数。 写入记录数 写入目标服务(如MRS)的记录数,例如通道内的一条用户记录可能转换为多条记录写入MRS服务的opentsdb。 转储文件名 转储到目标服务的文件名称。 从通道内读取的用户记录会写入文件后,再通过文件的形式转储到目标服务(如OBS、MRS)
String 通道的当前状态。 CREATING:创建中 RUNNING:运行中 TERMINATING:删除中 TERMINATED:已删除 枚举值: CREATING RUNNING TERMINATING FROZEN stream_type String 通道类型。 COMMON:普通通道,表示1MB带宽。
Agent: Shutting down... 等待出现如下提示,则表示停止完成.输入“Y”,单击“回车”键即可正常关闭窗口。 Terminate batch job (Y/N)? 父主题: 使用Agent上传数据
用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口: 创建通道同时开启“Schema开关”,创建源数据Schema,参见图1。
ABNORMAL:异常。 枚举值: ERROR STARTING PAUSED RUNNING DELETE ABNORMAL destination_type String 转储任务类型。 OBS:转储到OBS。 MRS:转储到MRS。 DLI:转储到DLI。 CLOUDTABLE:转储到CloudTable。
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行change
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations. Uptime: 30146ms 若监控目录下没有匹配文件,则执行如下命令生成日志文件。 echo "`date` Hello world
字、中划线和下划线组成。长度为1~64个字符。 - 转储文件格式 text csv parquet carbon 根据需要选择。 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 申请DIS通道创建的桶名称。 转储文件目录 在OBS中存储通
可将相应数据文件交由Linux平台下的OBS读取。 说明: 导入非法字符容错规则如下: (1)对于'\0',容错后转换为空格; (2)对于其他非法字符,容错后转换为问号; (3)若compatible_illegal_chars为true/on标识导入时对于非法字符进行容错处理
用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet格式。 - 源数据类型JSON/CSV==>转储文件格式CarbonData 表3罗列了源数据类型为JSON,CSV,转储
单击“网关和DNS”中“DNS服务器地址”后的“修改”按钮,弹出“修改DNS服务器地址”窗口。 将DNS服务器地址修改为所需的DNS服务器地址,然后单击“确定”,保存DNS服务器地址的修改。 重启弹性云服务器,查看“/etc/resolv.conf”文件的内容,确认其中包含待配置的DNS服务器地址,并且新增
这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 服务器已成功处理了请求。 201 Created 创建类的请求完全成功。 202
SignedHeaders,Signature;} 请求头里的签名信息Authorization字段有误 请检查请求头里的Authorization字段是否包含Credential,SignedHeaders, Signature。 441 DIS.4110 Empty Signature header