检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Spark Streaming依赖 项目中可通过以下配置引入DIS Spark Streaming依赖：
2019-05-07 第十七次正式发布： 查询通道列表SDK增加分页功能说明，修改查询通道列表。 2019-04-16 第十六次正式发布： 查询通道列表SDK增加响应参数说明，修改查询通道列表。 2019-03-18 第十五次正式发布： 新增如下内容： 添加转储任务~~查询转储详情 初始化DIS客户端
Flink Connector的相关环境 准备DIS应用开发环境 参考步骤1：开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector依赖：
除。 查看企业项目 通道创建成功后，您可以在通道列表和通道基本信息页面查看通道关联的企业项目。用户只能查询到有访问权限的项目下的通道资源。 在通道管理页面的列表中，查看通道所属的企业项目。 图1 查看企业项目 在通道列表中，单击通道名称，进入通道“基本信息”页面，可以查看与通道关
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域，设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅，表示关闭事件订阅，默认为
管理源数据Schema 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口：
统一身份认证服务为DIS提供了用户鉴权功能。 云审计服务（Cloud Trace Service，简称CTS） 云审计服务记录DIS相关的操作事件，方便用户日后的查询、审计和回溯。CTS的更多信息，请参见《云审计服务用户指南》。
登录管理控制台。 选择“管理与监管 > 云监控服务 CES”。 在云监控服务的左侧导航树栏，选择“告警 > 告警规则”，在页面右侧单击“创建告警规则”。 根据界面提示设置DIS通道的告警规则，当前仅支持“自定义创建”。 设置完成后，单击“立即创建”。当符合规则的告警产生时，系统会自动进行通知。
据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量
踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。 云服务实现了在多地域部署基础设施，具备高度的可扩展性和可靠性，用户可根据自身需要指定地域使用DIS服务，由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无
据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量
约束与限制 您能创建的通道和实例的数量与配额有关系，如果您想查看服务配额、扩大配额，具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题： 使用前必读
据大小） - 分区数量 分区是DIS数据通道的基本吞吐量单位。 5 分区计算 用户可以根据实际需求通过系统计算得到一个建议的分区数量值。 单击“分区计算”，弹出“计算所需分区数量”对话框。 根据实际需求填写“平均记录大小”、“最大写入记录数”和“消费程序数量”，“预估所需分区数量
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
接收用户发送数据的请求，对已鉴权的数据接收并存储。 接收用户获取数据的请求，在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置，将用户数据存储到对象存储服务（Object Storage Service，简称OBS）、MapReduce服务（MapReduce
获取提交的结果，可以添加回调方法OffsetCommitCallback，当提交偏移量完成后会自动调用其onComplete()方法，以便根据回调结果执行不同的逻辑处理； commitSync()是同步提交，会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分
配置此项必须已配置“DLI 数据库”。 偏移量 最新：最大偏移量，即获取最新的有效数据。 最早：最小偏移量，即读取最早的有效数据。 最新 数据转储周期 根据用户配置的时间，周期性的将数据导入目的地（OBS，MRS，DLI，DWS），若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
