检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用程序可以向应用服务提交任务或者作业。 应用程序在提交任务或者作业前，需要向Kerberos服务申请TGT（Ticket-Granting Ticket），用于建立和Kerberos服务器的安全会话。 Kerberos服务在收到TGT请求后，会解析其中的参数来生成对应的TGT
可能原因 失败原因可在具体日志中查看。 处理步骤 使用具有FlinkServer管理操作权限的用户登录Manager。 选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn页面。 根据告警“定位信息”中的任务名找到失败任务，查找
ClickHouse数据入库规范 规则 写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。 只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。 外部模块保证数据导入的幂等性。 C
服务 > Doris > 实例”，查看任一FE实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 执行以下命令在目标Doris集群中创建JDBC Catalog： 源集群为MySQL服务端，目标MRS Doris集群未启用Kerberos认证（普通模式），则执行以下命令：
别优化，日志调整方式如下： cd 客户端安装目录/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置 log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com
Manager页面，选择“集群 > 服务 > Flink > 配置 > 全部配置”，搜索参数“FLINK_SERVER_GC_OPTS”，在该参数值中添加“ -Dfastjson.parser.safeMode=true”（注意与前参数有空格），如下所示： 例如原参数值为：“xxx”，则修改后的参数值为：“xxx
行，需要输入执行重部署的等待时间，单位为秒。一般在集群中节点数发生变化时进行，以更好利用集群资源。 删除拓扑 单击“Kill”，将当前拓扑删除，需要输入执行操作的等待时间，单位为秒。 采样、停止采样拓扑消息 单击“Debug”，在弹出窗口输入流数据采样消息的数值，单位为百分比，表
调整OBS客户端日志级别优化，日志调整方式如下： cd 客户端安装目录/Yarn/config vi log4j.properties 在文件中添加OBS日志级别配置（应用若使用自带的log4j.properties，添加同样配置即可） log4j.logger.org.apache
该API有助于通过使用远程迭代的多个请求获取子文件和文件夹信息，从而避免在获取大量子文件和文件夹信息时，用户界面变慢。 基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件 在DistributedFileSystem中添加了以下API，以获取具有块位置的Fil
定。 MRS服务支持运维授权的功能，用户在使用MRS集群过程中，发生问题可以在MRS页面发起运维授权，由运维人员帮助用户快速定位问题，用户可以随时收回该授权。同时用户也可以在MRS页面发起日志共享，选择日志范围共享给运维人员，以便运维人员在不接触集群的情况下帮助定位问题。 MRS
该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Java 程序”按钮，将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar name”的值，例如“/user/admin/exa
SpringBoot样例工程的命令行形式运行 在IDEA界面使用Maven执行install。 当输出“BUILD SUCCESS”，表示编译成功，如下图所示。编译成功后将会在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux
Manager页面，具体请参见访问集群Manager。选择“集群 > 服务 > 需要启用Ranger鉴权的服务名称”。 在服务“概览”页面右上角单击“更多”，选择“启用Ranger鉴权”。在弹出的对话框中输入密码，单击“确定”，操作成功后单击“完成”。 如果“启用Ranger鉴权”是灰色，表示已开启Ranger鉴权，如图1所示。
Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。 sparknormal-examples/StructuredStreamingStateScalaExample Spark结构流应用中，跨批
获取每天的监控数据，通过OpenTSDB的put接口将两个组数据点写入数据库中。 对已有的数据使用OpenTSDB的query接口进行数据查询和分析。 功能分解 根据上述的业务场景进行功能开发，需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型
此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨源查询时，只能对简单的filter进行下推，因此造成大量不必要的数据传输，影响SQL引擎性能。针对下推能力进行增强，当前对aggregat
Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时，日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
84:29903”。 在Manager页面，选择“集群 > 服务 > HetuEngine > 实例”，获取HSFabric所有实例的业务IP；在“配置”页签，搜索“gateway.port”，获取HSFabric的端口号。 user 访问HetuServer的用户名，即在集群中创建的“机机”用户的用户名。
opts（调整reduce的栈内存），调整方法如下（以mapreduce.map.java.opts参数为例）。 临时增加map内存（只针对此次beeline生效）： 在beeline中执行如下命令set mapreduce.map.java.opts=-Xss8G;（具体数值请结合实际业务情况进行调整）。 永久增加map内存mapreduce
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
