检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
证,以确保通信的安全性。 用户在开发Oozie应用程序时,某些场景下需要Oozie与Hadoop、Hive等之间进行通信。那么Oozie应用程序中需要写入安全认证代码,确保Oozie程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交Oozie应用程序运行前,在Oozie客户端执行如下命令获得认证。
如果有实现代码,需要开发对应的jar包,例如Java Action;如果是Hive,则需要开发SQL文件。 上传配置文件与jar包(包括依赖的jar包)到HDFS,上传的路径取决于“workflow.xml”中的“oozie.wf.application.path”配置的路径。 提供三种方
使用CarbonData CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考 CarbonData常见问题
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”,为新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如,为用户组“obs_hadoop”添加“obs://OBS并行文件系统名称/hadoop”的“Read”和“Write”权限:
Submitter.java:219) 业务提交拓扑时使用的认证用户为stream,但是在拓扑提交过程中提示submit user是无效用户,表明内部校验失败。 查看提交的拓扑运行Jar,发现包含keytab文件。 查看user.keytab文件,发现principal为zmk_kafka。
“随机值转换”算子,用于配置新增值为随机数的字段。 输入与输出 输入:无 输出:随机值字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出字段名 配置生成随机值的字段名。 string 是 无 长度 配置字段长度。 map 是 无 类型 配置字段的类型,可选值为“VARCH
API订阅安全Topic并消费 使用多线程Producer发送消息 使用多线程Consumer消费消息 使用KafkaStreams统计数据 使用SpringBoot生产消费Kafka集群数据 父主题: Kafka开发指南(安全模式)
通过impala-shell连接不上Impalad的21000端口 问题 使用4.0.0以上的impala-shell客户端连不上Impalad的21000端口。 回答 Impala4.0.0及以上版本,Impala-shell客户端默认使用Hive Server2的21050端口,如果要连接210
使用CarbonData(MRS 3.x及之后版本) CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考
当前HetuEngine仅支持UDF JAR文件存放在“hdfs://资源URI”的HDFS中。 因修改函数或增加函数而导致的重新上传JAR文件,HetuEngine会默认缓存5分钟,不会即时生效,5分钟后才会进行JAR文件的更新和重新加载。 使用HetuEngine UDF 使用客户端访问:
Explorer后,根据实际情况选择Region信息,设置“project_id”为当前Region的项目ID信息、“publicip_id”为1查询到的待解绑EIP的ID。 接口调用成功后,登录EIP管理控制台,在EIP列表中可查看到当前EIP已变为未绑定状态。 登录MRS管理控制台,进入集群概览页面后,可为MRS集群重新绑定其他EIP。
集群管理类 如何查看所有MRS集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消MRS集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?
ThriftServer连接样例程序 通过ThriftServer实例操作HBase表 通过ThriftServer实例向HBase表中写入数据 通过ThriftServer实例读HBase表数据 父主题: 开发HBase应用
PhoenixExample.main()”运行对应的应用程序工程。 若运行报“Message stream modified (41)”的错误,这可能与JDK的版本有关系,可以尝试修改运行样例代码的JDK为8u_242以下版本或删除“krb5.conf”配置文件的“renew_lifetime =
访问Storm的WebUI 操作场景 用户可以通过Storm的WebUI,在图形化界面使用Storm。 Storm的WebUI支持查看以下信息: Storm集群汇总信息 Nimbus汇总信息 拓扑汇总信息 Supervisor汇总信息 Nimbus配置信息 前提条件 获取用户“a
KafkaWordCount)任务时,日志中报Kafka相关的类不存在的错误。KafkaWordCount样例为Spark开源社区提供的。 回答 Spark部署时,如下jar包存放在客户端的“${SPARK_HOME}/jars/streamingClient010”目录以及服务端的“${BIGDATA_HOM
Streaming提交作业后报类找不到错误 Flume客户端安装失败 Flume客户端无法连接服务端 Flume数据写入组件失败 Flume服务端进程故障 Flume数据采集慢 Flume启动失败
YARN资源池的所有节点都被加入黑名单,任务一直处于运行状态 ResourceManager持续主备倒换 当一个NodeManager处于unhealthy的状态10分钟时,新应用程序失败 Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred
任务完成后Container挂载的文件目录未清除 作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常 重启YARN,本地日志不被删除 执行任务时AppAttempts重试次数超过2次还没有运行失败 ResourceManager重启后,应用程序会移回原来的队列 YARN资源池的所有节点都被加入黑名单,任务一直处于运行状态