检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已执行打包Storm业务步骤，打出source.jar。 操作步骤 安全模式下，请先进行安全认证。 初始化客户端环境变量。 进入客户端安装目录“/opt/Storm_client”执行以下命令，导入环境变量信息。 source bigdata_env 使用在“准备开发用户”章节创建的开发用户进行安全登录。
远端存储上的导出路径。 CreateTime/StartTime/FinishTime： 作业的创建时间、开始调度时间和结束时间。 Timeout 作业超时时间，单位是秒，该时间从CreateTime开始计算。 ErrorMsg 如果作业出现错误，ErrorMsg会显示错误原因。
JavaPairRDD：表示key-value形式的JavaRDD类。提供的方法有groupByKey，reduceByKey等。 Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份拷贝。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY）
例如指定执行引擎为MapReduce： 参数：--hiveconf 值："hive.execution.engine=mr" --hivevar 设置用户的自定义变量。 例如设置变量ID： 参数：--hivevar id 值："123" select * from test where id = ${hivevar:id};
ht Manager，修改该用户初始密码。 登录安装了MySQL客户端的节点，使用新创建的用户及修改后的密码连接Doris服务。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -udorisuser -p -PFE查询连接端口 -hDoris
Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive.allow.show.create.table.in.select.nogrant”，“值”为“true
0及之后版本。 使用约束 自定义分隔符不能为空字符串。 自定义分隔符长度必须小于等于16个字符。 自定义分隔符过长会影响解析效率，降低数据导入速度，且会导致有效数据占比率降低，使得文件占用过大，因此不建议使用过长的分隔符。 自定义分隔符必须为可见字符。 自定义分隔符白名单，避免可能的
API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 Impala on Kudu 登录安装客户端的节点。 执行如下命令初始化环境变量。 source
对于开启了Kerberos认证的集群，已创建具有Hive操作权限的用户。 配置Hive SQL防御使用约束 防御规则默认动态生效时间为5秒，修改队列后Hive防御规则重新加载时间为10分钟。 拦截和熔断规则会中断SQL任务，请根据实际业务配置合理的值。 动态规则dynamic_0001（SQL
JavaPairRDD：表示key-value形式的JavaRDD类。提供的方法有groupByKey，reduceByKey等。 Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY）
表示导入任务的超时时间，默认超时时间为600秒，单位为秒。 若导入任务在设定的时间内未完成则会被系统取消，状态变为“CANCELLED”。默认超时时间为600秒，如果导入的源文件无法在规定时间内完成导入，可以在Stream Load请求中设置单独的超时时间，或调整“stream
'obs目录'; 创建MRS Doris集群，并在Doris集群安装MySQL客户端、创建拥有Doris权限的用户、创建Doris数据库。 创建MRS Doris集群，详细操作请参考自定义购买MRS集群。其中： 集群名称：自定义，例如“mrs_doris” 版本类型：LTS版 集群版本：MRS
API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 Impala on Kudu 登录安装客户端的节点。 执行如下命令初始化环境变量。 source
JavaPairRDD：表示key-value形式的JavaRDD类。提供的方法有groupByKey，reduceByKey等。 Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY）
JavaPairRDD：表示key-value形式的JavaRDD类。提供的方法有groupByKey，reduceByKey等。 Broadcast：广播变量类。广播变量允许保留一个只读的变量，缓存在每一台机器上，而非每个任务保存一份复制。 StorageLevel：数据存储级别。有内存（MEMORY_ONLY）
场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下要求： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。 log1
场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下要求： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“,”。 log1
TABLE tbl2 [PROPERTIES('swap' = 'true')]; 对于部分查询，可能执行时间比较长，查询比较耗费内存和CPU等资源，需要在SQL或user级别设置查询超时时间参数：query_timeout Doris数据变更建议 执行特殊的大SQL操作时，可以使用类似SELECT
kHouse仍存在该表数据。 MySQL数据库需要开启MySQL的bin log功能（默认情况下是开启的）和GTID功能，CDL不支持抓取表名包含“$”或者中文等特殊字符的表。 查看MySQL是否开启bin log： 使用工具或者命令行连接MySQL数据库（本示例使用Navicat工具连接），执行show
并与ClickHouse业务用户关联，具体请参见添加MRS租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 ClickHouse相关规则配置后，需要重新登录客户端生效。 配置ClickHouse
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
