-
Ranger 集成Hive使用
前言使用Ranger&Hive集成中,出现一些设置上的错误,记录于此.问题执行在hiveserver 命令行 set xxx报错如下 org.apache.hive.service.cli.HiveSQLException: Error while processing statement: Cannot modify ..** at runtime. It is not in list of params that are allowed to be modified at ...…
-
Hadoop3.2.1 编译(支持所有native库)
前言Hadoop3新特性,支持纠删码容错处理,支持节点内部磁盘平衡数据,以及多个standyby节点支持.单个集群最大规模可达1W节点.以下记录编译Hadoop3.2.1过程下载安装相关依赖下载Hadoop3.2.1源码 wget https://github.com/apache/hadoop/archive/branch-3.2.1.zip下载JDK&安装JDK将java.sh放到/etc/profile.d目录下 java.sh的网盘地址: https://pan.bai...…
-
Docker 常用操作
前言Docker作为容器技术,以其秒级启动,资源占用小等优点,在2014年开始在国内流行,逐渐被越来越多的公司认可。如下为工作中记录的常用命令,用作备忘。常用的应用启动启动mongodb容器 docker run -di –name=mongo -p 27017:27017 docker.io/mongo 启动rabbitMQ容器 docker run -di –name=rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 ...…
-
GitLab 迁移
前言GitLab由于某些原因,公司运维部要求迁移本部门的gitlab所有的代码。迁移gitlab涉及到所有的提交记录。拉取执行克隆命令 git clone –bare git@192.168.6.161:bit_data/weather_city.git cd weather_city 上传执行上传命令 git push –mirror git@192.168.1.20:datagroup/bit_data/weather_city.git cd .. ...…
