大数据

1、按表导出文件

mysqldump -uroot -p'xxx'  beta beta_file_msg_logs_2023_12  > /backup/db-mir/beta_file_msg_logs_2023_12.sql &
mysqldump -uroot -p'xxx'  beta beta_obs_file_scan_hunter_2023_12  > /backup/db-mir/beta_obs_file_scan_hunter_2023_12.sql &
mysqldump -uroot -xxx'  beta beta_obs_file_scan_zlg_2023_12  > /backup/db-mir/beta_obs_file_scan_zlg_2023_12.sql &
2、多进程导入文件

mysql  -h 127.0.0.1 -P 6446 -uroot -p'xxx'  beta   < /backup/db-mir/beta_file_msg_logs_2023_12.sql &
mysql  -h 127.0.0.1 -P 6446 -uroot -p'xxx'  beta   < /backup/db-mir/beta_obs_file_scan_hunter_2023_12.sql &
mysql  -h 127.0.0.1 -P 6446 -uroot -p'xxx'  beta   < /backup/db-mir/beta_obs_file_scan_zlg_2023_12.sql &

该方法不依赖三方组件，多并发处理可以提高速度。

1、前期预迁移hdfs文件：hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

2、停止hive服务，增量迁移hadoop distcp -pugpt -update -skipcrccheck  -m 24 /user/hive hdfs://A300.corem.local:8020/user/hive

3、Mysql导出元数据表：mysqldump -hlocalhost -uhive -p --databases hive > hive_bk.sql

4、替换hive_bk.sql文件中间的路径关键字：sed -i 's/master-1/A300.corem.local/g' hive_bk.sql

5、在Mysql里成导入hive_bk.sql：

mysql -hlocalhost -uhive –p

mysql> source hive_bk.sql

6、启动hive服务，检查状态，通过show database,select等检查表状态。

       Hbase中有配置文件。（只有HBase2.x版本需要修改）搜索hbase.wal.provider参数，如果不存在这个字段，需要添加该参数到“hbase-site.xml 的 Hbase 服务高级配置代码段（安全阀）”，参数值为单个 HDFS WAL

然后再重启。原因是wal在新、旧HDFS搜索。文件冲突导致

对hst服务进行重置
hst reset //服务器端

hst reset-agent //客户端
hst setup-agent -q //客户端

    hive 3开始，默认进行安全授权，防止运行时修改参数。把hive配置中hive.security.authorization.enabled关闭后再行测试即可。

1.安装centos7或其它版本。

2.安装以下组件:yum install -y wget tar zip unzip yum-utils createrepo httpd

3.下载bigtop repo

cd /ye/etc/yum.repos.d/
wget https://dlcdn.apache.org/bigtop/bigtop-3.2.0/repos/rockylinux-8/bigto
op.repo

4.reposync同步到本地

reposync --gpgcheck -1 --repoid=bigtop --download_path=/var/www/html

5.创建repo

cd /var/www/html/bigtop
createrepo .

6.生成repo文件

cat << EOF > /var/www/html/bigtop/bigtop.repo
[bigtop]
name=bigtop
baseurl=http://master-1/bigtop
enabled=1
gpgcheck=0
EOF

7.在其它节点下载

wget -P /etc/yum.repos.d/ http://master-1/bigtop/bigtop.repo

hdp 3.1.5默认集成kafka2，客户需要安装kafka3

安装如下：

cd /opt
wget http://vpn.coremtech.com:20080/kafka3/kafka_2.12-3.0.0.tgz
wget http://vpn.coremtech.com:20080/kafka3/server.properties
wget http://vpn.coremtech.com:20080/kafka3/start.txt
tar zxvf kafka_2.12-3.0.0.tgz
cp server.properties kafka_2.12-3.0.0/config/
vi kafka_2.12-3.0.0/config/server.properties
# change id
mkdir /data-a/kafka3-logs
/opt/kafka_2.12-3.0.0/bin/kafka-server-start.sh  -daemon /opt/kafka_2.12-3.0.0/config/server.properties

cd /opt
wget http://vpn.coremtech.com:20080/apache-flume-1.11.0-bin.tar.gz
tar zxvf apache-flume-1.11.0-bin.tar.gz
mv ./apache-flume-1.11.0-bin ./flume
echo "export FLUME_HOME=/opt/flume" >> /etc/profile
echo "export PATH=\$PATH:\$FLUME_HOME/bin" >> /etc/profile
source /etc/profile
cd /opt/flume/conf
cp flume-env.sh.template flume-env.sh
"change java_home
flume-ng agent --conf /opt/flume/conf/
 

进入hbase/bin目录

cp hbase.distro hbase.distro-bak //先备份原有文件

vi hbase.distro

切到182行，在add_to_cp_if_exists “${HBASE_HOME}/hbase-server/target” 这里下面加上两行

        # Needed for GetJavaProperty check below
    add_to_cp_if_exists "${HBASE_HOME}/hbase-server/target/classes"

把下面大概186，187行的

    #add the hbase jars for each module
    for f in $HBASE_HOME/hbase-jars/hbase*.jar; do
        if [[ $f = *sources.jar ]]
      then
        : # Skip sources.jar
      elif [ -f $f ]
      then
        CLASSPATH=${CLASSPATH}:$f;
      fi
    done
这部分注释掉

切到大概310行左右，在

  if [ -n "${HADOOP_IN_PATH}" ] && [ -f "${HADOOP_IN_PATH}" ]; then

下面加上一段：

  # If built hbase, temporarily add hbase-server*.jar to classpath for GetJavaProperty
  # Exclude hbase-server*-tests.jar
  temporary_cp=
  for f in "${HBASE_HOME}"/lib/hbase-server*.jar; do
    if [[ ! "${f}" =~ ^.*\-tests\.jar$ ]]; then
      temporary_cp=":$f"
    fi
  done

然后把

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH" "${HADOOP_IN_PATH}" \ 
改成

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH${temporary_cp}" "${HADOOP_IN_PATH}" \
即可。

详见附件文件