• 流量分析系统---启动流程


    killall -9 java

    zookeeper:

    每台机子都要执行
    #启动
    zkServer.sh start
    #查看状态
    zkServer.sh status
    #停止
    zkServer.sh stop

    kafka

    每台机子都要执行
    #启动 nohup kafka-server-start.sh /export/servers/kafka/config/server.properties & #停止 kafka-server-stop.sh

     创建一个topic(如果直接创建过,可以跳过) 
    kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 4 --topic myOrderTest
    在mini1启动kafka consumer窗口
    kafka-console-consumer.sh --zookeeper mini1:2181 --from-beginning --topic myOrderTest
     

    flume

    #在mini1启动flume客户端
     ./bin/flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console

    storm

    1、master中启动nimbus和ui:(mini1)
    nohup storm nimbus &
    nohup storm ui &
    2、supervis机器上启动:(mini2mini3)
    nohup storm supervisor &
    3、列出正在运行的拓扑及其状态。语法如下
    storm list
    4、杀死名为topology-name的拓扑。语法如下:
    storm kill topology-name [-w wait-time-secs] 

    storm jar 20180111.jar logMonitor.LogMonitorTopologyMain kafka4storm(这是storm topology的名字,可以任意起名。作为main方法的arg[0]参数)
    java -jar 0309_OK_app.jar (运行转储程序)
    提前准备:
      1、将storm程序用maven打包导出
      2、将app程序(每隔一分钟转储数据到mysql)导出为runnable包
      3、将web程序导出为war包,部署到tomcat
    最新
    storm jar mini2_MyLogMonitor-1.0-SNAPSHOT-jar-with-dependencies.jar logMonitor.LogMonitorTopologyMain kafka4storm
    java -jar mini2_app.jar

    redis

    #启动
    service redis start  
    #启动redis客户端
    redis-cli #关闭 service redis stop

    #查看所有key
    keys *
    #删除当前选择的数据库中的key
    flushdb
     

    遇到问题:执行命令service redis star

    /var/redis/run/redis_6379.pid exists, process is already running or crashed

    引起这类问题一般都是强制关掉电源或断电造成的,也是没等linux正常关机

    解决方法:可用安装文件启动  执行 redis-server /etc/redis/redis.conf

    
    

     mysql

    启动
    service mysql start
    mysql -u root -proot
    use database
    delete from 表名;删除表中的数据
    停止 service mysql stop

    存在的问题及解决方案:
    -------------------------------------------------------------------------------------------------------
    数据库连接:

    1、jedis 与 mysql 的连接都要写192.168.223.201 而不是127.0.0.1

    
    

    2、storm连接mysql数据库报异常

    
    

    连接远程mysql数据库时报如下错误:

    
    
    1
    message from server:"Host FILTER" is not allowed to connect to this MySQL server
    
    

    问题分析:可能是没有给其IP访问Mysql数据库权限导致

    
    

    问题解决:登录mysql数据库,执行如下命令:

    
    
    1
    grant all on *.* to root@'%' identified by "123456";
    
    

    此操作是给任意IP地址赋予访问权限(命令中*.*是通配任何IP,可指定IP 用户名:root 密码:123456)


    ------------------------------------------------------------------------------------------------------------
    关于mysql数据库编码格式
    1、创建数据库命令: CREATE DATABASE `test2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
    2、 以下内容是把mysql数据库的格式改成utf8
     

    Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的,

    
    

    至于为什么没有这个文件而MySQL却也能正常启动和作用,在点有两个说法,

    
    

    第一种说法,my.cnf只是MySQL启动时的一个参数文件,可以没有它,这时MySQL会用内置的默认参数启动,

    
    

    第二种说法,MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件,这种说法仅限于rpm包安装的MySQL,

    解决方法,只需要复制一个/usr/share/mysql目录下的.cnf文件到/etc目录,并改名为my.cnf即可
    [root@mini1 etc]# cp /usr/share/mysql/my-medium.cnf /etc/my.cnf
    [root@mini1 etc]# vi /etc/my.cnf
      1. [client]  
      2. default-character-set=utf8  
      3.   
      4. [mysql]  
      5. default-character-set=utf8  
      6.   
      7.   
      8. [mysqld]  
      9. collation-server = utf8_unicode_ci  
      10. init-connect='SET NAMES utf8'  
      11. character-set-server = utf8 

    报错:The server quit without updating PID file(无法正常登陆)
    解决方法:用命令“ps -ef|grep mysqld”查看是否有mysqld进程,如果有使用“kill -9  进程号”杀死,然后重新启动mysqld!
    -------------------------------------------------------------------------------------------
    导入导出.sql文件

    一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):
    1、导出数据和表结构:
    mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
    #/usr/local/mysql/bin/   mysqldump -uroot -p abc > abc.sql
    敲回车后会提示输入密码

    
    

    2、只导出表结构
    mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
    #/usr/local/mysql/bin/   mysqldump -uroot -p -d abc > abc.sql

    
    

    注:/usr/local/mysql/bin/  --->  mysql的data目录

    二、导入数据库
    1、首先建空数据库
    mysql>create database abc;

    2、导入数据库
    方法一:
    (1)选择数据库
    mysql>use abc;
    (2)设置数据库编码
    mysql>set names utf8;
    (3)导入数据(注意sql文件的路径)
    mysql>source /home/abc/abc.sql;
    方法二:
    mysql -u用户名 -p密码 数据库名 < 数据库名.sql
    #mysql -uabc_f -p abc < abc.sq
  • 相关阅读:
    SQL SERVER中DBLINK的实现
    如何在 Amazon AWS 上设置一台 Linux 服务器
    如何在 Amazon AWS 上设置一台 Linux 服务器
    django 后台数据直接交给页面
    django locals()
    让MySQL支持Emoji表情 mysql 5.6
    MySQL数据技术嘉年华,带你深入MySQL的世界
    Python爬虫入门教程 17-100 CSDN博客抓取数据
    JAVA生成图片缩略图、JAVA截取图片局部内容
    Python爬虫入门教程 16-100 500px摄影师社区抓取摄影师数据
  • 原文地址:https://www.cnblogs.com/SuMeng/p/8241214.html
Copyright © 2020-2023  润新知