手把手教你使用Flask搭建ES搜索引擎(实战篇)

#coding:utf-8import osDB_USERNAME = 'root'DB_PASSWORD = None # 如果没有密码的话DB_HOST = '127.0.0.1'DB_PORT = '3306'DB_NAME = 'flask_es'class Config:    SECRET_KEY ="随机字符" # 随机 SECRET_KEY    SQLALCHEMY_COMMIT_ON_TEARDOWN = True # 自动提交    SQLALCHEMY_TRACK_MODIFICATIONS = True # 自动sql    DEBUG = True # debug模式    SQLALCHEMY_DATABASE_URI = 'mysql+pymysql://%s:%s@%s:%s/%s' % (DB_USERNAME, DB_PASSWORD,DB_HOST, DB_PORT, DB_NAME) #数据库URL    MAIL_SERVER = 'smtp.qq.com'    MAIL_POST = 465    MAIL_USERNAME = '3417947630@qq.com'    MAIL_PASSWORD = '邮箱授权码'    FLASK_MAIL_SUBJECT_PREFIX='M_KEPLER'    FLASK_MAIL_SENDER=MAIL_USERNAME # 默认发送人    # MAIL_USE_SSL = True    MAIL_USE_TLS = False    MAIL_DEBUG = False    ENABLE_THREADS=True

# coding=utf-8import osimport loggingimport logging.config as log_confimport datetimeimport coloredlogscoloredlogs.DEFAULT_FIELD_STYLES = {'asctime': {'color': 'green'}, 'hostname': {'color': 'magenta'}, 'levelname': {'color': 'magenta', 'bold': False}, 'name': {'color': 'green'}}log_dir = os.path.dirname(os.path.dirname(__file__)) + '/logs'if not os.path.exists(log_dir):    os.mkdir(log_dir)today = datetime.datetime.now().strftime("%Y-%m-%d")log_path = os.path.join(log_dir, today + ".log")log_config = {    'version': 1.0,    # 格式输出    'formatters': {        'colored_console': {                        'format': "%(asctime)s - %(name)s - %(levelname)s - %(message)s",                        'datefmt': '%H:%M:%S'        },        'detail': {            'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s',            'datefmt': "%Y-%m-%d %H:%M:%S"  #时间格式        },    },    'handlers': {        'console': {            'class': 'logging.StreamHandler',             'level': 'DEBUG',            'formatter': 'colored_console'        },        'file': {            'class': 'logging.handlers.RotatingFileHandler',              'maxBytes': 1024 * 1024 * 1024,              'backupCount': 1,             'filename': log_path,             'level': 'INFO',              'formatter': 'detail',  #             'encoding': 'utf-8',  # utf8 编码  防止出现编码错误        },    },    'loggers': {        'logger': {            'handlers': ['console'],              'level': 'DEBUG',         },    }}log_conf.dictConfig(log_config)log_v = logging.getLogger('log')coloredlogs.install(level='DEBUG', logger=log_v)# # Some examples.# logger.debug("this is a debugging message")# logger.info("this is an informational message")# logger.warning("this is a warning message")# logger.error("this is an error message")# logger.critical("this is a critical message")

# coding:utf8from flask import Flaskfrom flask_sqlalchemy import SQLAlchemyfrom app.config.config import Configfrom flask_mail import Mailfrom flask_wtf.csrf import CSRFProtectapp = Flask(__name__,template_folder='templates',static_folder='static')app.config.from_object(Config)db = SQLAlchemy(app)db.init_app(app)csrf = CSRFProtect(app)mail = Mail(app)# 不要在生成db之前导入注册蓝图。from app.home.baike import baike as baike_blueprintfrom app.home.math import math as math_blueprintfrom app.home.home import home as home_blueprintapp.register_blueprint(home_blueprint)app.register_blueprint(math_blueprint,url_prefix="/math")app.register_blueprint(baike_blueprint,url_prefix="/baike")

# -*- coding:utf-8 -*-from flask import Blueprintbaike = Blueprint("baike", __name__)from app.home.baike import views

# -*- coding:utf-8 -*-from flask import Blueprintmath = Blueprint("math", __name__)from app.home.math import views

# -*- coding:utf-8 -*-import osfrom flask_paginate import Pagination, get_page_parameterfrom app.Logger.logger import log_vfrom app.elasticsearchClass import elasticSearchfrom app.home.forms import SearchFormfrom app.home.baike import baikefrom flask import request, jsonify, render_template, redirectbaike_es = elasticSearch(index_type="baike_data",index_name="baike")@baike.route("/")def index():    searchForm = SearchForm()    return render_template('baike/index.html', searchForm=searchForm)@baike.route("/search", methods=['GET', 'POST'])def baikeSearch():    search_key = request.args.get("b", default=None)    if search_key:        searchForm = SearchForm()        log_v.error("[+] Search Keyword: " + search_key)        match_data = baike_es.search(search_key,count=30)        # 翻页        PER_PAGE = 10        page = request.args.get(get_page_parameter(), type=int, default=1)        start = (page - 1) * PER_PAGE        end = start + PER_PAGE        total = 30        print("最大数据总量:", total)        pagination = Pagination(page=page, start=start, end=end, total=total)        context = {            'match_data': match_data["hits"]["hits"][start:end],            'pagination': pagination,            'uid_link': "/baike/"        }        return render_template('data.html', q=search_key, searchForm=searchForm, **context)    return redirect('home.index')@baike.route('/<uid>')def baikeSd(uid):    base_path = os.path.abspath('app/templates/s_d/')    old_file = os.listdir(base_path)[0]    old_path = os.path.join(base_path, old_file)    file_path = os.path.abspath('app/templates/s_d/{}.html'.format(uid))    if not os.path.exists(file_path):        log_v.debug("[-] File does not exist, renaming !!!")        os.rename(old_path, file_path)    match_data = baike_es.id_get_doc(uid=uid)    return render_template('s_d/{}.html'.format(uid), match_data=match_data)</uid>

@baike.route('/<uid>')def baikeSd(uid):    base_path = os.path.abspath('app/templates/s_d/')    old_file = os.listdir(base_path)[0]    old_path = os.path.join(base_path, old_file)    file_path = os.path.abspath('app/templates/s_d/{}.html'.format(uid))    if not os.path.exists(file_path):        log_v.debug("[-] File does not exist, renaming !!!")        os.rename(old_path, file_path)    match_data = baike_es.id_get_doc(uid=uid)    return render_template('s_d/{}.html'.format(uid), match_data=match_data)</uid>

# coding:utf8from app import appfrom flask_script import Manager, Servermanage = Manager(app)# 启动命令manage.add_command("runserver", Server(use_debugger=True))if __name__ == "__main__":    manage.run()

python manage.py runserver

pip install gunicorn

#encoding:utf-8import multiprocessingfrom gevent import monkeymonkey.patch_all()# 并行工作进程数workers = multiprocessing.cpu_count() * 2 + 1debug = Truereload = True # 自动重新加载loglevel = 'debug'# 指定每个工作者的线程数threads = 2# 转发为监听端口8000bind = '0.0.0.0:5001'# 设置守护进程,将进程交给supervisor管理daemon = 'false'# 工作模式协程worker_class = 'gevent'# 设置最大并发量worker_connections = 2000# 设置进程文件目录pidfile = 'log/gunicorn.pid'logfile = 'log/debug.log'# 设置访问日志和错误信息日志路径accesslog = 'log/gunicorn_acess.log'errorlog = 'log/gunicorn_error.log'

gunicorn -c gconfig.py manage:app