手把手教你移动端AI应用开发（三）——部署环节关键代码最详解读

|-app # 程序module的主目录
|-build # app模块编译输出的文件（包括最终生成的apk）
|-libs # 依赖库
|-OpenCV # OpenCV库
|-PaddleLite # PaddleLite库，用于调用模型进行推理预测
|-src # app应用的源代码目录
    |-src/main/assets # 模型文件、测试图片
    |-src/main/cpp # (C++源代码方式)C++ 程序代码目录
    |-src/main/java # java程序代码目录
    |-src/main/jniLibs # (so方式）与cpp 目录的操作二选一
    |-src/main/res #存放app中显示的图形、文本、声音等一些资源文件
    |-src/main/res/drawable # 各种位图文件（.png、.jpg等）和drawable类型的XML文件
    |-src/main/res/ # 布局文件
    |-src/main/AndroidManifest.xml # 项目的清单文件（名称、版本、SDK、权限等配置信息）
|-build.gradle # 项目的gradle编译文件

|-app/src/main/cpp
    |-CMakeLists.txt # 重新编译C++的源代码和库，生成能被本项目中的C++的程序所使用的库
    |- common.h  # 常量定义和日志函数
    |- native.cpp # 和java层交互的c++函数
    |- native.h # jni的封装函数
    |- ocr_clipper.cpp  # 检测模型DB后处理用到的第三方库
    |- ocr_clipper.hpp 
    |- ocr_crnn_process.cpp # 识别模型CRNN预处理函数， 获取OpenCV的Mat图片后再放到preprocess做DB模型的预处理
    |- ocr_crnn_process.h
    |- ocr_db_post_process.cpp #检测模型DB后处理函数
    |- ocr_db_post_process.h
    |- ocr_predictor.cpp # OCR 模型预测函数
    |- ocr_predictor.h
    |- ppredictor.cpp #  准备模型预测所需要的初始化，加载模型，从网络结果中获取输出等步骤
    |- ppredictor.h
    |- predictor_input.cpp # 输入数据
    |- predictor_input.h  
    |- predictor_output.cpp # 获取预测结果的输出结果信息
    |- predictor_output.h
    |- preprocess.cpp # 图片预处理函数，用于检测模型DB
    |- preprocess.h

|- preprocess.cpp         识别模型CRNN预处理函数
|- preprocess.h
|- ocr_db_post_process.cpp   检测模型DB后处理函数
|- ocr_db_post_process.h

|- ocr_crnn_process.cpp     识别模型CRNN模型的预处理，结果是OpenCv的Mat，然后再放到preprocess.cpp做图片的预处理
|- ocr_crnn_process.h

|- ocr_predictor.cpp        OCR 模型预测函数
|- ocr_predictor.h

|- ppredictor.cpp           准备模型预测所需要的初始化，加载模型，从网络结果中获取输出等步骤
|- ppredictor.h
|- predictor_input.cpp    输入数据分配内存
|- predictor_input.h
|- predictor_output.cpp   获取预测结果的输出结果信息
|- predictor_output.h

std::vector<OCRPredictResult>
OCR_PPredictor::infer_ocr(const std::vector<int64_t> &dims, const float *input_data, int input_len,
                          int net_flag, cv::Mat &origin) {
    // _det_predictor：检测预测网络
    // 获取输出数据，并转换为网络预测支持的数据格式；
    PredictorInput input = _det_predictor->get_first_input();
    input.set_dims(dims);
    input.set_data(input_data, input_len);
    // 执行预测，得到检测网络预测的文本框
    std::vector<PredictorOutput> results = _det_predictor->infer();
    PredictorOutput &res = results.at(0);
    // 对文本框做简单的过滤
    std::vector<std::vector<std::vector<int>>> filtered_box
        = calc_filtered_boxes(res.get_float_data(), res.get_size(), (int) dims[2], (int) dims[3],
                              origin);
    LOGI("Filter_box size %ld", filtered_box.size());
    // 执行识别模型预测，并直接返回识别模型预测结果
    return infer_rec(filtered_box, origin);
}

std::vector<OCRPredictResult>
OCR_PPredictor::infer_rec(const std::vector<std::vector<std::vector<int>>> &boxes,
                          const cv::Mat &origin_img) {
    //识别模型预处理参数
    std::vector<float> mean = {0.5f, 0.5f, 0.5f};
    std::vector<float> scale = {1 / 0.5f, 1 / 0.5f, 1 / 0.5f};
    std::vector<int64_t> dims = {1, 3, 0, 0};
    std::vector<OCRPredictResult> ocr_results;

    PredictorInput input = _rec_predictor->get_first_input();
    // 通过for训练，每次读取检测模型预测的检测框
    for (auto bp = boxes.crbegin(); bp != boxes.crend(); ++bp) {
        const std::vector<std::vector<int>> &box = *bp;
        // 根据检测框将检测到的文本行剪切出来
        cv::Mat crop_img = get_rotate_crop_image(origin_img, box);
        float wh_ratio = float(crop_img.cols) / float(crop_img.rows);
        // 识别模型预处理
        cv::Mat input_image = crnn_resize_img(crop_img, wh_ratio);
        input_image.convertTo(input_image, CV_32FC3, 1 / 255.0f);
        const float *dimg = reinterpret_cast<const float *>(input_image.data);
        int input_size = input_image.rows * input_image.cols;

        dims[2] = input_image.rows;
        dims[3] = input_image.cols;
        input.set_dims(dims);

        neon_mean_scale(dimg, input.get_mutable_float_data(), input_size, mean, scale);
        // 执行识别模型预测
        std::vector<PredictorOutput> results = _rec_predictor->infer();

        OCRPredictResult res;
        // 解析识别模型预测结果，得到预测的字的索引
        res.word_index = postprocess_rec_word_index(results.at(0));
        if (res.word_index.empty()) {
            continue;
        }
        // 计算预测的文本行的置信度
        res.score = postprocess_rec_score(results.at(1));
        res.points = box;
        ocr_results.emplace_back(std::move(res));
    }
    LOGI("ocr_results finished %lu", ocr_results.size());
    // 返回识别结果
    return ocr_results;
}