如何在Qt中高效地显示OpenCVvideo?

我在OpenCV的帮助下从networking摄像机捕获多个stream。 当我尝试从OpenCV窗口( cv::namedWindow(...) )显示这些stream,它的工作原理没有任何问题(迄今为止我已经尝试了4个stream)。

当我尝试在Qt小部件中显示这些stream时出现问题。 由于捕获是在另一个线程完成的,我必须使用信号槽机制来更新QWidget(在主线程中)。

基本上,我从捕获线程发出新捕获的帧,GUI线程中的一个插槽捕获它。 当我打开4个stream,我不能像以前一样顺利地显示video。

这是发射器:

 void capture::start_process() { m_enable = true; cv::Mat frame; while(m_enable) { if (!m_video_handle->read(frame)) { break; } cv::cvtColor(frame, frame,CV_BGR2RGB); qDebug() << "FRAME : " << frame.data; emit image_ready(QImage(frame.data, frame.cols, frame.rows, frame.step, QImage::Format_RGB888)); cv::waitKey(30); } } 

这是我的插槽:

 void widget::set_image(QImage image) { img = image; qDebug() << "PARAMETER IMAGE: " << image.scanLine(0); qDebug() << "MEMBER IMAGE: " << img.scanLine(0); } 

这个问题似乎是不断复制QImages的开销。 虽然QImage使用隐式共享,当我通过qDebug()消息比较图像的数据指针,我看到不同的地址。

1-有什么方法可以将OpenCV窗口直接embedded到QWidget中?

2-什么是处理显示多个video最有效的方法? 例如,videopipe理系统如何在同一时间显示多达32台摄像机?

3-什么是一定要走的路?

One Solution collect form web for “如何在Qt中高效地显示OpenCVvideo?”

使用QImage::scanLine强制进行深层复制,所以至less应该使用constScanLine ,或者更好的方法是将槽的签名更改为:

 void widget::set_image(const QImage & image); 

当然,你的问题会变成另外一件事情:QImage实例指向一个存在于另一个线程中的框架的数据,并且可以随时(也将会)改变。

有一个解决scheme:需要使用在堆上分配的新鲜帧,并且需要在QImage捕获帧。 QScopedPointer用于防止内存泄漏,直到QImage取得帧的所有权。

 static void matDeleter(void* mat) { delete static_cast<cv::Mat*>(mat); } class capture { Q_OBJECT bool m_enable; ... public: Q_SIGNAL void image_ready(const QImage &); ... }; void capture::start_process() { m_enable = true; while(m_enable) { QScopedPointer<cv::Mat> frame(new cv::Mat); if (!m_video_handle->read(*frame)) { break; } cv::cvtColor(*frame, *frame, CV_BGR2RGB); // Here the image instance takes ownership of the frame. const QImage image(frame->data, frame->cols, frame->rows, frame->step, QImage::Format_RGB888, matDeleter, frame.take()); emit image_ready(image); cv::waitKey(30); } } 

当然,由于Qt在QThread默认提供本地消息分派 Qt事件循环,因此使用QObject进行捕获是一件简单的事情。 以下是一个完整的testing示例。

捕获,转换和查看器都在自己的线程中运行。 由于cv::Mat是一个含primefaces,线程安全访问的隐式共享类,因此它被使用。

转换器有一个不处理过时帧的选项 – 如果转换只用于显示目的,这个选项很有用。

查看器在gui线程中运行并正确删除旧的帧。 观众没有理由处理陈旧的画面。

如果您要收集数据以保存到磁盘,则应该以高优先级运行捕获线程。 您还应该检查openCV apis,看看是否有方法将本机相机数据转储到磁盘。

为了加速转换,你可以在openCV中使用gpu加速的类。

 // https://github.com/KubaO/stackoverflown/tree/master/questions/opencv-21246766 #include <QtWidgets> #include <opencv2/opencv.hpp> Q_DECLARE_METATYPE(cv::Mat) class Capture : public QObject { Q_OBJECT QBasicTimer m_timer; QScopedPointer<cv::VideoCapture> m_videoCapture; public: Capture(QObject * parent = {}) : QObject(parent) {} Q_SIGNAL void started(); Q_SLOT void start(int cam = {}) { if (!m_videoCapture) m_videoCapture.reset(new cv::VideoCapture(cam)); if (m_videoCapture->isOpened()) { m_timer.start(0, this); emit started(); } } Q_SLOT void stop() { m_timer.stop(); } Q_SIGNAL void matReady(const cv::Mat &); private: void timerEvent(QTimerEvent * ev) { if (ev->timerId() != m_timer.timerId()) return; cv::Mat frame; if (!m_videoCapture->read(frame)) { // Blocks until a new frame is ready m_timer.stop(); return; } emit matReady(frame); } }; class Converter : public QObject { Q_OBJECT QBasicTimer m_timer; cv::Mat m_frame; bool m_processAll = true; static void matDeleter(void* mat) { delete static_cast<cv::Mat*>(mat); } void queue(const cv::Mat & frame) { if (!m_frame.empty()) qDebug() << "Converter dropped frame!"; m_frame = frame; if (! m_timer.isActive()) m_timer.start(0, this); } void process(cv::Mat frame) { cv::resize(frame, frame, cv::Size(), 0.3, 0.3, cv::INTER_AREA); cv::cvtColor(frame, frame, CV_BGR2RGB); const QImage image(frame.data, frame.cols, frame.rows, frame.step, QImage::Format_RGB888, &matDeleter, new cv::Mat(frame)); Q_ASSERT(image.constBits() == frame.data); emit imageReady(image); } void timerEvent(QTimerEvent * ev) { if (ev->timerId() != m_timer.timerId()) return; process(m_frame); m_frame.release(); m_timer.stop(); } public: explicit Converter(QObject * parent = nullptr) : QObject(parent) {} void setProcessAll(bool all) { m_processAll = all; } Q_SIGNAL void imageReady(const QImage &); Q_SLOT void processFrame(const cv::Mat & frame) { if (m_processAll) process(frame); else queue(frame); } }; class ImageViewer : public QWidget { Q_OBJECT QImage m_img; void paintEvent(QPaintEvent *) { QPainter p(this); p.drawImage(0, 0, m_img); m_img = {}; } public: ImageViewer(QWidget * parent = nullptr) : QWidget(parent) { setAttribute(Qt::WA_OpaquePaintEvent); } Q_SLOT void setImage(const QImage & img) { if (!m_img.isNull()) qDebug() << "Viewer dropped frame!"; m_img = img; if (m_img.size() != size()) setFixedSize(m_img.size()); update(); } }; class Thread final : public QThread { public: ~Thread() { quit(); wait(); } }; int main(int argc, char *argv[]) { qRegisterMetaType<cv::Mat>(); QApplication app(argc, argv); ImageViewer view; Capture capture; Converter converter; Thread captureThread, converterThread; // Everything runs at the same priority as the gui, so it won't supply useless frames. converter.setProcessAll(false); captureThread.start(); converterThread.start(); capture.moveToThread(&captureThread); converter.moveToThread(&converterThread); QObject::connect(&capture, &Capture::matReady, &converter, &Converter::processFrame); QObject::connect(&converter, &Converter::imageReady, &view, &ImageViewer::setImage); view.show(); QObject::connect(&capture, &Capture::started, [](){ qDebug() << "capture started"; }); QMetaObject::invokeMethod(&capture, "start"); return app.exec(); } #include "main.moc" 
  • Qt Creator - 项目错误:Xcode没有正确设置。 您可能需要运行/ usr / bin / xcodebuild来确认许可协议
  • Q_OBJECT抛出'未定义的引用vtable'错误
  • 设置QLineEdit只接受数字
  • Q_OBJECTmacros是做什么的? 为什么所有的Qt对象都需要这个macros?
  • Qt jpg图片显示
  • 无法parsing的外部符号“public:virtual struct QMetaObject const * __thiscall Parent
  • 使用QTcpSocket的TCP数据包
  • 如何从QCombobox中获取选定的VALUE值?
  • 在Docker中运行一个基本的Qt应用程序
  • QPainterPaths的高效屏幕外渲染(需要OpenGL和非OpenGL解决scheme)
  • 我怎样才能使用QNetworkAccessManager POST数据到一个url