開発メモ135 OpenCVに組み込んだlibjpeg-turbo 1.5.3と2.0.0を比較

Introduction

前回の続き。

A certain engineer "COMPLEX"

開発メモ134 OpenCVにlibjpeg-turboをリンクして性能比較

Introduction掲題そのまま。結構、このネタはそこら辺に転がっているんだけど、計測していないエンコードだけ計測みたいなネタでげんなりしたので自分で実施し...

libjpeg-turboに2.0.0が登場しているため、1.5.3との性能を比較します。

Condition

条件は前回とほとんど変わりません。
違うのはリンクするlibjpeg-turboが2.0.0になっただけです。

Intel Cire i7-8700 (3.20GHz)
32.0GB
Visual Studio 2017 Update 7 (15.7)
OpenCV 3.2.0 (動的リンク、world形式でビルド。IPP、CUDAは除外)
libjpeg-turbo 2.0.0
libjpeg-turbo.libをリンク

Test

実験も前回と同様、3種の画像、エンコードとデコードを計測します。
計測対象は下記。

libjpeg-turbo 2.0.0 自家製ビルドOpenCV
libjpeg-turbo 1.5.3 自家製ビルドOpenCV

また、実験ソースも前回と変わりません。
生成されたopencv_world320.dllを差し替えるだけです。

Result

実験結果は下記になります。
速度はいずれも平均速度です。

Decode

	640x360	1280x720	2560x1440
2.0.0	1.05651 ms	4.67864 ms	25.9939 ms
1.5.3	1.16508 ms	5.11916 ms	28.0259 ms
Improvement	+10%	+9%	+7%

Encode

	640x360	1280x720	2560x1440
2.0.0	1.15707 ms	4.3723 ms	17.9123 ms
1.5.3	1.37863 ms	5.03018 ms	20.6569 ms
Improvement	+19%	+15%	+15%

Conclusion

劇的な改善はありませんが、着実に性能が向上しています。

Takuya Takeuchi By Takuya Takeuchi | 2018年9月9日 | OpenCV, マルチメディア | No Comments |

開発メモ134 OpenCVにlibjpeg-turboをリンクして性能比較

Introduction

掲題そのまま。
結構、このネタはそこら辺に転がっているんだけど、

計測していない
エンコードだけ計測

みたいなネタでげんなりしたので自分で実施してみました。

実験ソースは下記になります

GitHub

takuya-takeuchi/Demo

Sample source code for Demonstration, Experiment and Test - takuya-takeuchi/Demo

Condition

条件は下記になります。

Intel Cire i7-8700 (3.20GHz)
32.0GB
Visual Studio 2017 Update 7 (15.7)
OpenCV 3.2.0 (動的リンク、world形式でビルド。IPP、CUDAは除外)
libjpeg-turbo 1.5.3
libjpeg-turbo.libをリンク

になります。
また、libjpeg.libとlibjpeg-turbo.libのどちらをリンクするかで意見が割れていますが、ここではlibjpeg-turbo.libをリンクしました。

OpenCVのビルドのためのCMakeのコマンドは下記のようになります。

libjpeg-turbo 有効

$ cmake -G "Visual Studio 15 2017 Win64" ^
        -D CMAKE_BUILD_TYPE=Release ^
        -D BUILD_SHARED_LIBS=ON ^
        -D BUILD_opencv_world=ON ^
        -D WITH_CUDA=OFF ^
        -D WITH_IPP=OFF ^
        -D WITH_JPEG=ON ^
        -D BUILD_JPEG=OFF ^
        -D JPEG_INCLUDE_DIR="<libjpeg-turboのディレクトリ>" ^
        -D JPEG_LIBRARY="<libjpeg-turbo.libのフルパス" ^
        ..

$ cmake -G "Visual Studio 15 2017 Win64" ^

-D CMAKE_BUILD_TYPE=Release ^

-D BUILD_SHARED_LIBS=ON ^

-D BUILD_opencv_world=ON ^

-D WITH_CUDA=OFF ^

-D WITH_IPP=OFF ^

-D WITH_JPEG=ON ^

-D BUILD_JPEG=OFF ^

-D JPEG_INCLUDE_DIR="<libjpeg-turboのディレクトリ>" ^

-D JPEG_LIBRARY="<libjpeg-turbo.libのフルパス" ^

libjpeg-turbo 無効

$ cmake -G "Visual Studio 15 2017 Win64" ^
        -D CMAKE_BUILD_TYPE=Release ^
        -D BUILD_SHARED_LIBS=ON ^
        -D BUILD_opencv_world=ON ^
        -D WITH_CUDA=OFF ^
        -D WITH_IPP=OFF ^
        ..

$ cmake -G "Visual Studio 15 2017 Win64" ^

-D CMAKE_BUILD_TYPE=Release ^

-D BUILD_SHARED_LIBS=ON ^

-D BUILD_opencv_world=ON ^

-D WITH_CUDA=OFF ^

-D WITH_IPP=OFF ^

Test

実験は、

libjpeg-turbo有効の自家製ビルドOpenCV
libjpeg-turbo無効の自家製ビルドOpenCV
公式のOpenCVバイナリ

に対して比較します。
また、画像は、

640x360
1280x720
2560x1440

の3種類を用意し、それぞれのデータのデコードとエンコードを1000回繰り返します。

実験ソースは下記です。
ベースとして、下記のページを参考にさせていただきました。

Summary?Blog

Speed-Up JPEG Encode/Decode Processing for OpenCV using libjpeg-turbo |

// libjpeg-turbo-decode.cpp : アプリケーションのエントリ ポイントを定義します。
//

#include "stdafx.h"

#define TEST_COUNT 1000

int main(int argc, char *argv[])
{
    // Build Information
    //std::cout << cv::getBuildInformation() << std::endl;

    std::ifstream f(argv[1], std::ios::binary);
    if (!f.is_open())
        return  -1;

    f.seekg(0, std::ios::end);
    const unsigned int length = f.tellg();
    f.seekg(0, std::ios::beg);

    const auto buffer = new char[length];
    f.read(buffer, length);
    f.close();

    const auto data = std::vector<char>(buffer, buffer + length);

    // Test
    int64 start = 0;
    int64 end = 0;
    double total = 0;
    double avg = 0;

    start = cv::getTickCount();
    for (auto i = 0; i < TEST_COUNT; i++)
        auto ret = cv::imdecode(data, cv::IMREAD_UNCHANGED);
    end = cv::getTickCount();

    total = (end - start) * 1000 / cv::getTickFrequency();
    avg = total / TEST_COUNT;
    std::cout << "[Decode]" << std::endl;
    std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

    const auto img = cv::imdecode(data, cv::IMREAD_UNCHANGED);
    std::vector<uchar> buf( img.rows * img.cols );
    const std::vector<int> params = { cv::IMWRITE_JPEG_QUALITY, 95 };

    start = cv::getTickCount();
    for (auto i = 0; i < TEST_COUNT; i++)
        cv::imencode(".jpg", img, buf, params);
    end = cv::getTickCount();

    total = (end - start) * 1000 / cv::getTickFrequency();
    avg = total / TEST_COUNT;
    std::cout << "[Encode]" << std::endl;
    std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

    return 0;
}

// libjpeg-turbo-decode.cpp : アプリケーションのエントリポイントを定義します。

#include "stdafx.h"

#define TEST_COUNT 1000

int main(int argc, char *argv[])

{

// Build Information

//std::cout << cv::getBuildInformation() << std::endl;

std::ifstream f(argv[1], std::ios::binary);

if (!f.is_open())

return -1;

f.seekg(0, std::ios::end);

const unsigned int length = f.tellg();

f.seekg(0, std::ios::beg);

const auto buffer = new char[length];

f.read(buffer, length);

f.close();

const auto data = std::vector<char>(buffer, buffer + length);

// Test

int64 start = 0;

int64 end = 0;

double total = 0;

double avg = 0;

start = cv::getTickCount();

for (auto i = 0; i < TEST_COUNT; i++)

auto ret = cv::imdecode(data, cv::IMREAD_UNCHANGED);

end = cv::getTickCount();

total = (end - start) * 1000 / cv::getTickFrequency();

avg = total / TEST_COUNT;

std::cout << "[Decode]" << std::endl;

std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

const auto img = cv::imdecode(data, cv::IMREAD_UNCHANGED);

std::vector<uchar> buf( img.rows * img.cols );

const std::vector<int> params = { cv::IMWRITE_JPEG_QUALITY, 95 };

start = cv::getTickCount();

for (auto i = 0; i < TEST_COUNT; i++)

cv::imencode(".jpg", img, buf, params);

end = cv::getTickCount();

total = (end - start) * 1000 / cv::getTickFrequency();

avg = total / TEST_COUNT;

std::cout << "[Encode]" << std::endl;

std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

return 0;

}

Result

実験結果は下記になります。
速度はいずれも平均速度です。

Decode

	640x360	1280x720	2560x1440
Enable libjpeg-turbo	1.16508 ms	5.11916 ms	28.0259 ms
Disable libjpeg-turbo	2.15667 ms	9.02238 ms	40.7576 ms
original binary	2.44517 ms	10.1288 ms	46.2685 ms

Encode

	640x360	1280x720	2560x1440
Enable libjpeg-turbo	1.37863 ms	5.03018 ms	20.6569 ms
Disable libjpeg-turbo	5.18752 ms	19.4827 ms	83.4678 ms
original binary	5.69063 ms	21.4501 ms	91.6039 ms

Conclusion

エンコード性能は著しい改善を見せており、3.5-4.0倍の速度をたたき出しています。
デコードも、1.6-2.2倍の速度と良い感じです。

高々数十msの違いかもしれませんが、OpenCVのVideoCapture等でWebカメラをキャプチャした際、MotionJPEG形式ならデコード処理がそのままfpsに跳ね返ってきます。
1280X720で従来20ms要していたということは、30fpsのカメラでも事実上、1フレームに33ms+20msの53ms、つまり20fps程度しか性能が出なかったことになります。
これが5msになれば、33ms+5msの38msなら26fpsと改善できます。

Source Code

https://github.com/takuya-takeuchi/Demo/tree/master/libjpeg-turbo-decode

Takuya Takeuchi By Takuya Takeuchi | 2018年9月9日 | OpenCV, マルチメディア | No Comments |

開発メモ133 Ubuntu 16.04.4でdconf Editorが見つかない

Introduction

何故かdonf EditorがUbuntu Softwareから検索しても見つからない件。

Resolution

普通にapt-getでインストールするだけでした。何時からこうなったの?

$ sudo apt-get install dconf-editor

1	$ sudo apt-get install dconf-editor

Takuya Takeuchi By Takuya Takeuchi | 2018年9月8日 | Linux, Ubuntu | No Comments |

開発メモ132 Visual Studio 2017 15.7 に CUDA 9.2 をインストールする

Introduction

CUDA Toolkitには、Visual Studioと統合されるVisual Studio Integrationが含まれています。
しかしながら、このツール、Visual Studioのバージョンをチェックしているのか、2018/09/01現在、最新のCUDA Toolkit、cuda_9.2.148_win10.exeでもインストールに失敗します。
というのも公式にも対応しているのは、Visual Studio 2017 15.6となっており対応していないことがうかがえます。
既に、15.8の登場が控えている状況でこれは非常にまずいです。

ということでその対応。

Resolution

公式のフォーラムでもこの問題は話題になっています。
Nvidiaの対応に不満の声が。

そんな中、下記のスレッドのinstalling CUDA 9.2 with VS2017 integration worked for me this way:と言う投稿で対応策が提示されました。

devtalk.nvidia.com

Cuda 9.2 does NOT work with Visual Studio 2017 15.7.1 - NVIDIA Developer Forums

要点は、

cuda_9.2.88_win10.exeをWinRARとかで展開
CUDAVisualStudioIntegration\CUDAVisualStudioIntegration.nviを書き換える
setup.exeを実行
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換える

です。
私の試した手順だと、

cuda_9.2.88_win10.exeを実行し、インストーラを起動して最初の画面で待機
CUDAVisualStudioIntegration.nviを書き換える
インストール続行
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換える

でOKでした。

少し具体的に書くと、

CUDAVisualStudioIntegration.nvi を書き換える

インストーラを起動してから書き換える場合は、"%TEMP%\CUDA\CUDAVisualStudioIntegration\CUDAVisualStudioIntegration.nviが書き換える対象です。
そして、テキストエディタでCUDAVisualStudioIntegration.nviを開き、下記の箇所を削除します。

        <custom phase="handleExistingNsight" action="HandleExistingNsight"/>
        <custom phase="detectDisableCallHome" action="DetectDisableCallHome"/>
        <msi platform="x86" phase="NsightMSINoTraffic" name="${{NsightMSI}}" condition="NsightMSIActionActiveAndNoTraffic" installText="Installing Nsight Visual Studio Edition">
            <arg name="CUDAINSTALLER" value="true"/>
            <arg name="DISABLE_NV_CH" value="1"/>
        </msi>
        <msi platform="x86" phase="NsightMSITraffic" name="${{NsightMSI}}" condition="NsightMSIActionActiveAndTraffic" installText="Installing Nsight Visual Studio Edition">
            <arg name="CUDAINSTALLER" value="true"/>
            <arg name="DISABLE_NV_CH" value="0"/>
        </msi>
        <confirm phase="Confirm-install" when="install" condition="NsightMSIActionActive">
            <fileExists target="${{CommonAppData}}\NVIDIA Corporation\Nsight\Nsight_${{nsightVersion}}_InstallSummary.xml"/>
        </confirm>
        <standard phase="copytemp" condition="NsightMSIActionActive">
            <copyFile source="NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" target="${{CommonAppData}}\NVIDIA Corporation\Nsight\NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" />

        </standard>
        <standard phase="createStartMenuStortcuts" condition="NsightMSIActionActive">
            <createShortcutGroup location="startMenu" linkGroup="${{NsightProgramGroup}}"/>
            <createShortcutLink location="startMenu" targetPath="${{CommonAppData}}\NVIDIA Corporation\Nsight\NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" linkGroup="${{NsightProgramGroup}}" linkName="Nsight Redistributable"/>
        </standard>
        <custom phase="ParseWarningPage" action="ReadWarningPage" condition="NsightMSIActionActive"/>

    <msi platform="x86" phase="NVTXMSI" name="${{NVTXMSI}}" installText="Installing NVTX"/>

</msi>

</msi>

</confirm>

</standard>

</standard>

host_config.h を書き換える

インストール完了後、C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換えます。
これを書き換えないと、CUDAを使ってコンパイルする際にエラーが出てコンパイルが停止します。
130行目付近の

#if _MSC_VER < 1600 || _MSC_VER > 1913

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

#if _MSC_VER < 1600 || _MSC_VER > 1913

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

を、下記のようにします。

/*#if _MSC_VER < 1600 || _MSC_VER > 1913*/
#if _MSC_VER < 1600

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

/*#if _MSC_VER < 1600 || _MSC_VER > 1913*/

#if _MSC_VER < 1600

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

Takuya Takeuchi By Takuya Takeuchi | 2018年9月1日 | CUDA, GPUPU, Microsoft, Visual Studio | No Comments |

開発メモ131 CSliderCtrlの背景色が変更されない

Introduction

MFCなんかレガシーもいいところですが、仕事である以上使わざるを得ません。
そんな中、CSliderCtrlの背景色をCDialog::OnCtlColor経由で変更したところ、背景色が変わらない問題が発生。

CWnd::UpdateWindowやCWnd::InvalidateRectを駆使しても効果が無い。
なぜ?とネットを彷徨った際の備忘録(今後使う可能性は低いが)

ソースは下記になります

GitHub

takuya-takeuchi/Demo

Sample source code for Demonstration, Experiment and Test - takuya-takeuchi/Demo

Resolution

CSliderCtrlは下記の、少し奇妙な関数を持っています。

CSliderCtrl::ClearSel
CSliderCtrl::ClearTics
CSliderCtrl::SetRange
CSliderCtrl::SetRangeMax
CSliderCtrl::SetRangeMin

これらの関数は最後の引数に BOOL bRedraw = FALSE をとります。
これらの関数にTRUEを渡すことで背景の更新が可能になります。

Spyで確認したのですが、これらの関数は内部で WM_PAINTを使っているようです。
そのため CWnd::UpdateWindow を使って同じ状況を作り出したにもかかわらず、CWnd::UpdateWindow は効果が無い。

この現象に言及した唯一の記事が下記。

Stack Overflow

Update MFC's CSliderCtrl

I am working on a C++ MFC project and bumping in the following. I have a CSliderCtrl on my form which I call MFC_scKINECTANGLE. To make it the way I want it ...

上記の関数以外にも、CWnd::EnableWindowでも更新が可能だと言っています。
しかし、この関数を使う場合は、一度現在のEnable/Disableと反対の値を設定する必要があるため、著しくちらつく欠点があります。

ですので、最初に紹介した関数を使うことで、ちらつきを押さえて背景色を更新できます。
つまり、現在の設定と同じ値を使って更新するのです。

void CSliderSampleDlg::OnBnClickedButtonRedraw()
{
    const auto max = this->m_slider.GetRangeMax();
    const auto min = this->m_slider.GetRangeMin();

    // Set same value to redraw
    this->m_slider.SetRange(min, max, TRUE);
}