開発メモ136 Windows 10 Ver1803で起動しなくなったCentOS on Hyper-Vを復旧する

Introduction

Windows 10 April 2018 Update (Ver.1803) のマシンにおいて、Hyper-V上のLinux仮想マシンが起動しない現象が発生した。
こんな感じになります。

具体的に起動しないマシンは、

1803で新規に作成したマシン (世代1で作成)
1803より前の環境で作成し、1803にVHDをコピーして再作成したマシン (世代1で作成)

という条件である。
要するに世代1で作成するのが不味かったのだが、既存の資産が動いているレガシーなLinuxだとそうも言っていられない。

これが会社のマシンで起こり、自宅の環境でも再現してしまったので、解決策を模索した。

Resolution

Google先生に聞いても、この現象に遭遇している人がいなかった。
なので、自分で探すこと1週間。解決のきっかけに気づいたのは、イベントビューアを見ていたときである。

Microsoft-Windows-Hyper-V-Worker-Admin に奇妙なログが記載されていた。

仮想マシン %1 でデバイス %3 を読み込むことができません。相互にサポートされているプロトコルバージョンがありません。サーバーバージョンは %4 で、クライアントバージョンは %5 です (仮想マシン ID %2)。

どうも、問題のマシンを立ち上げた時に記録されている模様。
これを見て思ったのは、グラフィック系統のデバイスが正しく読み込まれていないから、起動時におかしな画面に陥るのでは?と推測。
だから、起動時にグラフィック表示をなくせば起動できるのでは?と予想。

試したところ、ビンゴでした。
下記のOSは CentOS 6.10 ですが、手順はどのOSでも似たようなものかと。

1. 起動

下記の画面でキーを押下して、メニューに入ります。

2. GRUB

下記のメニューが表示されたら a を押下して、カーネルの引数を編集する画面に入ります。

3. カーネル引数の編集

OSの状態によって評される文字列が異なります。
例えば、下記はOSをインストールした直後になります。

下記はOSをインストールして、初期ユーザの設定が終わった以降になります。

どちらでも共通に存在する rhgb quiet を削除し、Enterキーを押下し、ブートを再開します。

4. 無事に起動

一瞬、画面が乱れた問題になった画面が表示されますが、少し待つとブートが継続されます。

5. 永続化

ここまでの方法はその場限りで再起動すれば戻ってしまいます。
なので、GRUBの設定ファイルを編集することで設定を永続化します。
無事にログインしたら、シェルから設定ファイルを編集します。

$ sudo vi /etc/grub.conf

1	$ sudo vi /etc/grub.conf

編集ファイルを開くと下記のような状態です。

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE:  You have a /boot partition.  This means that
#          all kernel and initrd paths are relative to /boot/, eg.
#          root (hd0,0)
#          kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-lv_root
#          initrd /initrd-[generic-]version.img
#boot=/dev/sda
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS 6 (2.6.32-754.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-754.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet
        initrd /initramfs-2.6.32-754.el6.x86_64.img

# grub.conf generated by anaconda

# Note that you do not have to rerun grub after making changes to this file

# NOTICE: You have a /boot partition. This means that

# all kernel and initrd paths are relative to /boot/, eg.

# root (hd0,0)

# kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-lv_root

# initrd /initrd-[generic-]version.img

#boot=/dev/sda

default=0

timeout=5

splashimage=(hd0,0)/grub/splash.xpm.gz

hiddenmenu

title CentOS 6 (2.6.32-754.el6.x86_64)

root (hd0,0)

kernel /vmlinuz-2.6.32-754.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet

initrd /initramfs-2.6.32-754.el6.x86_64.img

これを下記のように編集します。
わかりにくいですが、先述のように、rhgb quietを削除するだけです。

# grub.conf generated by anaconda
#
# Note that you do not have to rerun grub after making changes to this file
# NOTICE:  You have a /boot partition.  This means that
#          all kernel and initrd paths are relative to /boot/, eg.
#          root (hd0,0)
#          kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-lv_root
#          initrd /initrd-[generic-]version.img
#boot=/dev/sda
default=0
timeout=5
splashimage=(hd0,0)/grub/splash.xpm.gz
hiddenmenu
title CentOS 6 (2.6.32-754.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-754.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 rd_LVM_LV=VolGroup/lv_root  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM
        initrd /initramfs-2.6.32-754.el6.x86_64.img

# grub.conf generated by anaconda

# Note that you do not have to rerun grub after making changes to this file

# NOTICE: You have a /boot partition. This means that

# all kernel and initrd paths are relative to /boot/, eg.

# root (hd0,0)

# kernel /vmlinuz-version ro root=/dev/mapper/VolGroup-lv_root

# initrd /initrd-[generic-]version.img

#boot=/dev/sda

default=0

timeout=5

splashimage=(hd0,0)/grub/splash.xpm.gz

hiddenmenu

title CentOS 6 (2.6.32-754.el6.x86_64)

root (hd0,0)

initrd /initramfs-2.6.32-754.el6.x86_64.img

これで設定が永続化されます。

ただし、これらを行っても、たまに起動に失敗することがあります。
その時はリセットボタンで再度ブートをやり直します。

Takuya Takeuchi By Takuya Takeuchi | 2018年10月13日 | Hyper-V, Linux, Microsoft | No Comments |

開発メモ135 OpenCVに組み込んだlibjpeg-turbo 1.5.3と2.0.0を比較

Introduction

前回の続き。

A certain engineer "COMPLEX"

開発メモ134 OpenCVにlibjpeg-turboをリンクして性能比較

Introduction掲題そのまま。結構、このネタはそこら辺に転がっているんだけど、計測していないエンコードだけ計測みたいなネタでげんなりしたので自分で実施し...

libjpeg-turboに2.0.0が登場しているため、1.5.3との性能を比較します。

Condition

条件は前回とほとんど変わりません。
違うのはリンクするlibjpeg-turboが2.0.0になっただけです。

Intel Cire i7-8700 (3.20GHz)
32.0GB
Visual Studio 2017 Update 7 (15.7)
OpenCV 3.2.0 (動的リンク、world形式でビルド。IPP、CUDAは除外)
libjpeg-turbo 2.0.0
libjpeg-turbo.libをリンク

Test

実験も前回と同様、3種の画像、エンコードとデコードを計測します。
計測対象は下記。

libjpeg-turbo 2.0.0 自家製ビルドOpenCV
libjpeg-turbo 1.5.3 自家製ビルドOpenCV

また、実験ソースも前回と変わりません。
生成されたopencv_world320.dllを差し替えるだけです。

Result

実験結果は下記になります。
速度はいずれも平均速度です。

Decode

	640x360	1280x720	2560x1440
2.0.0	1.05651 ms	4.67864 ms	25.9939 ms
1.5.3	1.16508 ms	5.11916 ms	28.0259 ms
Improvement	+10%	+9%	+7%

Encode

	640x360	1280x720	2560x1440
2.0.0	1.15707 ms	4.3723 ms	17.9123 ms
1.5.3	1.37863 ms	5.03018 ms	20.6569 ms
Improvement	+19%	+15%	+15%

Conclusion

劇的な改善はありませんが、着実に性能が向上しています。

Takuya Takeuchi By Takuya Takeuchi | 2018年9月9日 | OpenCV, マルチメディア | No Comments |

開発メモ134 OpenCVにlibjpeg-turboをリンクして性能比較

Introduction

掲題そのまま。
結構、このネタはそこら辺に転がっているんだけど、

計測していない
エンコードだけ計測

みたいなネタでげんなりしたので自分で実施してみました。

実験ソースは下記になります

GitHub

takuya-takeuchi/Demo

Sample source code for Demonstration, Experiment and Test - takuya-takeuchi/Demo

Condition

条件は下記になります。

Intel Cire i7-8700 (3.20GHz)
32.0GB
Visual Studio 2017 Update 7 (15.7)
OpenCV 3.2.0 (動的リンク、world形式でビルド。IPP、CUDAは除外)
libjpeg-turbo 1.5.3
libjpeg-turbo.libをリンク

になります。
また、libjpeg.libとlibjpeg-turbo.libのどちらをリンクするかで意見が割れていますが、ここではlibjpeg-turbo.libをリンクしました。

OpenCVのビルドのためのCMakeのコマンドは下記のようになります。

libjpeg-turbo 有効

$ cmake -G "Visual Studio 15 2017 Win64" ^
        -D CMAKE_BUILD_TYPE=Release ^
        -D BUILD_SHARED_LIBS=ON ^
        -D BUILD_opencv_world=ON ^
        -D WITH_CUDA=OFF ^
        -D WITH_IPP=OFF ^
        -D WITH_JPEG=ON ^
        -D BUILD_JPEG=OFF ^
        -D JPEG_INCLUDE_DIR="<libjpeg-turboのディレクトリ>" ^
        -D JPEG_LIBRARY="<libjpeg-turbo.libのフルパス" ^
        ..

$ cmake -G "Visual Studio 15 2017 Win64" ^

-D CMAKE_BUILD_TYPE=Release ^

-D BUILD_SHARED_LIBS=ON ^

-D BUILD_opencv_world=ON ^

-D WITH_CUDA=OFF ^

-D WITH_IPP=OFF ^

-D WITH_JPEG=ON ^

-D BUILD_JPEG=OFF ^

-D JPEG_INCLUDE_DIR="<libjpeg-turboのディレクトリ>" ^

-D JPEG_LIBRARY="<libjpeg-turbo.libのフルパス" ^

libjpeg-turbo 無効

$ cmake -G "Visual Studio 15 2017 Win64" ^
        -D CMAKE_BUILD_TYPE=Release ^
        -D BUILD_SHARED_LIBS=ON ^
        -D BUILD_opencv_world=ON ^
        -D WITH_CUDA=OFF ^
        -D WITH_IPP=OFF ^
        ..

$ cmake -G "Visual Studio 15 2017 Win64" ^

-D CMAKE_BUILD_TYPE=Release ^

-D BUILD_SHARED_LIBS=ON ^

-D BUILD_opencv_world=ON ^

-D WITH_CUDA=OFF ^

-D WITH_IPP=OFF ^

Test

実験は、

libjpeg-turbo有効の自家製ビルドOpenCV
libjpeg-turbo無効の自家製ビルドOpenCV
公式のOpenCVバイナリ

に対して比較します。
また、画像は、

640x360
1280x720
2560x1440

の3種類を用意し、それぞれのデータのデコードとエンコードを1000回繰り返します。

実験ソースは下記です。
ベースとして、下記のページを参考にさせていただきました。

Summary?Blog

Speed-Up JPEG Encode/Decode Processing for OpenCV using libjpeg-turbo |

// libjpeg-turbo-decode.cpp : アプリケーションのエントリ ポイントを定義します。
//

#include "stdafx.h"

#define TEST_COUNT 1000

int main(int argc, char *argv[])
{
    // Build Information
    //std::cout << cv::getBuildInformation() << std::endl;

    std::ifstream f(argv[1], std::ios::binary);
    if (!f.is_open())
        return  -1;

    f.seekg(0, std::ios::end);
    const unsigned int length = f.tellg();
    f.seekg(0, std::ios::beg);

    const auto buffer = new char[length];
    f.read(buffer, length);
    f.close();

    const auto data = std::vector<char>(buffer, buffer + length);

    // Test
    int64 start = 0;
    int64 end = 0;
    double total = 0;
    double avg = 0;

    start = cv::getTickCount();
    for (auto i = 0; i < TEST_COUNT; i++)
        auto ret = cv::imdecode(data, cv::IMREAD_UNCHANGED);
    end = cv::getTickCount();

    total = (end - start) * 1000 / cv::getTickFrequency();
    avg = total / TEST_COUNT;
    std::cout << "[Decode]" << std::endl;
    std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

    const auto img = cv::imdecode(data, cv::IMREAD_UNCHANGED);
    std::vector<uchar> buf( img.rows * img.cols );
    const std::vector<int> params = { cv::IMWRITE_JPEG_QUALITY, 95 };

    start = cv::getTickCount();
    for (auto i = 0; i < TEST_COUNT; i++)
        cv::imencode(".jpg", img, buf, params);
    end = cv::getTickCount();

    total = (end - start) * 1000 / cv::getTickFrequency();
    avg = total / TEST_COUNT;
    std::cout << "[Encode]" << std::endl;
    std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

    return 0;
}

// libjpeg-turbo-decode.cpp : アプリケーションのエントリポイントを定義します。

#include "stdafx.h"

#define TEST_COUNT 1000

int main(int argc, char *argv[])

{

// Build Information

//std::cout << cv::getBuildInformation() << std::endl;

std::ifstream f(argv[1], std::ios::binary);

if (!f.is_open())

return -1;

f.seekg(0, std::ios::end);

const unsigned int length = f.tellg();

f.seekg(0, std::ios::beg);

const auto buffer = new char[length];

f.read(buffer, length);

f.close();

const auto data = std::vector<char>(buffer, buffer + length);

// Test

int64 start = 0;

int64 end = 0;

double total = 0;

double avg = 0;

start = cv::getTickCount();

for (auto i = 0; i < TEST_COUNT; i++)

auto ret = cv::imdecode(data, cv::IMREAD_UNCHANGED);

end = cv::getTickCount();

total = (end - start) * 1000 / cv::getTickFrequency();

avg = total / TEST_COUNT;

std::cout << "[Decode]" << std::endl;

std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

const auto img = cv::imdecode(data, cv::IMREAD_UNCHANGED);

std::vector<uchar> buf( img.rows * img.cols );

const std::vector<int> params = { cv::IMWRITE_JPEG_QUALITY, 95 };

start = cv::getTickCount();

for (auto i = 0; i < TEST_COUNT; i++)

cv::imencode(".jpg", img, buf, params);

end = cv::getTickCount();

total = (end - start) * 1000 / cv::getTickFrequency();

avg = total / TEST_COUNT;

std::cout << "[Encode]" << std::endl;

std::cout << "\tTotal = " << total << "[ms], Avg = " << avg << "[ms]" << std::endl;

return 0;

}

Result

実験結果は下記になります。
速度はいずれも平均速度です。

Decode

	640x360	1280x720	2560x1440
Enable libjpeg-turbo	1.16508 ms	5.11916 ms	28.0259 ms
Disable libjpeg-turbo	2.15667 ms	9.02238 ms	40.7576 ms
original binary	2.44517 ms	10.1288 ms	46.2685 ms

Encode

	640x360	1280x720	2560x1440
Enable libjpeg-turbo	1.37863 ms	5.03018 ms	20.6569 ms
Disable libjpeg-turbo	5.18752 ms	19.4827 ms	83.4678 ms
original binary	5.69063 ms	21.4501 ms	91.6039 ms

Conclusion

エンコード性能は著しい改善を見せており、3.5-4.0倍の速度をたたき出しています。
デコードも、1.6-2.2倍の速度と良い感じです。

高々数十msの違いかもしれませんが、OpenCVのVideoCapture等でWebカメラをキャプチャした際、MotionJPEG形式ならデコード処理がそのままfpsに跳ね返ってきます。
1280X720で従来20ms要していたということは、30fpsのカメラでも事実上、1フレームに33ms+20msの53ms、つまり20fps程度しか性能が出なかったことになります。
これが5msになれば、33ms+5msの38msなら26fpsと改善できます。

Source Code

https://github.com/takuya-takeuchi/Demo/tree/master/libjpeg-turbo-decode

Takuya Takeuchi By Takuya Takeuchi | 2018年9月9日 | OpenCV, マルチメディア | No Comments |

開発メモ133 Ubuntu 16.04.4でdconf Editorが見つかない

Introduction

何故かdonf EditorがUbuntu Softwareから検索しても見つからない件。

Resolution

普通にapt-getでインストールするだけでした。何時からこうなったの?

$ sudo apt-get install dconf-editor

1	$ sudo apt-get install dconf-editor

Takuya Takeuchi By Takuya Takeuchi | 2018年9月8日 | Linux, Ubuntu | No Comments |

開発メモ132 Visual Studio 2017 15.7 に CUDA 9.2 をインストールする

Introduction

CUDA Toolkitには、Visual Studioと統合されるVisual Studio Integrationが含まれています。
しかしながら、このツール、Visual Studioのバージョンをチェックしているのか、2018/09/01現在、最新のCUDA Toolkit、cuda_9.2.148_win10.exeでもインストールに失敗します。
というのも公式にも対応しているのは、Visual Studio 2017 15.6となっており対応していないことがうかがえます。
既に、15.8の登場が控えている状況でこれは非常にまずいです。

ということでその対応。

Resolution

公式のフォーラムでもこの問題は話題になっています。
Nvidiaの対応に不満の声が。

そんな中、下記のスレッドのinstalling CUDA 9.2 with VS2017 integration worked for me this way:と言う投稿で対応策が提示されました。

devtalk.nvidia.com

Cuda 9.2 does NOT work with Visual Studio 2017 15.7.1 - NVIDIA Developer Forums

要点は、

cuda_9.2.88_win10.exeをWinRARとかで展開
CUDAVisualStudioIntegration\CUDAVisualStudioIntegration.nviを書き換える
setup.exeを実行
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換える

です。
私の試した手順だと、

cuda_9.2.88_win10.exeを実行し、インストーラを起動して最初の画面で待機
CUDAVisualStudioIntegration.nviを書き換える
インストール続行
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換える

でOKでした。

少し具体的に書くと、

CUDAVisualStudioIntegration.nvi を書き換える

インストーラを起動してから書き換える場合は、"%TEMP%\CUDA\CUDAVisualStudioIntegration\CUDAVisualStudioIntegration.nviが書き換える対象です。
そして、テキストエディタでCUDAVisualStudioIntegration.nviを開き、下記の箇所を削除します。

        <custom phase="handleExistingNsight" action="HandleExistingNsight"/>
        <custom phase="detectDisableCallHome" action="DetectDisableCallHome"/>
        <msi platform="x86" phase="NsightMSINoTraffic" name="${{NsightMSI}}" condition="NsightMSIActionActiveAndNoTraffic" installText="Installing Nsight Visual Studio Edition">
            <arg name="CUDAINSTALLER" value="true"/>
            <arg name="DISABLE_NV_CH" value="1"/>
        </msi>
        <msi platform="x86" phase="NsightMSITraffic" name="${{NsightMSI}}" condition="NsightMSIActionActiveAndTraffic" installText="Installing Nsight Visual Studio Edition">
            <arg name="CUDAINSTALLER" value="true"/>
            <arg name="DISABLE_NV_CH" value="0"/>
        </msi>
        <confirm phase="Confirm-install" when="install" condition="NsightMSIActionActive">
            <fileExists target="${{CommonAppData}}\NVIDIA Corporation\Nsight\Nsight_${{nsightVersion}}_InstallSummary.xml"/>
        </confirm>
        <standard phase="copytemp" condition="NsightMSIActionActive">
            <copyFile source="NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" target="${{CommonAppData}}\NVIDIA Corporation\Nsight\NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" />

        </standard>
        <standard phase="createStartMenuStortcuts" condition="NsightMSIActionActive">
            <createShortcutGroup location="startMenu" linkGroup="${{NsightProgramGroup}}"/>
            <createShortcutLink location="startMenu" targetPath="${{CommonAppData}}\NVIDIA Corporation\Nsight\NVIDIA_Nsight_Visual_Studio_Edition_Win64_5.6.0.18099.msi" linkGroup="${{NsightProgramGroup}}" linkName="Nsight Redistributable"/>
        </standard>
        <custom phase="ParseWarningPage" action="ReadWarningPage" condition="NsightMSIActionActive"/>

    <msi platform="x86" phase="NVTXMSI" name="${{NVTXMSI}}" installText="Installing NVTX"/>

</msi>

</msi>

</confirm>

</standard>

</standard>

host_config.h を書き換える

インストール完了後、C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2\include\crt\host_config.hを書き換えます。
これを書き換えないと、CUDAを使ってコンパイルする際にエラーが出てコンパイルが停止します。
130行目付近の

#if _MSC_VER < 1600 || _MSC_VER > 1913

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

#if _MSC_VER < 1600 || _MSC_VER > 1913

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

を、下記のようにします。

/*#if _MSC_VER < 1600 || _MSC_VER > 1913*/
#if _MSC_VER < 1600

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

/*#if _MSC_VER < 1600 || _MSC_VER > 1913*/

#if _MSC_VER < 1600

#error -- unsupported Microsoft Visual Studio version! Only the versions 2012, 2013, 2015 and 2017 are supported!

#elif _MSC_VER == 1600 /* _MSC_VERION == 1600 */

Takuya Takeuchi By Takuya Takeuchi | 2018年9月1日 | CUDA, GPUPU, Microsoft, Visual Studio | No Comments |

« Previous