開発メモ その266 Windows 10 の OCR を試してみる (.NET Framework)

Introduction

Windows 10 に OCR 機能が組み込まれているので、それを試してみたが、言語パックだ Windows Runtime (WinRT) だと色々あったのでまとめた。

サンプルソースは、GitHub に下記を用意しました

• GitHub

サンプルは .NET Framework 4.8 のコンソールアプリケーションです。

How to use?

コーディング前に準備が必要だったりします。

Windows メタデータ の参照

OCR は WinRT として実装、提供されているため、Windows メタデータの参照が必要。

nuget パッケージのインストール

WinRT の各種機能を呼び出すには nuget パッケージ Microsoft.Windows.SDK.Contracts を利用するのが最速。
参照した Windows メタデータと同じバージョンを利用するが安全だと思われる。

コード

シンプルなコードで、ログ出力、処理速度出力をしています。
また、認識に使用する OCR の言語を引数で変更できます。

using System;
using System.Diagnostics;
using System.IO;
using System.Threading.Tasks;
using Windows.Graphics.Imaging;
using Windows.Media.Ocr;

using NLog;

namespace Demo
{

    internal sealed class Program
    {

        #region Fields

        private static readonly Logger Logger = LogManager.GetCurrentClassLogger();

        private static readonly Stopwatch Stopwatch = new Stopwatch();

        #endregion

        #region Methods

        private static void Main(string[] args)
        {
            if (args.Length != 2)
            {
                Logger.Error($"{nameof(Demo)} <languageTag> <image file path>");
                return;
            }

            // Setup ocr engine
            var languageTag = args[0];
            if (!TrySetupOcrEngine(languageTag, out var ocrEngine))
                return;

            // Read image binary
            var path = args[1];
            var image = GetImageBinary(path);
            if (image == null)
                return;

            // Convert to SoftwareBitmap
            var bitmap = ConvertToSoftwareBitmap(image).Result;
            if (bitmap == null)
                return;

            // Run ocr and display result
            RunOcr(ocrEngine, bitmap);
        }

        #region Helpers

        private static async Task<SoftwareBitmap> ConvertToSoftwareBitmap(byte[] image)
        {
            Stopwatch.Restart();

            try
            {
                using (var memoryStream = new MemoryStream(image))
                using (var randomAccessStream = memoryStream.AsRandomAccessStream())
                {
                    var decoder = await BitmapDecoder.CreateAsync(randomAccessStream);
                    return await decoder.GetSoftwareBitmapAsync();
                }
            }
            catch (Exception e)
            {
                Logger.Error(e, "Failed to convert to SoftwareBitmap");
                return null;
            }
            finally
            {
                var ms = Stopwatch.ElapsedMilliseconds;
                Logger.Info($"{nameof(ConvertToSoftwareBitmap)}: {ms} ms");
            }
        }

        private static byte[] GetImageBinary(string path)
        {
            Stopwatch.Restart();

            try
            {
                return File.ReadAllBytes(path);
            }
            catch (Exception e)
            {
                Logger.Error(e, "Failed to get image file binary");
                return null;
            }
            finally
            {
                var ms = Stopwatch.ElapsedMilliseconds;
                Logger.Info($"{nameof(GetImageBinary)}: {ms} ms");
            }
        }

        private static void RunOcr(OcrEngine ocrEngine, SoftwareBitmap bitmap)
        {
            Stopwatch.Restart();

            try
            {
                var task = ocrEngine.RecognizeAsync(bitmap).AsTask();
                task.Wait();
                Stopwatch.Stop();

                var text = task.Result.Text;
                Logger.Info($"Result: {text}");
            }
            catch (Exception e)
            {
                Logger.Error(e, "Failed to run ocr");
            }
            finally
            {
                var ms = Stopwatch.ElapsedMilliseconds;
                Logger.Info($"{nameof(RunOcr)}: {ms} ms");
            }
        }

        private static bool TrySetupOcrEngine(string languageTag, out OcrEngine engine)
        {
            Stopwatch.Restart();

            engine = null;

            try
            {
                var language = new Windows.Globalization.Language(languageTag);

                // https://docs.microsoft.com/en-us/uwp/api/windows.media.ocr.ocrengine.trycreatefromlanguage?view=winrt-22621
                engine = OcrEngine.TryCreateFromLanguage(language);
                if (engine == null)
                {
                    Logger.Error("Failed to create ocr engine because it could be lack of language pack.");
                    return false;
                }

                return true;
            }
            catch (Exception e)
            {
                Logger.Error(e, "Failed to create ocr engine");
                return false;
            }
            finally
            {
                var ms = Stopwatch.ElapsedMilliseconds;
                Logger.Info($"{nameof(TrySetupOcrEngine)}: {ms} ms");
            }
        }

        #endregion

        #endregion

    }

}

認識結果

後述しますが、言語パックの有無で認識精度が変化します。
正しくは、認識させたいテキストの言語に応じた OCR エンジンを生成する必要があるということです。

例えば、下記の画像を日本語の OCR エンジンで認識させます。

$ sources\Demo\bin\Release\Demo.exe ja testdata\ja.png
2022-06-04 22:51:54.4947 [INFO ] TrySetupOcrEngine: 2 ms
2022-06-04 22:51:54.5227 [INFO ] GetImageBinary: 0 ms
2022-06-04 22:51:54.5584 [INFO ] ConvertToSoftwareBitmap: 28 ms
2022-06-04 22:51:54.7014 [INFO ] Result: 昭 和 ニ 十 - 年 憲 法 日 本 国 憲 法 日 本 国 民 は 、 正 当 に 選 挙 さ れ た 国 会 に お け る 代 表 者 を  通 し て 行 動 し 、 わ れ ら と わ れ ら の 子 孫 の た め に 、 諸 国 民 と の 協 和 に よ る 成 果 と 、 わ が 国 全 土 に わ た っ て 自 由 の も た ら す 恵 沢 を 確 保 し 、 政 府 の 行 為 に よ っ て 再 び 戦 争 の 惨 禍 が 起 る こ と の な い や う に す る こ と を 決 意 し 、 こ こ に 主 権  が 国 民 に 存 す る こ と を 目 言 し 、 こ の 法 を 確 定 す る 。 そ も そ も 国 政 は 、 国 民 の 廠 粛 な 信 託 に よ る も の で あ っ て 、 そ の 権 威 は 国 民 に 由 来 し 、 そ の 権 力 は 国 民 の 代 表 者 が こ れ を 行 使 し 、 そ の 福 利 は 国 民 が こ れ を 享 受 す る 。 こ れ は 人 類  普 遍 の 原 理 で あ り 、 こ の 法 は 、 か か る 原 理 に 基 く も の で あ る 。 わ れ ら は 、 こ れ に 反 す る - 切 の 法 、 法 令 及 び 詔 勅 を 排 除 す る 。 日 本 国 民 は 、 恒 久 の 平 和 を 念 願 し 、 人 間 相 互 の 閂 係 を 支 配 す る 崇 高 な 理 想 を 深 く 自 覚 す る の で あ っ て 、 平 和 を 愛 す る 諸 国 民 の 公 正 と 信 義 に 信 頼 し て 、 わ れ ら の 安 全 と 生 存 を 保 持 し よ う と 決 意 し た 。 わ れ ら は 、 平 和 を  維 持 し 、 専 制 と 隷 従 、 圧 迫 と 偏 狭 を 地 上 か ら 永 遠 に 除 去 し よ う と 努 め て ゐ る 国 社 会 に お い て 、 名 誉 あ る 地 位 を 占 め た い と 思 ふ 。 わ れ ら は 、 全 世 界 の 国 民 が 、 ひ と し く 恐 怖 と 欠 乏 か ら 免 か れ 、 平 和 の う ち に 生 存 す る 権 利 を 有 す る  こ と を 確 認 す る 。 わ れ ら は 、 い づ れ の 国 家 も 、 自 国 の こ と の み に 等 念 し て 他 国 を 無 視 し て は な ら な い の で あ っ て 、 政 治 道 徳 の 法 則 は 、 普 遍 的 な も の で あ り 、 こ の 法 則 に 従 ふ こ と は 、 自 国 の 主 権 を 維 持 し 、 他 国 と 対 等 閂 係 に 立 た  う と す る 各 国 の き 務 で あ る と 信 す る 。 日 本 国 民 は 、 国 家 の 名 誉 に か け 、 全 力 を あ け て こ の 崇 高 な 理 想 と 目 的 を 達 成 す る こ と を ふ 。
2022-06-04 22:51:54.7014 [INFO ] RunOcr: 141 ms

多少誤字はあるものの良好な結果です。

英語のテキストを認識出来るか？

下記の画像のような英文です。

日本語の OCR エンジンにかけますが、あまり良くない結果です。

$ sources\Demo\bin\Release\Demo.exe ja testdata\en.png
2022-06-04 23:07:14.7779 [INFO ] TrySetupOcrEngine: 2 ms
2022-06-04 23:07:14.8040 [INFO ] GetImageBinary: 0 ms
2022-06-04 23:07:14.8375 [INFO ] ConvertToSoftwareBitmap: 29 ms
2022-06-04 23:07:14.9762 [INFO ] Result: " The Constitution Of the United states Of America ( 1787 ) (See Note 1 ) Wethe People ofthe united States ′ in 0 「 de 「 t0f0n11 a more perfect Union, establishJustice, insure domesticTranquility, provideforthe common defence, promotethe general Welfare, and secu 「 e the Blessings of Liberty to ou 「 se ⅳ es and ou 「 Posterity, do ordain and establish this Constitution 「 0 「 the United States 0 「 America. Sectlon 1. Alllegislative Powers he 「 ein granted shall be vested in a Congress 0 「 the United States, which shall consist Of a Senate and House Of Representatives.
2022-06-04 23:07:14.9772 [INFO ] RunOcr: 137 ms

英語のテキストを認識させよう

ということで、言語指定を en にしますが

$ sources\Demo\bin\Release\Demo.exe en testdata\en.png
2022-06-04 23:01:11.8062 [ERROR] Failed to create ocr engine because it could be lack of language pack.
2022-06-04 23:01:11.8357 [INFO ] TrySetupOcrEngine: 31 ms

OCR エンジンが生成できません。
これは、指定した言語の OCR エンジンが OS にインストールされていないため、OcrEngine.TryCreateFromLanguage が null を返すためです。

任意の言語に対応した OCR エンジンを追加するには OS の言語設定から言語パックを追加する必要があります。

光学式文字認識 という文字が見えます。

これをインストールすれば OK。
再起動も不要。

再度挑戦。

$ sources\Demo\bin\Release\Demo.exe en testdata\en.png
2022-06-04 23:05:57.2636 [INFO ] TrySetupOcrEngine: 5 ms
2022-06-04 23:05:57.2906 [INFO ] GetImageBinary: 0 ms
2022-06-04 23:05:57.3296 [INFO ] ConvertToSoftwareBitmap: 34 ms
2022-06-04 23:05:57.3826 [INFO ] Result: The Constitution of the United States of America (1787) (See Note 1) We the People of the united States, in Order to form a more perfect Union, establish Justice, insure domestic Tranquility, provide for the common defence, promote the general Welfare, and secure the Blessings of Liberty to ourselves and our Posterity, do ordain and establish this Constitution for the United States of America. Section 1. All legislative Powers herein granted shall be vested in a Congress of the United States, which shall consist of a Senate and House of Representatives.
2022-06-04 23:05:57.3826 [INFO ] RunOcr: 50 ms

劇的に改善しました。
おまけに認識速度も改善です。

Source Code

https://github.com/takuya-takeuchi/Demo/tree/master/ComputerVision/MicrosoftOCR/01_Windows10_OCR_DotNetFramework