取引プラットフォーム

パラメータの設定やエントリーポイントを解説

パラメータの設定やエントリーポイントを解説
図6. 角度とクラス分類確率の関係

PID 理論​解説

閉ループ​システム通常、​制御​システム​において、​「プロセス​変数」​は、​温度​(℃)​や​圧力​(psi)、​フロー​レート​(リットル/​分)​など、​制御​する​必要​が​ある​システム​の​パラメータ​となり​ます。​このプロセス変数がセンサによって測定され、​制御​システム​に​フィードバック​さ​れ​ます。​「設定​ポイント」​と​は、​この​プロセス​変数​の​期待​値​もしくは​コマンド​値​の​こと​です。​例えば、​温度​制御​システム​で​言​え​ば、​摂氏​100 ℃​など​が​設定​ポイント​です。​通常、​プロセス変数と設定ポイントの差は制御システムのアルゴリズムに使用され、​これ​によって​システム​(プラント)​を​駆動​する​ため​の​アクチュエータ​の​出力​が​決まり​ます。​例えば、​計測​した​温度​の​プロセス​変数​が​100 ℃​で、​期待​する​温度​設定​ポイント​が​120 ℃​で​ある​と​し​ます。​この​場合​に​は、​制御​アルゴリズム​が​指定​した​アクチュエータ​出力​によって​ヒーター​が​駆動​さ​れ​ます。​アクチュエータ​を​駆動​する​こと​により​ヒーター​が​オン​に​なる​と、​システム​は​暖か​く​なり、​その​結果、​温度​プロセス​変数​は​上昇​し​ます。​これ​は、​一定​の​フィードバック​を​行う​センサ​の​読み取り​と、​期待​する​アクチュエータ​出力​の​計算​という​プロセス​が​連続​し​て​繰​り​返​さ​れる​ため、​閉ループ​制御​システム​と​呼​ば​れ​ます。​図​1​は​一定​の​ルー​プレート​です。

パラメータの設定やエントリーポイントを解説
図​中​単語
Set Point 設定​ポイント
Compensator 補償器
Actuator Output アクチュエータ​の​出力
System (Plant) システム​(プラント)
Process Variable プロセス​変数


用語​の​定義
制御​システム​を​設計​する​プロセス​において​は、​まず、​性能​の​要件​を​定義​し​ます。​制御​システム​の​性能​は、​ステップ​関数​を​設定​値​の​コマンド​変数​として​適用​し、​プロセス​変数​の​応答​を​計測​する​こと​で​測定​し​ます。​一般​的​に、​応答​は​定義​さ​れ​た​波形​特性​を​計測​する​こと​で​定義​さ​れ​ます。​立ち上がり​時間​と​は、​システム​が​安定​した​状態​もしくは​最終​値​の​10​~​90%​に​達する​ため​に​要する​時間​の​こと​です。​パーセント​オーバー​シュート​と​は、​プロセス​変数​が​最終​値​を​超過​した​分量​を​パーセント​で​示し​た​もの​です​(​×100[%])。​整​定​時間​と​は、​プロセス​変数​が​最終​値​の​ある​一定​の​割合​(通常​5%)​以内​で​整​定​する​ため​に​必要​な​時間​の​こと​です。​定常​状態​エラー​と​は、​プロセス​変数​と​設定​値​の​最終​的​な​差​の​こと​です。​以上​の​定義​は、​工業​分野​や​学問​分野​によって​呼​び​方​が​変わり​ます​ので、​ご​注意​くだ​さい。

図​中​単語
Percent Overshoot パーセント​オーバー​シュート
Rise Time 立ち上がり​時間
Settling Time 整​定​時間
Steady-​State Error 定常​状態​エラー

パラメータの設定やエントリーポイントを解説
図​中​単語
Process Variable プロセス​変数
Set Point 設定​ポイント
Deadtime 無駄​時間​(不​動作​時間)
Time, seconds 時間、秒

PID​理論

比例​制御​(P​制御)
比例​成分​は、​設定​点​と​プロセス​変数​の​差​のみ​に​依存​し​てい​ます。​この​差​の​こと​を​オフセット​といいます。​エラー​信号​へ​の​出力​応答​の​速度​は、​比例​ゲイ​ン​(Kc)​により​決定​さ​れ​ます。​例えば、​オフセット​が​10​の​場合、​比例​ゲイ​ン​5​は​50​の​比例​応答​を​行い​ます。​一般に、​比例​ゲイ​ン​が​大きい​ほど、​制御​システム​の​応答​速度​は​高速​に​なり​ます。​ただし、​比例​ゲイ​ン​が​大​き​すぎる​と​プロセス​変数​は​変動​し​始め​ます。​Kc​が​さらに​大​きく​なる​につれて​変動​も​大​きく​なり、​システム​は​不安定​な​状態​となり、​場合​によって​は​制御​不可能​と​なる​可能性​が​あり​ます。

図​中​単語
Set Point 設定​ポイント
Process Variable プロセス​変数
Error エラー
Output 出力

積分​制御​(パラメータの設定やエントリーポイントを解説 I​制御)
積分​成分​と​は​長時間​に​渡​って​発生​した​オフセット​が​蓄積​さ​れ​た​もの​です。​つまり、​小さい​オフセット​でも、​積分​成分​は​少し​ずつ​増加​し​てい​き​ます。​積分​成分​は、​エラー​が​ゼ​ロ​で​ない​限り​時間​の​経過​に​伴​い​増加​し​続ける​ため、​定常​状態​エラー​を​ゼ​ロ​に​しよう​と​する​もの​です。​定常​状態​エラー​と​は、​プロセス​変数​と​設定​値​の​最終​的​な​差​の​こと​です。​積分​成分​の​係数​が​大​きく​なる​と、​設定値に到達するまでの積分成分エラーが蓄積され、​その​影響​が​キャンセル​さ​れる​まで​設定​値​を​上回る​状態​となり​ます。​この​現象​を​ワインドアップ​と​呼​んで​い​ます。

微分​制御​(D​制御)
プロセス​変数​が​急激​に​増加​すると、​微分​成分​の​ため​に​出力​が​低下​し​ます。​微分​応答​は​プロセス​変数​が​変化​する​速度​に​比例​し​ます。​微分​時間​(Td)​パラメータ​を​増加​すると、​制御​システム​は​誤差​項​の​変化​に対して​大​きく​反応​し、​制御​システム​応答​の​速度​は​全体​的​に​向上​し​ます。​微分​制御​は​プロセス​変数​信号​の​ノイズ​に対して​影響​を​受け​やすい​ため、​通常、​実際​の​制御​システム​において​は​非常​に​小さい​微分​時間​(Td)​を​使用​し​ます。​センサ​の​フィードバック​信号​の​ノイズ​が​大きい​場合​もしくは​制御​ループ​速度​が​非常​に​遅い​場合​に​は、​微分​制御​システム​は​不安定​に​なる​可能性​が​あり​ます。

チューニング


​P(比例)・​I(積分)・​D(微分)​が​制御​システム​から​理想​的​な​応答​を​得る​ため​に​ゲイ​ン​を​最適​化​する​プロセス​を、​チューニング​といいます。​チューニング​に​は​様々​な​メソッド​が​あり​ます。​Guess and Check​メソッド​と​Ziegler Nichols​メソッド​について​後ほど​ご​説明​し​ます。

PID​コントローラ​の​ゲイ​ン​は​Guess and Check​メソッド​により​得​ら​れ​ます。​この​メソッド​は、​各​ゲイ​ン​パラメータ​の​重要性​を​理解​す​れ​ば​比較的​簡単​です。​この​メソッド​では、​まず​I​と​D​がゼロに設定され、​ループ​出力​が​変動​する​まで​比例​ゲイ​ン​が​向上​し​ます。​比例​ゲイ​ン​を​向上​させる​と​システム​は​高速​に​なり​ます​が、​システム​が​不安定​な​状態​に​なら​ない​よう​対策​が​必要​となり​ます。​P​が​希望​の​応答​速度​と​なる​よう​設定​さ​れる​と、​積分​パラメータ​が​増加​し​て​変動​は​停止​し​ます。​積分​パラメータ​により​定常​状態​と​の​誤差​は​減少​し​ます​が、​オーバー​シュート​は​増加​し​ます。​ある程度​の​オーバー​シュート​は​常に​高速​な​システム​に​必要​な​ため、​変化​に​即​反応​する​可能性​が​あり​ます。​定常​状態​と​の​誤差​を​最小限​に​抑える​ため、​積分​パラメータ​を​微​調整​し​ます。​定常​状態​と​の​誤差​を​最小限​に​抑え​た​最適​な​高速​制御​システム​と​なる​よう​P​と​I​が​設定​さ​れる​と、​ループ​が​容認​できる​程度​の​高速​で​設定​点​に​戻る​まで​微分​パラメータ​が​増加​し​続​け​ます。​微分​パラメータ​が​増加​すると​オーバー​シュート​が​減少​し、​安定性​の​ある​高​ゲイ​ン​となり​ます​が、​システム​は​ノイズ​の​影響​を​非常​に​受け​や​すく​なり​ます。​制御​システム​において​は、​アプリケーション​ニーズ​へ​の​対応​を​考慮​し、​一つ​の​特性​を​得る​代わり​に​もう​ひとつ​の​特性​を​妥協​する​といった​こと​が​よく​行​われ​ます。

Ziegler-​Nichols​メソッド​も、​広​く​普及​した​PID​コントローラ​の​チ​ュ​ー​ニ​ン​グ​メソッド​です。​これ​は、​I​と​D​がゼロに設定され、​ループ​の​変動​開始​まで​P​が​増加​する​点​において、​Guess and Check​メソッド​と​似​てい​ます。​変動​が​開始​さ​れる​と、​限界​ゲイ​ン​(Kc)​と​変動​周期​(Pc)​が​記録​さ​れ​ます。​P、​I、​D​は、​以下​の​表​に​ある​よう​に​調整​さ​れ​ます。

RCIトレード手法!トレンド転換や順張りのエントリーポイントがわかる!

RCI

出所:TradingView

RCI(アール・シー・アイ)とは

RCIとは

RCIとはRank Correlation Indexの略で、日本語では「順位相関指数」と呼ばれます。

RCIは3つの期間から算出したラインを同時に使うことで、トレンド転換の初動をとらえかつ押し目(戻り目)のタイミングをつかむのに適している、テクニカル指標です。

【2021年4月にリライトしました。いつの時代になっても基礎は変わらず、何年経っても使えます。自分で読み返しても編集のしようがないと自負しております(笑) by ひろぴー】

RCIの見方とトレード手法について

レンジ相場とトレンド相場の例

出所:TradingView

RCIの基本的なパラメーター(期間)は短期9、中期26、長期52とします。

RCIの見方は、中央値の±0を基準に、+0~+100%が上昇基調を表し、-0~-100%が下落基調を表しています。

RCI短期9の使い方:エントリー用

特徴としてはストキャスティクス程ではありませんが、比較的切り返しが早く、きびきびと動きます。

例:RCI短期9の使い方

まず、ピンクで四角く囲ったゾーンですが、下落トレンド相場最中の少し戻しを試しているタイミングといった局面でしょうか?
ローソク足自体はあまり値を戻せていないように見えますが、RCI9は大きく戻しております。 -80以下での推移から一気に+60~70近辺までぐらいの上昇をしております。

転移学習とは | メリット・デメリット・ファインチューニングの意味


出典:https://ruder.io/transfer-learning/index.html

転移学習のメリット

転移学習の流れは、人が過去の経験を活かして新しい物事を習得する流れと似ています。

  • 限られたデータから高精度なモデルを作成できる

データを取得し始めたばかりでデータ量が少ない、データはあるがラベル付けする時間や労力が惜しい、自動運転など実際に運転してデータを取得するのは危険が伴うなど、現実的には高品質なデータを大量に取得することは難しい場合が多いです。転移学習では、大量の高品質なデータのある領域の知識を転移させることで、限られたデータしかない領域においても高精度なモデルを作成できます。

転移学習のデメリット

良いことづくめのように思える転移学習ですが、知識を移転することで精度の改善ではなく悪化をもたらす場合があります。これを、負の転移(negative transfer)といいます。負の転移が起こる原因としては、転移元と転移先の関連性が低いことや、転移の方法が適していないことなどが考えられます。転移学習を活用する場合は、転移学習をしたモデルとしなかったモデルで精度を比較し、負の転移が起きていないか確認する必要があります。

転移学習の問題設定

転移学習の定義

まずは、ドメインタスクについて紹介します。前章で、転移学習とはある領域の知識を別の領域の学習に適用させる技術と説明しましたが、この領域=ドメインです。ドメイン\(D\)は、特徴空間\(\chi\)と周辺確率分布\(P(X)\)で構成されます。タスク\(T\)は、ラベル空間\(パラメータの設定やエントリーポイントを解説 \gamma\)と、条件付き確率分布\(P(Y|X)\)で構成されます。

サイトの記事がAI関連か否か分類するモデルの例で、ドメインやタスクを図示すると以下のようになります。

次に、ソースとターゲットについて説明します。ソースは知識の転移元を指し、ターゲットは知識の転移先を指します。知識の転移元のドメインはソースドメイン\(D_S\)、タスクはソースタスク\(T_S\)です。同じように、知識の転移先のドメインはターゲットドメイン\(D_T\)、タスクはターゲットタスク\(T_T\)といいます。

転移学習とは、\(D_S, T_S, D_T, T_T\)が与えられたとき、\(D_S≠D_T\)または\(T_S≠T_T\)において、\(D_S\)や \(T_S\)の情報をうまく使って予測関数\(η\)を学習することです。

転移学習の扱う問題

転移学習が行われるのは、\(D_S≠D_T\)または\(T_S≠T_T\)のときです。\(D=\lbrace \chi, P(X)\rbrace, T= \lbrace \gamma, パラメータの設定やエントリーポイントを解説 P(Y|X)\rbrace \)という定義から、転移学習の扱う問題は以下の4つに分けられます。

先ほどのサイト記事分類の例でいうと、ソースのサイトは日本語版でターゲットのサイトは英語版というように、記事の言語が異なる場合です。特徴空間が異なる問題への転移学習を、異質な転移学習(Heterogeneous Transfer Learning)ともいいます。

ソースのサイトとターゲットのサイトで単語の出現頻度が変わっている場合、つまりソースとターゲットのサイトが異なる場合です。特徴空間は同じで、周辺確率分布が異なる問題への転移学習を、同質な転移学習(Homogeneous Transfer Learning)ともいいます。

ソースのタスクはサイトの記事を2つに分類するのに対し、ターゲットのタスクはサイトの記事を3つで分類する場合です。

ソースのサイトとターゲットのサイトでラベルの出現頻度が異なる場合です。

転移学習を活用するうえで重要な3つのポイント

  1. 何を転移するのか

ターゲットタスクへのパフォーマンスを向上させるために、知識のどの部分をソースからターゲットへ転移すべきか

知識を移転することで、精度の改善ではなく悪化をもたらす場合がある(負の移転)。問題に対して転移学習の活用が適切か否かの判断に注意する必要がある。

転移学習技術

問題設定に基づく転移学習技術の分類

モデルを学習する問題設定に応じて、転移学習技術を分類したものが以下の表です。ソースとターゲットのドメインとタスクが同じな場合は、伝統的な機械学習手法(教師あり学習、教師なし学習 など)を用います。

A Survey on Transfer Learning(2009)をもとに作成

  • 帰納的転移学習(Inductive Transfer Learning)

ソースドメインとターゲットドメインが同じか否かに関わらず、ソースタスクとターゲットタスクが異なります。帰納的転移学習は、ターゲットドメインにラベルがあることが前提です。ソースにラベルがあるか否かでさらに2分できます。産業技術研究所の神嶌氏のサーベイでは、ソースドメインにラベルがある場合を帰納的転移学習、ソースドメインにラベルがない場合を自己教示学習と区分しており。名称の定義は文献によって違いがあります。

帰納的転移学習と同じく、ソースタスクとターゲットタスクが異なります。教師なし転移学習は、教師なし学習のタスクであるクラスタリングや次元削減をターゲットドメインで解くものです。この場合、ソースドメインとターゲットドメインの両方にラベルはありません

上述した3種類の特徴をまとめたものが以下の表です。

A Survey on Transfer Learning(2009)をもとに作成

アプローチに基づく転移学習の分類

転移学習のアプローチは、何を転移するかで4種類に分けることができます。個々のドメインやタスクに依存する知識がある一方で、異なるドメイン間で共通の知識もあります。共通の知識を見つけソースからターゲットに転移できれば精度向上に役立つため、何を転移するかは重要な問題です。

  • インスタンス転移

ソースドメインのインスタンス(観測値, データセット)のある部分を再重み付けすることで、ターゲットドメインの学習に再利用する。

ソースドメインとターゲットドメインの差や、分類・回帰モデルの誤差を軽減する良い特徴表現を見つける。

ソースとターゲットがモデルのハイパーパラメータのパラメータまたは事前分布を共有していることを前提とし、共有されているパラメータや事前分布を発見し、転移学習に役立てる。

どの問題設定においてどのアプローチが利用可能かを示したものが以下の表です。

A Survey on Transfer Learning(2009)をもとに作成

ディープラーニングのための転移学習

  • ネットワークベース(Network-based)

ソースドメインで事前に学習した部分的なネットワークを、ネットワーク構造や重みなどを含めて再利用し、ターゲットドメインで使用するもの。ディープラーニングでの転移学習を調べると、まず最初にこのアプローチが出てくるほど有名。

A Survey on Deep Transfer Learning(2018)をもとに作成

前章のインスタンス転移と同じく、ソースドメインのインスタンスのある部分を再重み付けすることで、ターゲットドメインの学習に再利用するもの。

A Survey on Deep Transfer Learning(2018)をもとに作成

ソースドメインとターゲットドメインのインスタンスを新しいデータ空間にマッピングし、2つのドメインの間のインスタンスをより類似させるもの。新しいデータ空間にあるすべてのインスタンスを学習に利用する。

A Survey on Deep Transfer Learning(2018)をもとに作成

GANの技術を活用し、ソースドメインとターゲットドメインの両方に適用可能で転移可能な表現を見つけるもの。ソースドメインとターゲットドメインそれぞれから特徴量を抽出し、GANの識別ネットワークでどちらのドメインからきた特徴量かを判別させる。識別ネットワークの判定精度が低ければ、ソースドメインとターゲットドメインの特徴量の差が小さく、転送性が良い。反対に判別性能が高い場合は、特徴量の差が大きく、転送性が低いといえる。

1. 既成の事前学習済みネットワークの活用(ネットワークベースの転移学習)

ディープラーニングでは、異なる層で異なる特徴を学習しています。たとえば犬か否かの画像分類を行うディープラーニングのモデルがあった場合、最終層で犬か否かの最終的な出力が得られますが、最終層の手前までは画像の特徴を学習したネットワークができています。既成の事前学習済みネットワークの活用では、特徴を学習したネットワークの重みは固定したままで、ターゲットのタスクを解くための新たな層の重みのみを学習します。

2. 既成の事前学習ネットワークの微調整(ファインチューニング)

既成の事前学習済みネットワークの特徴抽出器としての活用では、学習済みネットワークの重みは固定し、新たな層の重みのみを学習していました。一方ファインチューニング(fine tuning)では、学習済みネットワークの重みを初期値として、モデル全体の重みを再学習します。

LPOとは?基礎からLP改善方法までをご紹介!

■SEO課題を自動抽出する 上位表示支援SEOツール

LPOの改善方法

定量・定性分析

  • 流入の多い広告はどれか?
  • 検索キーワードは何か?
  • コンバージョンの多い広告はどれか?
  • LPからコンバージョン(CV)までのページ遷移
  • 流入の多いページはどれか?
  • 離脱・直帰の多いページはどれか?
  • ページのどの辺りまで見られているか?

Google Analyticsでは現状のCVRやセッション数、直帰率や滞在時間などを数値で分析し、 ヒートマップツールでは、実際にページ内でどの箇所がより多くクリックされているのか、どのエリアが長い時間閲覧されているのか、などを視覚的に分析します。

一つ注意点として、Google Analyticsは無料のツールですが、ヒートマップツールに関しては有料の場合がほとんどになります。 ヒートマップツールがなくても、LPO対策自体は可能ですが、よりクリティカルな課題の発見のためには、ヒートマップツールを用いることをオススメします。

施策立案

LPO施策手順

効果検証

LPO効果検証手順

ABテストツールとして最もオーソドックスなのが、Googleが無料で提供する「Google Optimize」になります。
こちらのツールを導入すると、Webサイトを作成するための専門知識(HTMLやCSSと呼ばれるもの)がなくてもサイトに改善策を反映させられることに加え、自動でページの出し分け設定を行うことが可能です。

LPOが上手くできない場合

ここまで、LPOを実施する際の手法やポイントなどをご紹介しました。しかし、
「実際にアクセス解析を見てみたけど、どこが課題なのかがわからない」
「課題は発見できたけど、実際にLPをどのように改善すれば良いのかわからない」
このようなWeb担当者さまも少なくありません。

「効率的にLPOを行いたい!」 パラメータの設定やエントリーポイントを解説
「具体的に改善施策を出して欲しい!」
そんな担当者さまがいらっしゃいましたら、こちらからお問い合わせページに遷移できますので、ぜひ一度ご相談ください。

まとめ

「TACT SEO」は、キーワード調査や日々の順位計測、サイト内のSEO課題の発見などSEO対策を行うために必要な機能が一つになったツールです。 パラメータの設定やエントリーポイントを解説 自社サイトが上位表示できていない要因を網羅的に分析することが可能です。 入力時間は30秒!無料版、ぜひお試しください。

SEOに関して、何から着手すべきかわからない、なかなか成果がでないなどのお悩みがございましたら SEO無料相談も受け付けておりますので、お気軽にお問合せください。

【連載②】パラメータを自動調整する深層距離学習 -Adacos-【不良品検知ブログ】

f:id:brainpad-inc:20201223141437p:plain

今回は、深層距離学習(Deep Metric Learning)の1手法であるAdaCosを用いた不良品検知のアプローチを検証します。AdaCosは顔認識の分野で分類性能の高さが報告されており、異常検知を含む様々な分野での応用が期待されている手法です。大きな特徴はパラメータ自動調整機構により、人手によるパラメータ調整なしにその性能を発揮できる点です。ブレインパッドの不良品検知システム構築案件の中には、システムの構築後の保守作業は自分たちで遂行したいと望まれるクライアントは少なくありません。そういった場合にパラメータ調整に頭を悩ます必要がないAdaCosは有用だと言えます。

距離(Metric)と異常検知

距離(Metric)とは

k近傍法を用いた異常検知

f:id:bp-writer:20201221124855p:plain

図1. k近傍法による異常検知

深層距離学習(Deep Metric Learning)とは

f:id:bp-writer:20201221125017p:plain

図2. 深層距離学習の概念図

この損失関数の設計について多く提案されていますが、最近では特にL2 softmax loss*1、CosFace*2、ArcFace*3といった手法が人物認識や顔認識などのタスクで高い分類性能を示すことが報告されています。これらは、コサイン類似度を用いて損失関数を設計することで、出力のベクトルが同一球面上に分布されるように学習させる手法です(図3)。

f:id:bp-writer:20201221125044p:plain

図3. 角度を用いた深層距離学習の概念図

論文紹介 -AdaCos-

  • 従来のコサインベースの損失関数を利用した手法(L2 softmax loss、CosFace、ArcFaceなど)に対するパラメータ自動調整機構を提案
  • パラメータ調整をした従来手法に対して、同等以上の分類性能を達成

問題設定、リサーチクエスチョン

AdaCosは顔認識のタスクを想定して提案された深層距離学習手法の一つです。顔認識タスクの難しい点は、顔の向きや撮影時の照明などの要因によって、同じ人物であるにも関わらず特徴が大きく異なる画像を分類しなけらばならないという点です。深層距離学習は、深層学習の高度な特徴量抽出能力により分類がしやすい距離構造を学習することで、先ほど述べた顔認識タスクの問題を解決することができます。特に近年では顔画像間の距離をコサイン類似度を用いて測る手法(L2 softmax loss、CosFace、ArcFaceなど)が分類性能向上に貢献してきました。一方でこれらの手法はハイパーパラメータの値によって性能が大きく変動し不安定という問題も明らかになっています。

損失関数とパラメータ

f:id:bp-writer:20201221125304p:plain

図4. ArcFaceの全体像

ArcFaceの損失関数は、通常の分類タスクで多く利用されているsoftmax lossをベースにしています。式(1)は、サイズNのミニバッチに対するsoftmax lossを表し、がミニバッチ内のイテレーション、が出力された特徴量、がに対する正解ラベル、がネットワークの最終層の重みベクトルを意味します。この式は、損失をとの内積、つまりとのコサイン類似度に基づいて計算します。

f:id:bp-writer:20201221125441p:plain

図5. ArcFaceのマージン

パラメータがモデルの学習に与える影響

f:id:bp-writer:20201221125520j:plain

図6. 角度とクラス分類確率の関係

AdaCosの自動調整機構

f:id:bp-writer:20201221125555p:plain

図7. 学習段階に応じたパラメータの調整の方針

論文の実験結果の一部

IARPA Janus Benchmark C (IJB-C)*4という1対1の顔認識用データセットに対する提案手法と従来手法のTAR(True Accept Rate)による性能比較の結果を下に載せます(図8)。ArcFaceとAdaCosの黒字で最高性能であることが示されています。注目すべきは、パラメータ調整なしにArcFaceと同等以上の性能を示している点です。AdaCosのこの特徴は、例えば、不良品検知システムに変更があり、モデルの再学習しなければならないといった実案件のケースで調整の手間を省くメリットなどがあります。次の実験で、実案件への応用を念頭に性能検証をしていきたいと思います。

f:id:bp-writer:20201221125932j:plain

図8. AdaCosと従来手法の性能比較

AdaCosの不良品検知の性能検証実験

  • モデル
    • CNNはResNet18を採用
    • 入力画像は512×512にリサイズして、グレースケール変換
    • 学習時の画像はランダムに縦横の反転と、サイズの拡大縮小、回転をデータ拡張として適用
    • 2値の教師あり学習モデル
    • 損失関数の出力次元数(クラス数)は20に設定
    • データセット
      • MVtecAdの'leather'を使用
      • 複数の不良品クラスを一つに統合
      • 学習データに不良品が含まれていないので、テストデータの不良品を半分移動

      f:id:bp-writer:20201221142801p:plain

      図11. 潜在空間上のデータの可視化

      不良品検知の性能検証結果

      k近傍法による不良品検知

      f:id:bp-writer:20201221142901p:plain

      図12. k近傍法を用いた不良品検知の結果

      クラス分類確率を用いた不良品検知

      AdaCosの損失関数はsoft max lossベースなため、各クラスに対するクラス分類確率を用いて損失を計算します。せっかくなので、このクラス分類確率を取り出して異常検知に利用するアプローチも試してみます。今回は、異常スコアを「1 - 良品クラスに対するクラス分類確率」とします。

      f:id:bp-writer:20201221142938p:plain

      図13. クラス分類確率を用いた不良品検知の結果

      クラス別の不良品検知の性能検証とモデルの重みの可視化

      f:id:bp-writer:20201221143012p:plain

      図14. 不良品クラスごとの正解率

      パラメータ調整の煩雑さから本当に開放されるのか

      AdaCosによって損失関数のパラメータ調整は不要ですが、AdaCosで用いる深層ニューラルネットワーク部分で、ネットワークパラメータやデータ拡張の設定は必要です。今回の検証中、データ拡張の設定で非常に時間がかかりました。そういう意味で、AdaCosがイントロで想定したような ”調整いらずの内製化が容易なアルゴリズム”とは言えないと思われます。

      学習速度、検知性能

      AdaCosは、効率的に学習を進めるために学習中に自動的にパラメータを調整するアルゴリズムです。そのため、従来の手法より、短い学習速度で高い性能を実現することが期待できます。この性質より、不良品検知の問題設定は変わらず、学習データの追加といった簡単な変更が発生する場合に、従来の手法より早くモデルの再構築が可能です。実際の案件において、例えば、学習データの更新をなるべくはやくモデルの性能に反映させなければならないという要件がある場合に適していると思われます。

      不良個所の特定

      今回はGradCamという深層学習のネットワークの重みを可視化するアルゴリズムを用いて、不良個所の特定を試みました。今回の検証では、検知の正解率が高い不良についてほぼ正確に不良個所を特定できたため、不良個所の位置も知りたいクライアントに対してその要望に応えられる可能性があります。しかし、あくまで重みの可視化なため、必ずしもGradCamの可視化画像とモデルの不良の判定基準が一致しているとは限らないことに注意は必要です。

      *1 : Ranjan, Rajeev, et al. “L2 CONSTRAINED SOFTMAX LOSS FOR DISCRIMINATIVE FACE VERIFICATION.” ArXiv Preprint ArXiv:1703.09507, 2017.

      *2 : Wang, Hao, et al. “CosFace: Large Margin Cosine Loss for Deep Face Recognition.” 2018 IEEE/CVF パラメータの設定やエントリーポイントを解説 Conference on Computer Vision and Pattern Recognition, 2018, pp. 5265–5274.

      *3 : Deng, Jiankang, et al. “ArcFace: Additive Angular Margin Loss for Deep Face Recognition.” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 4690–4699.

      *4 : Maze, Brianna, et al. “IARPA Janus Benchmark - C: Face Dataset and Protocol.” 2018 International Conference on Biometrics (ICB), 2018, pp. 158–165.

      関連記事

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次
閉じる