office365とbingのボット

不正アクセスがあったという通知。
場所は、現在地から遠く離れた、アメリカ、Boydton, ヴァージニアから。
短時間のうちにアクセスできるはずがないという本人確認チェック。

侵入者のドメインは、マイクロソフト。
サーチエンジン・スパイダー bingの仕業だ。
msnbot-XX-XX-XXX-XX.search.msn.com

AbuseIPDBで調べると、最近、非常に活動的な悪評ボットである。

ヤツは、メールに記載されたワンタイムＵＲＬから侵入した。

ワンタイムＵＲＬが記載されたメールを
マイクロソフトのoffice365で受信すると、
bingのボットが、そのＵＲＬを辿り、アクセスしにいく。

受信時の他、送信時、削除時、
削除済みアイテムから元に戻す操作時に、ボットが活動する。

メールに記載されたＵＲＬを徘徊し、スナップショットをかき集めている。
ボットは、添付ファイルのＵＲＬも辿る。

この仕組みは、いずれ、大きな問題をしでかすと思っている。

arrowheadシステム障害について

１．2018年10月9日（火）arrowheadシステム障害の概要

arrowheadシステム障害により、証券会社約90社のうち、約40社で一部の東証・名証・地取の株式売買が出来なくなった。

メリルリンチ日本証券から東証が大量の通信電文を受信したことにより、接続装置が高負荷になったことが直接的な原因と報告されている。

・午前 7 時 31 分、同社の仮想サーバーと arrowhead のゲートウェイサーバー（東証ＧＷ１）の間で TCP コネクションが正常に確立した直後、同社の別の仮想サーバーが重複した TCP コネクションの確立を試みたことにより、TCP コネクションの管理番号で不整合が発生し、極めて短い間隔で大量の再送要求電文を送信した。
・2 台の仮想サーバーに同一の IP アドレス・ポート番号を設定した状態で、同社が誤って同時に arrowhead に接続を試みたことによるもの。
・arrowhead の接続装置の負荷が高まったことで、システムの安全機構が働き、ゲートウェイサーバー（東証ＧＷ１）の機能を停止させ、今回の事象に至った。


２．arrowheadシステム障害の考察

証券会社と東証arrowheadをつなぐ４系統あるうちの東証ＧＷ１が障害。

東証ＧＷ１に繋がる、証券会社側仮想サーバ１は、当然２重化されており、東証ＧＷ１も２重化されているはずだが、今回は過負荷により両系ダウンした。

午前7時31分接続開始前の時間帯、すでに両系ダウンしている東証ＧＷ１に、他の証券会社仮想サーバが繋ごうとした場合、サービス時間外なのか、障害なのかは、わからない。

この場合の仮想サーバの動きとしては、サービスが開始されるまで、接続をリトライするという動きが一般的だろう。

いったん、接続が確立し、接続が切れたときにはじめて、障害を検知できる。

東証は、午前8時3分と午前8時7分に証券会社向けの通知を出し、当日は接続装置2号機から 4号機に接続されている仮想サーバーを利用するように依頼した。

＜想定される証券会社の対応＞

• 東証GW１障害前に、接続を確立していた証券会社は、障害時に接続断を検知し自動切換え。
• 東証GW１障害後に、接続を試行していた証券会社は、仮想サーバを強制終了し手動切換え。
• 注文受付開始のタイムリミットをチェックしていた証券会社は、自動／手動切換え。
• たまたま、東証GW１と繋がる仮想サーバがない証券会社は、障害なし。
• たまたま、東証GW１と繋がる仮想サーバが、名証、福証、札証の場合もある。

運用でカバーする証券会社もいる中で、対応できない証券会社も見られた。

預かり注文、予約注文等をＱＵＥに溜め込んでいる場合、簡単には手動切換えできない事情も考えられる。

また、システムの思想として、東証ＧＷ１が両系終日ダウンする前提がなかったのではないか？

新しいarrowheadでは、２重化された仮想サーバ１が両系障害になったとき、別の仮想サーバ２が障害仮想サーバ１の仕掛り注文を代行、再送取得し引き継ぐ機能（仮想サーバ代行機能という）が廃止された。

東証ＧＷ１は２重化されており、終日両系ダウンはありえないという前提に立った上で取り除かれた機能と考えられる。

しかし、今回、東証ＧＷ１の両系終日障害が発生した。

※仮想サーバ１は２重化され、通常秒間６０件処理できる（秒間５件、６０件、２００件の料金体系）。回線障害時の即時継続（新規発注）の考慮、処理能力増強を考慮する場合は、仮想サーバ２～４を追加する（多くて３００、秒間１８,０００件？）。仮想サーバの種類を増やすことで処理能力、冗長性は高まるが、コストも発生する。
なお、東証ＧＷ１、仮想サーバ１が両系障害となる場合、仮想サーバの発注の結果通知は同じ仮想サーバに返される仕様のため、代行機能がない以上は、東証ＧＷ１の障害が回復するまで、結果通知（新規、訂正、取消、約定）を取得することができない。
今回の障害は、注文受付開始前の障害のため、たまたま、上記問題は発生しなかった。


３．ＤＭＡについて

DMAとは、ダイレクトマーケットアクセス。
個人のネット取引も、広義にはDMAと呼ばれる。
問題になるのは、証券会社のシステムをバイパスした、スポンサードアクセス。
仮想サーバの名義を貸し、直接アクセスさせる場合、証券会社はリスクを管理する機能（事前チェック、事後チェック）を備えていなければならない。
この管理も放棄した場合は、ネイキッドアクセスと呼ばれる。
運転免許のない友達に、クルマとカギを渡し同乗しない行為として、米国、東証では禁止している。

４．高速取引業者について

コロケーションを問わず、仮想サーバの名義を借り、自動売買を行う業者は、高速取引業者であり、金融商品取引業者（金商業者）ではない場合は、登録が求められる。(2018年4月より施行)

例．「関東財務局長（高速）第〇号」

60社該当していると見られたが、障害10月9日現在、登録10社。
日本国内に事務所を置かない海外業者は、関東財務局の管轄。
10月9日現在、登録事業者は、日本、オーストラリア、シンガポール、香港、英国の10社。
事前に新聞・雑誌で報道されていた、米国住所の業者はいない。

高速取引業者は、内閣総理大臣が登録し、金融庁で監督される。
監督指針には、注文発注時の暴走等の記載はあるが、ログイン時の暴走を考慮する旨の記載はない。

高速取引業者が、発注に対して万全の注意を払っていたとしても、ログインにおける指針がなければ、対応が漏れることも、考えられる。

今回の事象を事前に想定できなかったのだろうか？
個人的には想定できないと思う。

高速取引業者に限った障害でもない。

高速取引業者の登録審査は、金商業者よりも緩い。
最短で、海外での実績・体制があれば、２か月で登録できると思われる。
プロである証券会社管理の下、問題を起こさないような仕組みがあることが前提だろう。
金商業者ではない高速取引業者は、日本の投資家に勧誘を行わないため、規制も緩い。

という視点で見ると、高速取引業者に非はないことになる。

（高速取引の想定接続モデル図）

５．規制について

法によって、基本的な自由権を危険にさらさないためにはどうするべきか。
規制されるような事実に対して、システム対策が求められる。
なぜ問題がおきるか？
それは、制度や管理、人的機能が、想定どおりに果たせないからである。
そうであるならば、システムによる対策と自動化が求められる。


６．具体的なシステム対策案

（１）IPアドレス・ポート番号の設定ミスが問題であれば、人間が設定しなくても接続できるようなシステム対策。気の利いたシステムは利用可能な情報を自動で検知できる。

（２）直接の原因となったログインの再試行、多くの証券会社で対応できない不具合が起きている理由は、接続開始前の障害ケースが、システム仕様上明確になっていないからだろう。

こういう部分は、取引所がライブラリ化・ＡＰＩ化することにより、共通の振る舞いを実装できる。

想定外の事象発生時には、ライブラリ１か所を修正し配布すれば、証券会社との接続テストケースも減らすことができ、労力も削減できる。

多くの参加者に、何通りもの実装、創意工夫の余地を与えないことで、安全な接続が共有される。
結果、ライブラリの不具合により、全参加者が障害になる場合もあるが、全参加者公平に売買不可の状態では、相場の混乱・不平不満は避けられる。

（３）現状、仮想サーバが冗長化されても、障害仮想サーバの仕掛りの復旧、障害中成立した約定情報を引き継ぐ手続きが、arrowheadにはない。
終日障害が起きうる事実を前提とした、仮想サーバ代行機能の実装がarrowheadには必要だろう。

（４）証券会社との間で障害テストを行う対策は、システム仕様、運用手順の不備を究明できるという点で、前進するだろう。


※HFT、DEA、DMA、sponsored access、naked access等の分類。
日本国内、オーストラリア、カナダ、香港、サウジアラビア、シンガポール、英国、欧州連合（EU）、および米国の法律・地方(Local)の法律、規制、海を越えた取引の国際相互間のルール等、東証障害、リスクに係るリンク。

2014年7月
米国市場の複雑性とHFTを巡る議論(JPX)

2016年6月
諸外国における市場構造と HFT を巡る規制動向(FSA)

2017年6月
高速取引行為（ＨＦＴ）規制(DIR)

2017年10月
平成29年金融商品取引法改正に係る政令・内閣府令案等の公表について(FSA)

2018年4月
高速取引行為を行うみなさまへ(FSA)

2018年10月
東証のシステム障害、大手証券とネット・外資系で明暗が分かれた訳(Diamond)
10月9日に株式売買システムで発生した障害について(JPX)
2018年10月に発生した東京証券取引所のシステム障害についてまとめてみた(Kango)

リスク
2017年7月
東証市場における売買に関するコンティンジェンシー・プラン(JPX)

自営LTE

自営SIMカード

【NW未来予想図02】「自営LTE」がWi-Fiを代替?!

モバイルキャリアではなく、企業が自らLTEネットワークを構築する「自営LTE」が2020年には広まっていそうだ。信頼性の高い技術をベースとしていながら、TCOはWi-Fiより抑えられる可能性がある。

2020年、インターネット元年（1995年）から四半世紀の区切りを迎え、それは崩壊する可能性がある。
AIロボットによるサイバー攻撃が横行し、混沌とするサイバー世界。
その未来は暗い。

グーグルreCAPTCHAでロボットアクセスを対策したとしても、リアルタイム性を求められるサイトにとっては、煩雑すぎて使いものにならない。
本来、効率を上げるはずのAIロボットが、人間の手間を増やし、煩わしくも有害な存在となっている。

再び、人間主体、情報発信者、人間中心の世界を模索する動きが訪れる。
例えば、Web3.0の動き。

しかし、より高いステージでのセキュリティを求める場合、インターネットでは多くの問題が存在する。

ジム・ビゾス先生が言うように、そこでは、完璧な安全対策などありえない。

安全性が求められる自動運転ＮＷでは、「自営LTE」対策が急務となる。

インターネットでの指紋認証も、ソフトの使用許諾契約に同意させた上で、ブラウザハイジャックを行い、指紋認証データを搾取する手口が使われた場合には、無意味となる。
モバイル公衆回線は、地震などの災害時にはトラフィックが殺到し、その用を満たせない。

サイバー攻撃に対する対策は、その元凶からの物理的遮断が抜本的対策となる。
インターネット上のセキュリティは、終わりのない対症療法に過ぎず、ステークホルダーの利益にしかならない。

SNSがインターネット上に存在する必要性があるのだろうか？
考えてみてほしい。

インターネットとの遭遇

以下、Newsweek1996新年合併号"The Year of the Internet"記事要約

サーフィンという言葉が海で楽しむスポーツを意味したのはいつ頃だったろう。

１９９５年に入ると、サーフィンとは、インターネットを探索するネットサーフィンを意味するようになった。
このネットワークは、コミュニケーションのあり方も、ショッピングや出版の形態も、ポルノの入手経路まで変えてしまう。
カリフォルニア州マウンテンビューの高速道路のそばに立つ低層ビル。
窓の無いオフィス、マウンテンバイク置き場を左に曲がると、小部屋に行き当たる。
部屋の中は、コンピュータを並べたラックで一杯だった。

なんのへんてつもないこの小部屋を、毎日１００万人の意識が通り過ぎていく。

それは、ヤフー！として知られる混雑したサイトだ。

ありそうもないことを可能にしてしまうのがインターネット。

ある日突然、一般人がインターネットに注目しはじめ、パソコンを買い、インターネットに繋いだ。

目的は、いろいろあるが、多くがエロサイトをサーフィンした。

いわゆる、サイバーポルノについて、マスコミが騒ぎはじめた。

電子商取引を前に、セキュリティー問題も議論された。
完璧な安全対策などありえない（暗号化専門家ジム・ビゾス先生）と言われ、多くが世紀の実験に参加した。

以上、Newsweek1996新年合併号"The Year of the Internet"記事要約

時は流れ、現今。
政府がサイバー攻撃に加担する時代。

世界平和を願う、最強の軍隊こそ、悪事を企む小学生よりも、有害となる能力を持っている。
この能力こそが問題。

amazonawsで検索すれば、迷惑というキーワードが浮上。
皆が、amazonawsをブロックし敬遠しはじめたら、それこそ有害。

Web3.0では、amazonaws、グーグルなど、中央集中の時代から、再び情報発信者、人間、利用者に主体が移ると言われている。

一方、専用回線、プライベートNWが、今よりも安くなり、ロボットの有害性、セキュリティコストを理解するような主体は、あえてインターネットを利用する必要性も無くなるかもしれない。

性善説で成り立つ、インターネットに、セキュリティを求めること、これに依存することが誤りであり、やがて、次の時代が到来すると考える。

まず、自動運転NWは、プライベートLTE対策に追い込まれるかもしれない。

2020年、インターネット崩壊。
それは、新しい時代への幕開けを意味する。

ボットネット活動モデルの概要（２）

（具体的な事例とシステム的な対策）

８．Ｗｅｂサイトスキャンのためのクローラー

・一部セキュリティソフト会社のＷｅｂサイト評価機能において、Ｗｅｂサイトスキャンのためのクローラーが、迷惑と受けとめられるアクセスを行っています。

・フィッシングサイトなど有害なサイトから、セキュリティソフトのユーザを守るため、ユーザが訪れたサイトに対し、Ｗｅｂサイトスキャンが行われます。

・あるステークホルダーにとっては正当なアタックであり、被害を受けるサイトにとっては有害なアタックです。

・世界最大級のＷｅｂサイト安全性評価において、「未評価」とされるサイトは、評価されるまで、Ｗｅｂサイトスキャンが行われます。

・これらのロボットに対し、アクセス制限を行う場合には、有害なトラフィックが長期間継続します。

・「安全」と評価されるよう、ロボットのＷｅｂスキャンアクセスを許したとしても、ロボットのアルゴリズムが未対応の通信を使用するサイトについては、「未評価」のまま、アタックが継続される可能性があります。

・Web App Attack のようなアクセスを行い、DNSキャッシュ期限の切れたルータのドメインアクセス制限（例えば、*.amazonaws等のブロック）を通過します。スループットが求められるルータの多くが、このようなアクセスに完全には対応できません。基本的には、IPアドレスでのガードが必要です。ただし、この事例では、IPアドレスを特定しにくく、その数も１００を超え、アクセス元を変更するため、厄介と言えます。

・ドメインアクセス制限を行う場合には、２重、３重のガードが必要となります。例えば、ルータ（INとOUT）、FW、Webサーバなど。

・継続的にブロックを追加する等、イタチごっこにしないためには、セキュリティソフト会社のＷｅｂサイト評価に対し、「安全」への変更届を出すことも有効な対策です。時間はかかりますが、「安全」と評価されれば、クローラーのアクセスが緩和されます。

・主なＷｅｂサイト評価としては、トレンドマイクロ社、シマンテック社、マカフィ社で運営するものが挙げられます。

・メジャーなブログサービス等配下のサイトは、「安全」と評価されており、このような弊害は確認されていません。

・https通信(SSL)は効果の高い対策です。しかしロボットに対し完璧ではありません。

９．考察

サイバー世界は、性善説に頼る方策を甘美な幻想として退け、一貫して必然のセキュリティを追い求めています。
性善説を否定するならば、ＯＳやブラウザ、セキュリティソフトに悪意はないという性善説は否定されるべきです。
悪意があるかないかは、もはや重要ではなく、有害となりうる能力があるかないか？
セキュリティ上、そのような能力を封じることが求められるならば、ＯＳやブラウザ、セキュリティソフトのアクセス能力も例外ではないと言えるでしょう。
マルウエアもセキュリティソフトも同じ能力を持っています。
ブラウザやＯＳはそれ以上の能力があります。
少なくとも日本国内の多くは、思っている以上に性善説が機能する社会だと思います。
法的な縛りも機能し、企業の自浄作用の原理（プリンシプル）も機能しています。
ごく一部、ほんの少数、千に一つもない、害あるＣ＆Ｃ（コマンド＆コントロール）が存在するにすぎません。
しかしそれは、大量のロボットに指令を下し、害を拡散する。
これが、ボットネット活動モデルです。
その拡散は、セキュリティ上、インターネット接続それ自体を否定することに繋がりかねない脅威となりうるでしょう。

ボットネット活動モデルの概要（１）

サイバー攻撃が問題視される昨今、有害なボットネットによるクローラーが、活動しています。

悪意がない、意図しなくても、それが社会的に有害になる可能性があります。

robot.txtに従わない、ロボット、クローラーそれ自体が有害ですが、その振る舞いを悪用される可能性もあります。

最近、このような対策を見かける機会が増加しています。

ロボット、クローラーからの不正アクセスを防止するため、Googleが提供するreCAPTCHAです。

利用者である人間の手間を増やす迷惑なロボットが増加しているのです。

＜ボットネット活動モデルの概要＞

2016年のDDoS攻撃で世間を騒がせたMiraiボットネット。

このソースは公開され、そのシステムモデル、アイデアは一般的なシステムにも流用されています。

１．ダウンローダー機能

・ソフトの配布

・使用許諾契約の同意

　ユーザID、パスワードを含むURLへのクローリングが行われることの同意。

２．ブラウザにツールバーがアドオン

・ソフトによるブラウザハイジャックが可能になる。

３．Ｃ＆Ｃ（コマンド＆コントロール）サーバ機能

・ユーザのアクセス情報がブラウザのツールバーを経由して、サーバに送信される。

・Ｃ＆Ｃサーバは、ボットネットに対し、クローリングを指令する。

４．ボットネット機能

・Ｃ＆Ｃサーバの指令を受け匿名で活動するボットネット機能。

・以下、例として、１００以上のボットが確認されている。

・compute-1(USA)

・us-west-2(USA)

・ap-northeast-1(JAPAN)

５．弊害を受けるWebサイト

・ドメインの経年数が浅いサイト。

・８０番ポートを利用するサイト。

・ロボットやクローラーからのアクセスを制限しているサイト。

・GETメソッド等、動的なＵＲＬを発行するサイト。

・長時間セッションを継続するサイト。

・例えば、WebSocketを利用するサイト。
・その他、攻撃者の誤検知を誘発する最新技術を使用するサイト。
・同様に、トリッキーな仕組みを使用するサイト。

・十分評価されていない、"Untested"サイト。

６．特徴と弊害

・ブラウザハイジャック。

・クローラーがユーザのアクセスに続いて、同じＵＲＬにアクセス。
・同一のクローラー、複数のクローラーが、１秒間に続いてアクセス。

・通常URLの他、GETメソッド、POSTメソッドによるアクセスが可能。
・ユーザエージェントは偽装され、多くは固定的であるが、追跡するユーザと同じユーザエージェントが設定されている場合もある。

・クローラーのＩＰは千変万化の振る舞いで、ブラックリスト追加は後追い対応となる。　

・ドメイン名を頻繁に変え、DNSキャッシュ期限の切れた、ルータのアクセス制限をすり抜ける。

・行き過ぎたクロールは、DDoS攻撃に間違われる。

・有料情報への不正アクセス。

・機密情報への不正アクセス。

・２重ログイン、セッションハイジャック。
・２重投稿。

・訪問者カウンターに加算。

・匿名ロボットに、つきまとわれるユーザ、防御するＷＥＢサイトへのプレッシャー。

・苦情窓口は見当たらないか、英語での対応に時間がかかり、被害サイトは諦める場合が多い。

７．対処（Webサイト）

・先ずは、ボットネットが利用するプロバイダーまたはクラウド事業者の苦情窓口(ABUSE窓口)に確認してください。

・プロバイダーまたはクラウド事業者は、苦情内容の報告を仲介して、報告者と事業者顧客の両方に満足するよう努めるでしょう。

・そして、法的な懸念が生じれば、対策に動くと思われます。

今後、具体的な事例について説明する予定です。
対症療法としてのシステム的なガードについても説明します。

根本的な対応は、７で述べたように、攻撃者に対して慎むよう申し入れることです。

ボットをブロックする対策では、有害なトラフィックは減りません。
ＩＰ、ドメインを変えるなど、巧妙なアクセスが繰り返されます。

その多くは、意図したものではなく、誤った標的に対して行われる攻撃（誤検知によるアタック）となります。

あるステークホルダーにとっては正当なアタックであり、被害を受けるサイトにとっては有害なアタックです。

その攻撃は、ある利害や目的を持ったビジネスとして行われており、誤った標的に対する攻撃は、攻撃者にとっても不要なコストになるため、大抵は苦情に対して応じると思います。

システムのステータスを、このサイトは”攻撃不要”に変更してもらうことで、解消します。