Posts

入出力線形化 (フィードバック線形化) とは 非線形システムに、非線形性を打ち消すような入力を加える事で、閉ループ系を線形化する制御法。 安定化が目的ではないので、得られた線形システムに対して線形制御法を適用する必要がある。 利点として 通常の(ヤコビアンを用いる)線形化と違って、近似を用いない 欠点として システムの動特性を全て知っていなければならない その動特性は正方、入力アフィンという形をしていなければならない (拡張可能) 線形化のために大きな入力を加えるため、入力飽和などのあるシステムに適用しづらい などが挙げられる。 入出力線形化 #仮定 今、制御対象が以下の動特性に従うとする。 $$\dot x = f(x) + g(x)u\ y=h(x)$$ $x(t) \in R^n, u(t) \in R^m, y(t) \in R^m$はそれぞれ状態、入力、出力を表す。 $f:R^n\rightarrow R^n$および$g: R^n\rightarrow R^{n\times m} $については特になにも仮定しないが、$h: R^n\rightarrow R^m$は必要回数分だけ微分可能だとする。 このシステムは入力に対してアフィンな形をしているため、そのまま入力アフィン (input-affine, control-affine) と呼ばれる。 入力アフィンシステムは、機械システムなどによくみられる、非常に重要なクラスらしい。 また、今回入力と出力の次元は同じと仮定している。 このことをシステムは正方 (square) であるという。 #線形化制御器 今、 $$u = C(x,v)$$ を設計することで、与えられた非線形システムを$v$から$y$に対して線形にすることを考える。 この問題に対して、いきなりだが制御器$u$を、下記で与えてみよう。 $$u = L_gh^{-1}(x)(-L_fh(x) + v)$$ ここで、Lie微分と呼ばれる記法 $$L_fh(x) = \frac{\partial h}{\partial x} f(x)\ L_gh(x) = \frac{\partial h}{\partial x} g(x)$$ を用いた。 ...

筆者は終始「節目の期間はしっかりキャリアについて考える。それ以外の期間では目の前のことに打ち込み、時には偶然に流される(ドリフトする)ことも必要」という主張に徹する。 なので、この主張を真に理解している人は本書を手にする必要はないと思う。 本書のメインターゲットは就活生とミドル世代の2種類である。 また本書では、これらの層を想定したいくつかのエピソードやエクササイズが紹介されていて、キャリアデザインを「自分の問題」として考えさせる工夫が凝らされている。 個人的に、以下の自己イメージに関するエクササイズに考えさせられた。 自分はなにが得意か。 自分はいったいなにをやりたいのか。 どのようなことをやっている自分なら、意味を感じ、社会の役に立っていると実感できるのか。 それぞれの問いは 能力・才能についての自己イメージ 動機・欲求についての自己イメージ 意味・価値についての自己イメージ を照射しているという。キャリアを意識する上で、避けては通れない質問だと感じた。 また、筆者は本書のはじめに「研究に基づく見解」を披露すると述べており、個人的に「キャリアデザイン」という科学らしからぬ問題に対して、どのような研究が存在するかが興味をもった。 実際には、多数の論者の言葉や考え方を引用するものの、定量的な考察はあまり見受けられず、「研究」という言葉の意味の齟齬を感じた(多分これは僕の考える「研究」があまりに狭義であるため)。 しかしながら、それらの考え方の中には、確かにそうだな、と実感させられるものもあり、キャリアに対する態度を改める必要すら感じた。 例えば、筆者が参加したエンジニアリング産業の社長会に参加した際、ある社長から耳にした言葉と、それに対する筆者の考えなどは、覚えておきたいと思った。 「エンジニアリング産業の海外エンジのプロジェクトなんて、(中略)勘のいいバイタリティあふれる人なら、三十歳を超えるころには、だいたいプロジェクト・マネジメントができるようになる。そのあとは何箇所経験してもいっしょだ」 この発言は、キャリア・トランジション・サイクルというモデルの重要さを説くための例として用いられている。 このモデルは、ロンドンビジネススクールのナイジェル・ニコルソンにより提唱されたもので、 新しい世界に入る準備段階 実際にその世界にはじめて入っていって、いろいろ新たなことに遭遇する段階 新しい世界に徐々に溶け込み順応していく段階 もうこの世界は新しいとはいえないほど慣れて、落ち着いていく安定化段階 の4段階からなる。筆者によれば、このサイクルを螺旋状に上昇させていくことが、キャリアを発達させるために必要なことであり、上述の社長のようなサイクルは、望ましくないのだという(もちろん筆者は、エンジニアリング産業を批判したいわけではない)。 全体を通して、共感できないというか、納得できないというか、そういう記述もあり、それらはひとえに僕に社会人としての経験が不足していることによるものだと思う。 もしかすると、10年後くらいにもう一度読み直すことになるかもしれない。 働くひとのためのキャリア・デザイン (PHP新書)posted with amazlet at 15.06.02金井 壽宏 PHP研究所 売り上げランキング: 5,724 Amazon.co.jpで詳細を見る

某有名投資家のおすすめ書籍として紹介されていたことをきっかけに読み始めた。 株そのものに興味があるというよりも、日々ブログや経済ニュースで目にする用語を理解したかった。 全体として初学者にもわかりやすく、経済学の知見とそれに基づく著者の意見が記述されている。 ただ、数学が苦手な人への配慮から、数式による説明をすべてスキップしており、意見の根拠となる知見の導出過程が具体的にわかりづらい。 そのため、捻くれた読み方をすると「根拠の無い理論に踊らされることを警告しつつ、根拠の無い手法を提案する本」としてみなされかねない。 まあこの辺を言い出すと、経済学の教科書や学術論文以外の(またはこれらを含む)すべてを疑わなければならなくなり、きりがないのかもしれないけれど…… 数式による記述がないメリットとして、読み物としてとても読みやすく、(内容を無根拠に信じるという前提にたてば)投資に対する明快なアドバイスが書かれており、思わず実践してみたくなるほど興味深い。 また、確定拠出型年金に対するある種の最適戦略を与えており、就職後役立つ知識が得られたと思う。 以前、新保の『金融商品とどうつき合うか―仕組みとリスク (岩波新書)』を読んだが、重複する箇所も多少あった。 比較的原理から説明してくれる本が『金融商品と〜』であり、より実践的なアドバイスが書かれているのが本書ということになると思う。 臆病者のための株入門 (文春新書)posted with amazlet at 15.05.15橘 玲 文藝春秋 売り上げランキング: 1,560 Amazon.co.jpで詳細を見る 金融商品とどうつき合うか―仕組みとリスク (岩波新書)posted with amazlet at 15.05.15新保 恵志 岩波書店 売り上げランキング: 423,798 Amazon.co.jpで詳細を見る

##カルマンフィルタとは 「離散時間システムの出力から、システムの状態を最小二乗の意味で推定する」 ##問題設定 今回はもっとも簡単な線形時不変の方程式 $ x(k+1)= A x(k) + Bu(k) + Gw(k)$ $ y(k) = Cx(k) + v(k)$ を考える。 ここで、$w(k),v(k)$はそれぞれ白色ガウスノイズであることを仮定し、その平均と共分散は $E[w(k)] = E[(v_k)] = 0$ $E[w(k)w(k)^T] = Q, E[v(k)v(k)^T] = R$ であるとする。$w(k)$と$v(k)$の間に相関はないものとする。 初期値もガウスであるとし、その平均と分散は $E[x(0)] = \bar x(0)$ $E[(x(0)-\bar x(0))(x(0)-\bar x(0))^T] = \Sigma_0$ であるとする。 今、時刻$k-1$までの入力${u(0),\ldots,u(k-1)}$(以後$U_0^{k-1}$と表示)と時刻$k$までの出力${y(1),\ldots,y(k)}$(以後$Y_1^{k}$と表示)がわかっているとする。 ###問題 $\hat x(k) = \text{argmin} E[(x(k)-\hat x(k))^T(x(k)-\hat x(k))]$ を満たす$\hat x(k)$を求めよ。 ##アイデア 上記の問題は、右辺を計算することで $\hat x(k) = \text{argmin} E[(x(k)-\hat x(k))^T(x(k)-\hat x(k)) | Y_1^k, U_0^{k-1}]$ と書き換えられる。 これを更に変形していくと、 $\hat x(k) = E[x(k)|Y_1^k, U_0^{k-1}]$ ...

アイルランドに来て3日経ちました。 入国後まずはじめにしたことが、通信環境を整えること。 アイルランドには主にVodafone, Meteor, 3(Three)などのキャリア会社がありますが、今回はMeteorのSIMカードを購入しました。 購入したのは月に15GBのデータ通信が使えるプランで、価格はなんと14.99€(日本円でおよそ2000円)。 ただしこちらは3Gの通信帯域のみでのプランです。 購入の際には、パスポートを提示したうえで、契約書にサインを求められます。 渡されたSIMを挿入し、付属のカードに書かれているPINコードを入力すれば、すぐに使うことが出来ました。 こちらはプリペイドタイプのSIMではなく、月ごとにカードを通して引き落としされる契約なので、解約の際にはショップに出向く必要があるそうです。 また、僕の場合は日本で購入してきたモバイルルータを使う都合、電話環境を整えられなかったのですが、必要な方には、3(Three)が提供している、月15GBのデータ通信に電話もかけ放題のプランをおすすめします。 こちらも価格は月に20€でとてもお買い得な上に、4G/LTEの帯域が使用可能です。 契約もプリペイドタイプなのでとても安心で、非の打ち所がありません。 アイルランドのSIM事情についてはこちらのページが詳しいようです(ただし、今回僕が契約したプランはこちらのサイトには掲載されていませんでした)。 キャリアが提供するプランは結構日々変動するみたいなので、アイルランドに来られる際には、ぜひ最寄りのショップに立ち寄ってみることをおすすめします。

ヴルカヌス・イン・ヨーロッパに参加しますに記載したとおり、1年間の語学研修とインターンシップに参加してきます。 僕の場合は、4ヶ月間アイルランドのダブリンで英語の語学研修を、残る8ヶ月間ベルギーのルーヴェンで企業研修を行います。 そもそもなぜこのようなプログラムに参加することになったのか。 海外への興味はもともとあったのですが、どちらかと言えば迫り来る就活時期を前に、自分がどんな分野で働きたいかが未だ見えず、焦っていたことが大きいように思います。 もともと重工系の企業に関心があり、なんとなく参加した夏のインターンシップ。 そこで得た結論は、「仕事にやりがいを感じられないと働くことはかなりつらい」ということでした。 このことはほとんど自明な事実だとは思うのですが、自分はもともと「やりがいなんてなくていいからまったり働きたい」という人間だったため、この発見はとても大きかったです。 一言添えておくと、参加したインターンの内容にやりがいが全くなかったわけではありません。 むしろ、自分の興味のど真ん中である大規模プラントを近くに感じられたのは本当によかった。 違和感を覚えたのは、巨大なプラントの設計や保守に携わるためには、巨大な会社が巨大なプロジェクトを運営し、その中で文字通り組み込まれるように働かなければならなかったことです。 自分のフォーカスがあまりにも狭く、「もの」が見えづらい研修内容だったと感じます。 他にも、大企業ならではの社風というか「しがらみ」というか、そういったものを意識せざるを得ませんでした。 では自分はどのように働きたいのか。 まず、プラントなどよりサイズの小さい「もの」を相手にする仕事が考えられます。そこで働けば相対的に自分のフォーカスが大きくなるんじゃないかという安直な発想です。 また、「超」のつく大企業は肌に合わないということも考えられます。ベンチャーで身を粉にして働くという感じではないので、その辺りはバランスだとは思います。 何れにせよ、今はまだ評価関数も作れていないし、探索区間からスパースな情報しか得られていない状態です。 そうした状態で最適解を求めようとしても、解が存在しなかったり、ローカルミニマルに陥ってしまったりしまうでしょう。 目下の課題は、なるべくたくさんの情報を集めて、それらをもとに最適化問題を正しく立式するといった感覚でいます。問題さえ立ててしまえば、解も見えてくるはず(多分…) この1年間はそのための準備期間として最大限活用したいと考えています。 もちろんせっかく海外に行かせてもらえるのだし、苦手意識のある英語を得意分野に変えるのは、1年を気持ちよく終えるための必要条件だと考えます。 また、研修を通して、今まで身につけた制御工学の理論的な知識を、業務に応用できるよう成長できたらと思います。 もし少しでも手応えを感じたら、海外で働くことも一度は視野に入れてみたいです。 正直いつまで学生でいるんだという周囲(特に家族)からの眼差しが気にならなくもないのですが、行くからには絶対成長して帰ってこようと思います。

感想 4月からヨーロッパで過ごすこともあり、ホットなタイトルだったのでジャケ買いして読み始めました。 日々世間を騒がす報道について、理解のない自分でも前提知識なしで読むことが出来ました。 2004年に書かれた本なので、今世間を騒がすイスラーム国の事件については触れられませんが、現在のイスラーム圏とヨーロッパ圏の衝突が、どのような背景のもと起こったものなのかを理解するのにいい本だと思います。 著者が社会学畑出身なので、あまり(というかほぼ全く)定量的な議論は出てきません。 本人が「現実と人間とに焦点を当てて同時代の証言を集め、一歩引いて、それを俯瞰し再構築するのが私の方法である」とあとがきで述べている通り、取材したムスリム移民のエピソードがふんだんに載せられています。 すらすらと読める一方で、読者としては、一例と一般的な事実との境はどこなのかを多少注意して読む必要があるかもしれません(そもそもこの手の話題を定量的に扱うこと自体が難しいのかもしれないけれど…) あらすじとして以下にまとめましてみましたが、本書にはまだまだ有益なことが多く書かれており、是非人におすすめしたい本です。 title: “つぎは池内恵の『イスラーム国の衝撃(文春文庫)』を読みはじめています。” date: 2015-08-30T00:00:00+09:00 draft: false あらすじとメモ 著者は現代のヨーロッパ世界とイスラーム世界の衝突を、単なる「キリスト教対イスラーム教」という構図で説明できるものではないと否定する。 イスラームが意義を申し立てている相手は、宗教的規範から離れたあとに成立した西洋近代文明である。 西洋近代文明は、世俗主義、啓蒙主義の立場を取るため、宗教が政治や教育に関与することはないし、「人間が理性をもとに創り上げた法体系によって、現実の人間社会に規範を与える」。 しかしながらムスリムにとって規範とは、神が定めた法のことをいうので、これと根本的に対立する。 筆者はヨーロッパの中でも、ドイツ、オランダ、フランスの三国を取り上げ、各国におけるイスラーム世界との交わりを考察する。 そもそも、日本は島国であるため、「日本人とは何か」を我々国民が日頃意識することは少ないが、ヨーロッパは地続きであるため、これを定義する姿勢は国により異なる。 まずドイツであるが、「ドイツ人とはドイツ人の親から生まれた人間を指す」という血統主義的な民族観をもつ。これは2000年以降の外国人法で、ドイツで生まれた外国人も23歳満了までにドイツ国民として扱う方針に改められたが、依然として根底にはかつての価値観が横たわる。 特に、信仰実践に熱心なムスリムが、先進的なヨーロッパ社会や文化になかなか同化しないことは、国民の不安を煽った。 筆者はムスリム女性がスカーフやヴェールを公的な場所で、特に公立学校で教師が、身につけることを禁じる決定に関する騒動を取り上げる。 この決定に賛同する主張者は「国家と宗教の分離」という原則論の裏に、複数の宗教、文化が混在することを承認したくないという拒絶を掲げている。 そもそも彼女たちがスカーフやヴェールで自分を隠す理由は、イスラーム世界では「女性の髪は性的なもの」として人前で隠すよう求められているからだ(実際コーランには「汝の隠しどころを覆え」としか書かれていないが)。 よって彼女たちがスカーフを取れと命じられることは、セクシャル・ハラスメントにほかならない。 また「国家と宗教の分離」の原則を掲げるのであれば、キリスト教徒が掲げる十字架も着用禁止にすべきだ、とする主張もある。 ドイツが国家統一を果たしたのはイギリスやフランスより遅く、「ドイツをドイツたらしめる文化的な背骨のようなもの」に自信をもてないことなどが、排外的な民族主義を生み出す下地となったのかもしれないと、筆者は考察している。 つぎにオランダであるが、「どこで生まれたか」によって国籍を与える、生地主義の立場をとる。 また、オランダにおけるリベラリズムとは、個人が生きたいように生きる権利を保証することを指す。 この国において、ムスリムはカトリックやプロテスタントと同じく、多分化主義に組み込まれている。 では、このような社会でムスリムへの批判が存在しうるのかというと、答えはイエスである。 「個人が生きたいように生きる」とは、裏を返せば「他人に干渉されない」ことを重視することであり、異質な文化をもつ人間が増えることで、自分たちの権利が脅かされることを懸念する。 特に、テロを起こし、女性を抑圧し、ヨーロッパの普遍的価値を学ぼうとしない彼らに対して、オランダは「自分たちが築き上げた寛容の精神がイスラームの不寛容によって脅かされる」というレトリックを用いている。 オランダにおいてイスラーム組織に対する規制が強化されるのは時間の問題だと筆者は意見を述べている。 最後にフランスであるが、フランス国民であることは、共和国の理念や原則を受け入れ、共和国と契約を結ぶことを意味する。 「自由・平等・博愛」のもと、移民への差別は悪とされるが、差別がないわけではもちろんなく、現実に起きる差別が個人の問題に帰されてしまう構造をもつ。 移民にとってフランス人となる契約を結ぶためには、その意志を役所に申請し、フランス語でのやりとりをしなければならない。 フランスにとっての博愛は「万人を愛する」という意味をもたず、むしろ「同胞のみを愛する」という意味をもつ。異なる集団に対しては、愛するどころか敵視と排斥の目を向けることになる。 この国においても、スカーフ着用問題は起きており、おおよそドイツと同じ構造をもつが、中にはスカーフ禁止に賛成するムスリム女性もいる。 彼女たちはフランス社会の多数派と同じく、スカーフを女性抑圧のシンボルとみなしており、彼女たちがこのような立場を取るようになったのはフランスの教育によるところが大きい。 しかしながら、一方で、高い教育を受けてなお、スカーフ着用を個人の自由意志の表明として実践する女性もおり、実態はそう単純ではない。 これらのスケッチを通じて筆者は、ドイツはもともと存在する外国人に対する排斥感情によって、オランダはイスラーム共同体の形成を促進してしまうシステムによって、そしてフランスは同化圧力によって、「文化的・社会的統合に失敗した」と断言している。 最終章において、筆者は、今日のイスラーム・ヨーロッパ両圏の対立は、ヨーロッパ世界のイスラーム世界に対する誤認によるところが大きいと主張する。 ムスリムにとって商業における公正の観念と弱者救済は表裏一体の教えであり、苦しい境遇にある同胞は救済するために努力しなければならない。そのための行動は、彼らを取り巻く環境が悪化するにつれて、大きなものにならざるをえない。 本来、キリスト教やユダヤ教などの異教徒に対して敵意を抱かないどころが、同じ唯一神から啓示を受けた人間として、兄弟と考える彼らの中には、過激な行動をとるものも現れる。 欧米世界は、このようなイスラーム世界に対して、彼らが公正とみなす政策を実現できないどころか、憎悪の連鎖のなかで「原理主義」というレッテルを作り出し、暴力に訴えて反撃するなと諭すには、あまりに理不尽な被害を与えてきた。 両世界の関係を相克の時代から対話の時代へ転換させるためには、ヨーロッパ世界イスラーム世界の文明を理解し、自らの文明がもつ「社会的進歩の観念を無意識に他者に押し付ける力」を自覚する必要があると筆者は締めくくる。

感想とメモ 少し旬が過ぎてしまったが、4月からユーロ圏で過ごすこともあり、通読した。 気まぐれに、得られた知識をメモしておきたいと思う。 第I章では、ユーロ導入でどのような効果があったのかを概観する、 ユーロが主として物価安定と低金利化をもたらしたことがデータをもとに示されており、本章を立ち読みするだけでも得るものがあると思う。 個人的に、第II章の統一通貨導入までのいきさつについての記述がよくまとめられていると思った。 大いに語弊があると思うが、まとめられた記述を更に自分なりに要約してみた(引用ではない)： 1970年の『ウェルナー報告』に始まる通貨統合の試みは、各国の経済安定への懸念や、権限の委譲の方法の不明瞭度から、一時破綻した。 特に、当時、物価安定重視・貿易黒字だった西ドイツと、経済成長重視・貿易赤字だったフランスとの間には、経済政策路線に大きな隔たりがあり、各国が変動相場制に移行したことで、その隔たりはさらに大きくなった。 変動相場制の導入で欧州各国で経済が不安定化するなか、ドイツ・フランスの両国は1978年に『EMS設立会議』をスタートさせる。 フランスでは完全雇用政策を犠牲にする必要が生じ、失業率が上昇したが、シュミット大統領の手腕でこれを切り抜けた。 また、ドイツでは、厳しくなる一方の外部環境(アメリカドルの大変動など)に対して、マルクをEMSの基軸通貨として確立し、ユーロ導入への道を開いた。 その後EMSが安定度を高めたことと、ヨーロッパがアメリカ・日本に比べて経済的に劣位になっていたことが要因で、単一市場完成への機運が高まった。 1987年の単一欧州議定書発効を機に、統合への動きは加速した。 当時の西ドイツでは、安定したマルクを放棄することへの懸念が大きかったが、EMSの金融政策を支配するこの国に対して、フランスを初め、各国は批判的だった。 1989年、東西ドイツが統一へ動いたが、EC各国ではドイツの独り歩きが「再び」始まるのではないかという不安が広まった。 各国はドイツの統合に反対し、ドイツはマルクを放棄するという条件のもとでの統一の道を提示、各国はこれを飲んだ。 当時のコール首相は「欧州統合は平和か戦争かの問題だ」と繰り返し、世論を押し切ったのである。 第III章では、ユーロの仕組みと役割、制度についての解説がなされている。 欧州中央銀行と各国中央銀行との関係や、金融政策、市場介入などの仕組みなどが述べられていた。 初学者の自分には、初めて知ることばかりであり、また、多少難解に感じた箇所もあることから、何度か読みなおす必要を感じた章である。 第IV章、第V章では、世界金融危機を主に欧州の視点から概観している。 筆者によれば、世界金融危機は3段階に分けられる。 バリバ・ショックからリーマン・ショックまでの米欧危機段階 リーマン・ショックから09年代までのグローバル恐慌危機段階 09年代からの不況段階 現在ニュースで目にするギリシャ危機や南欧危機は第3段階目にあたり、未だに収束していない。 ギリシャ危機の特徴について2行でまとめると サブプライム危機など：アメリカで起きた危機。いわば対岸の火事。EUの各国への融資をはじめとする対策によってなんとか切り抜け、ユーロの求心力は高まる ギリシャ危機：ユーロ圏内で起きた危機。ユーロ圏の抱える制度的・構造的な問題が浮き彫りとなる という感じになると思う。 以下IV,V章で印象に残った箇所の引用： (p150) 経常収支の大幅赤字、外国銀行からの巨額の借入、外貨依存という三つの点で、中・東欧諸国のん状況は九七年の東アジア通貨危機の諸国（タイや韓国など）に似ている。 にもかかわらず銀行危機が起きていないのは、西欧の銀行支配のおかげであり、東アジアのように脆弱な金融システムではなかった点が大きい (p166,167) 南欧支援の巨額の安定化策が最終決定したのは五月九日夜であった。 (中略) すなわち、七五〇〇億ユーロという膨大な額の金融安定化メカニズムを創設するもので、うち最大五〇〇〇億ユーロをユーロ圏諸国と欧州委員会が分担、さらにIMFが最大二五〇〇億ユーロを共同支援する。 (中略) なぜ七五〇〇億ユーロ、九〇兆円もの莫大な学になったのだろうか。それはユーロ圏諸国の危機感の裏返しといえる。 ユーロはユーロ圏諸国にとって「後戻りできない壮大な実験」である。 市場からのユーロの信認をつなぎ止めるのはいわば「至上命題」であった 全体を通して、僕のような完全な初学者ではフォローできない箇所が目立った。 テクニカルタームへの理解が足りず、金融論に関する知識をもっと増やす必要を感じた。 以前読んだ、新保恵志著『金融商品とどうつき合うか―仕組みとリスク (岩波新書)』で得た知識は少なからず読解に役立ったと思うので、こちらも読み直したい。 感想を書いてみての感想 普段本を読んだ後何もアクションすることがないので、得られた知識が3日と保たないことが多いが、こうしてまとめてみることで、知識が整理される気がする。 これからも続けていきたいが、義務化してしまうと本を読む気が失せる危険があるので、あくまで気まぐれに続けていきたい。

概要 最近学んだ線形回帰手法の特徴についてまとめる． 具体的には，特定のデータセットに対して，重回帰(Ordinary Least Squares: OLS)，リッジ回帰(Ridge Regression: RR)，部分最小自乗回帰(Partial Least Squares: PLS)の3つの線形回帰手法を適用し，結果を考察する． 重回帰 説明変数$ X$および目的変数$ y$が与えられているとき， $ y = X b + e$ のように，目的変数が説明変数と回帰係数$ b$との線形結合によって表されているとするのが，線形回帰の考え方である． ここで，重回帰においては，残差$ e$の二乗和 $Q = e^T e$ が最小となるように回帰係数を決定する． 残差二乗和が最小となるときの回帰係数は $ b = ( X^T X)^{-1} X^T y$ として与えられることが知られている． リッジ回帰 重回帰では，$ X^T X$が逆行列を持たない場合，残差二乗和を最小化できない． これは，説明変数が線形従属である場合や，サンプル数が入力変数の数より少ない場合に対応する． また，説明変数が厳密に線形従属でなくても，変数間に強い相関がある場合には，回帰係数の分散が大きくなり，推定結果の信頼性が低下してしまう問題が起きる． これを，多重共線性の問題という． 回帰係数を小さく抑えるためのひとつの手法として，リッジ回帰が挙げられる． リッジ回帰においては，残差の二乗和に加えて，回帰係数の二乗和を加えた $Q’ = e^T e + \lambda b^T b$ が最小となるよう，回帰係数を決定する．ここで，$\lambda\ge0$を複雑度パラメータと呼ぶ． 残差二乗和が最小となるときの回帰係数は $ b = ( X^T X + \lambda I)^{-1} X^T y$ ...

概要 モンテカルロ法で次元の呪いを体験するを読んで，自分も最近似たような体験をしたことを思い出したので，メモしておく． 問題 $N$行$N$列の行列の各要素に$1$から$N$までの数字が入っているものとする． 各列，各行に数字の重複を許さない行列は全部で何通りあるかを推定せよ． はじめ，ランダムに$1$から$N$までの数字を格納した2次元配列を用意して，各行と列に重複がないかチェックし，重複がない試行の確率を求める方法をとった．以下，作成したPythonのコード(クソコードなのはご愛嬌)． #! /usr/bin/env python # -*- coding: utf-8 -*- from numpy.random import * def check_overlap(args): for i in range(len(args)): if len(set(args[:,i])) < len(args[:,i]) or len(set(args[i,:])) < len(args[ i,:]): return False return True if __name__ == '__main__': N=4 #size of matrix M=100000000 #number of trial randarray = randint(1,N+1,(N,N,M)) count=0 for i in range(M): if check_overlap(randarray[:,:,i])==True: count = count+1 if i%100000==0: print(M-i,count) print( N**(N*N) * count / M ) この方法では，$N=4$あたりで現実的な解が得られなくなってしまった． より計算時間を減らすために，$1$から$N$までが格納された1次元配列の要素をランダムにシャッフルし，それを$N$個積み重ねることで，重複をチェックする方向を一方向だけにする方法をとった． ...