500×200=100000
2008年6月12日 ●Boston●研究(疫学) コメント (6)
1970年代から、コンピューターを駆使した統計解析が、
統計の学会にも認められるようになり、
1980年代にその理論的な妥当性が練りに練られ、
1990年には、科学の世界にもその発展が紹介され、
他の分野にも応用されるようになってきた。
1998年に、栄養学の専門誌に紹介されたのだけど、
その論文を引用している栄養学の論文は一切無し。
通常、自分の分野で行う統計解析というのは1秒も経たずに終わってしまうのだけれども、
自分が挑戦してみた統計解析は、5秒位かかる解析を500回行い、
その1回ずつの解析結果を使って、さらに5秒くらいかかる解析を200回やる。
(その回数も不十分かもしれないのだが)計10万回。
ただでさえ重いので、解析をやっている最中に、
解析ソフトがエラーを起こして止まってしまったりと
なかなか慣れないことばかりでした。1週間この調子・・。
しかしこの数週間、その理論を勉強するところから始めて
やっとこさ全工程が終わりそうだ。
エラーが起きる原因など、解決していないままだけど。。
WINDOWSを使っているのだけど、
こうした重い、回数を重ねる解析を早く効率的に行うのは、
UNIXを使った方が良いというのが、この分野の見解。
また、ある論文で、解析の効率を上げるのに、
2つのコンピューターを繋げて解析を行う方法が紹介されていた。
「そんな重い解析、する必要があるかな・・」
などということすら思うこともなく、
そんな情報、はなから眼中に無かったのだが
そういったシステムについても勉強しなくちゃいけないかも?
この日記、その計算結果の一部を削除する間に書いてみました。
もうちょっと頑張るぞっと。
統計の学会にも認められるようになり、
1980年代にその理論的な妥当性が練りに練られ、
1990年には、科学の世界にもその発展が紹介され、
他の分野にも応用されるようになってきた。
1998年に、栄養学の専門誌に紹介されたのだけど、
その論文を引用している栄養学の論文は一切無し。
通常、自分の分野で行う統計解析というのは1秒も経たずに終わってしまうのだけれども、
自分が挑戦してみた統計解析は、5秒位かかる解析を500回行い、
その1回ずつの解析結果を使って、さらに5秒くらいかかる解析を200回やる。
(その回数も不十分かもしれないのだが)計10万回。
ただでさえ重いので、解析をやっている最中に、
解析ソフトがエラーを起こして止まってしまったりと
なかなか慣れないことばかりでした。1週間この調子・・。
しかしこの数週間、その理論を勉強するところから始めて
やっとこさ全工程が終わりそうだ。
エラーが起きる原因など、解決していないままだけど。。
WINDOWSを使っているのだけど、
こうした重い、回数を重ねる解析を早く効率的に行うのは、
UNIXを使った方が良いというのが、この分野の見解。
また、ある論文で、解析の効率を上げるのに、
2つのコンピューターを繋げて解析を行う方法が紹介されていた。
「そんな重い解析、する必要があるかな・・」
などということすら思うこともなく、
そんな情報、はなから眼中に無かったのだが
そういったシステムについても勉強しなくちゃいけないかも?
この日記、その計算結果の一部を削除する間に書いてみました。
もうちょっと頑張るぞっと。
コメント
一般論として、UNIX(PCじゃないSUNとかの専用機)でやる方が、計算は安心かと思いますよ。
ハードが熱でこげたり・・・ですか。。
ちょっと気にしてみます。
ノートPC用のラジエーター、重宝しているんですよ。
PCじゃない専用機・・というのはすでに、
自分の知識の範疇を脱しておりまして解らんです。
解析ソフトが使用するPCのメモリーの量を設定できることがわかり、
その量を増やしたところ、エラーが少なくなりました。
PCの性能や環境が関わっていることはなんとなく解るのですが。。
専用機というのがあるのですね、、ありがとうございます!
全力でCPUが動くと温度が上昇しますが、放熱が間に合わないと誤動作するのはノートではよくありますが、デスクトップでも同じです(日本製ならまだマシですが、普通はあんまり)。
CPU製造ロットによって違います。
PCは基本的に100%の結果を保証できないです。
CPUの計算回路に間違いがあったりして、Windows側でそれのパッチを当ててたり、μコードと呼ばれるCPUのハードウェアのバグ補正をするコードを毎回読み込んで騙し騙し動いているので、それをしないOSを使うとバグがそのまま発現したりするのは仕様です。身近な計算なら問題ないですが、本気計算ならあんまり頼らない方が身のためかと??
あと、メモリが足りないとHDDに書き出しますが、その設定如何によっては遅くてタイムアウトが発生したり、無視されたり色々発生します。
専用機というのは、サンマイクロシステムズのワークステーションとか、そんなのの話です。
正しい答えだけを出してくれたらいいんですけどね、海外の機器を使うならそれ相応の覚悟で使うのがお約束みたいです。
と、知ったかぶってますが、別に私はコンピュータの専門家じゃないです、御免なさい。
勝手にリンク張ってしまいました。
ちょくちょく覗かせて下さいませ。
私もリンクさせていただきました。
こうした情報は、どこから学べばいいのか
ちょっと明らかでないことが多いですし
こうして自分の置かれた状況と関係のある事項を
説明していただけると本当に嬉しいです。
CPUの計算回路の間違いなど・・思ったより、
いろいろバグが発生しそうな仕組みがあるのですね。
これまで統計のプログラムが、強制終了されると
あまりバグのレポートを読まずでしたが、これからは
ちょっと意識してみようと思います。
暇つぶしにでもいらしてください・・
よろしくお願いいたします。
あまり意味がわからないかも知れませんが。
ちなみにCPUのバグの話。
http://www.google.co.jp/search?q=cpu+%E3%83%90%E3%82%B0&lr=lang_ja
ど〜ぞよろしくお願いしますっ。
エラーを公開していないので、深刻さが明らかでないようですね。
リンク先のIT Mediaのニュースにそんなことが書いてありました。
エラーについてわからないことばかりですが、忍耐力はつきました。
どうぞよろしくお願いいたします!