スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
.-- -- スポンサー広告 comment(-) trackback(-)

Pythonメモ書き:イテレータ

大分、このブログをほったらかしにしてました

8月早々に困ったチャンになりまして。。。

Blast検索にかける配列が多すぎて、

配列の相同性検索に1週間かかったかと思ったら、メモリー足りず。。。。

コンピュータをお引っ越し、また一からスタートすることになりました。

今度は検索にかける配列を5等分し

なんとか3日間くらいで無事に相同性検索が終了。

Blastの結果からe-valueがe-10以下のものだけ拾い

idをリストアップしたら、2.5GBのデータに。。。。

無事にidlistを作れたから良かった~。

(今、,sortしてuniqをかけてるけど、結果がまだ返ってこない。。。)

【今回勉強になったこと】

大きなサイズのファイルを処理する場合はイテレータを使うのが良いらしい。

実際、これまでそんなことも知らずに

pythonという賢いプログラミング言語のおかげで

無意識にファイルオブジェクトをイテレータに変換していたという

宝の持ち腐れです。


でも、サイズが本当に馬鹿デカイとメモリが無くなり

プログラムがストップするという経験をさせて頂き、

もっとメモリを大切にするプログラムを組んでいこうと思いました。
スポンサーサイト
.21 2010 未分類 comment0 trackback0
 HOME 

プロフィール

emi

Author:emi
日々、コンピューターとにらめっこしていた2010。
公の仕事に就くことを目指して教科書とにらめっこ2011,spring。
はたして2012は・・・

最新トラックバック

検索フォーム

ブロとも申請フォーム

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。