環境 $ipython Python 2.7.3 (default, Sep 26 2012, 21:53:58) Type "copyright", "credits" or "license" for more information. IPython 0.13.1.rc2 -- An enhanced Interactive Python. ? -> Introduction and overview of IPython's features. %quickref -> Quick reference. help -> Python's own help system. object? -> Details about 'object', use 'object??' for extra details. rssfeedを取得する feedparserをimport 他にもやり方は
In [21]: skeameba['entries'][0]['title'] u'(\u5927\u77e2\u771f\u90a3)\u6709\u540d\u306a\u306e\u304b\u306a' def pp(obj): pp = pprint.PrettyPrinter(indent=4, width=160) str = pp.pformat(obj) return re.sub(r"\\u([0-9a-f]{4})", lambda x unichr(int ("0x" + x.group(1), 16)), str) title: u'(大矢真那)有名なのかな' link: http://ameblo.jp/ske48official/entry-11442256228.html title: u'ちゅり＝(((O゜◇゜)o｛２０１３年もカメラ女子楽しんでこ～!!
新しいサーバでも相変わらずクローラが超cpu boundなため、高速化のために手を打つ。pypy使おうと思ったけど、面倒くさすぎて諦めた。 とりあえず気軽に使えるcythonに切り替え。特別なsyntaxは全く使わず、ただコンパイルしてみたけど、大きな変化はなし。 ちなみにdebian squeezeのcythonは古過ぎてyieldやlambdaのサポートがないっぽかったので、easy_installで入れなおした。 $ python -m cProfile -s cum ./bin/crawl.py sはtimeとかでもいいけど、cumulative timeを見ながらtottimeを見るのがわかりやすいと思う。 で、問題はfeedparserが糞遅いということがわかった。 http://code.google.com/p/feedparser/issues/detail?id=300
ってどうやるんだ？って前にも気にしてたような気が。 すっかり忘れているけどね。 んで、調べる。 どうも、4.1からはデフォルトのタイムアウト値からの変更をしないようになったということのようだ。 これ、待っていると結構長い。 UI的にはちょっとダメ。 なので、自分でsocketを使って自前で設定するしかない。 冒頭で設定。 # change socket timeout import socket defaulttimeout=socket.getdefaulttimeout() socket.setdefaulttimeout(15)終了処理の時に以下で戻す。 # recover socket timeout socket.setdefaulttimeout(defaulttimeout)値は秒数を入れる。 再セットしているけど、デフォルトではNoneが入っているみたい。 >>> impo
2008.05.24 フィードデータのキャッシング (feedparser + feedcache) テーマ：プログラミング言語 Python を使う(336) カテゴリ：Python Doug Hellmann さんの Caching RSS Feeds With feedcache を読む。この文書は feedcache がどうやって作られたか書かれていて、とてもおもしろい。コンセプトから始まって UnitTest の話、テスト用の HTTP サーバを作る話、等々、順を追って書かれているので Python でちょっとしたツールを作るときのとってもよい教材になっている。 ちなみに Doug Hellmann さんの、PyMOTW Python Module of the Week は要チェック。とってもよい学習リソースになる。 feedcache Wrapper for the Univ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く