Nicholas Piël » Benchmark of Python Web Servers

すげー、その調査力に感服。って違うｒｙ

　gevent/libeventが良いですね～。wsgiref.simple_serverだと 2.6TPS エラー有りまくりだったアプリを試しにgevent.wsgi.WSGIServerにするとそれだけで13.7TPS！エラーも無しといい感じ。なんですが個人的なホーム鯖でgevent/libeventは流石にやり杉な雰囲気です。お試しはLinuxでやってますが諸事情からホーム鯖はWindowsです（ドライバがWindowsしかない…）。Internet公開もしないしってことでもうちょっとwsgiref.simple_serverで頑張ってみることにします。

そもそもシングルスレッドを何とかします。

from SocketServer import ThreadingMixIn

class ThreadingWsgiServer(ThreadingMixIn, WSGIServer):
pass

class ThreadingWSGIRefServer(ServerAdapter):
def run(self, handler): # pragma: no cover
from wsgiref.simple_server import make_server, WSGIRequestHandler
if self.quiet:
class QuietHandler(WSGIRequestHandler):
def log_request(*args, **kw): pass
self.options['handler_class'] = QuietHandler
self.options['server_class'] = ThreadingWsgiServer
srv = make_server(self.host, self.port, handler, **self.options)
srv.serve_forever()

bottle.run( server=ThreadingWSGIRefServer, host='0.0.0.0', port=8080,
interval=1, reloader=False, quiet=True )

ついでにログ抑制もやってみたり。後、Windowsだと特に遅くなるクライアントIPアドレスのDNSリバースlookupをhttp://bugs.python.org/issue6085を参考に外します。まー、ログ出さないなら外す必要も無いんですが、出す出さないでパフォーマンスの変化を見るために一応。

def _bare_address_string(self):
host, port = self.client_address[:2]
return '%s' % host

import BaseHTTPServer
BaseHTTPServer.BaseHTTPRequestHandler.address_string = \
_bare_address_string

ぐぐる先生はこんなの↓も教えてくれましたがこれはちょっとやり杉。

def getfqdn(name=''):
return name
import socket
socket.getfqdn=getfqdn

quiet=Falseで8.4TPS、quiet=Trueで 10.9TPSって所まで改善。5倍差があると流石にgeventしかないなと思うものの2倍差も無いところまでくるとまーgevent使うことも無いなに変わるから不思議。ログ出すとパフォーマンスは悪くなりますがまぁ良いかと思えなくも無いのでとりあえず出す感じで。

ちなみにgevent/bottleだとこんな感じのコードに。

from gevent import wsgi
application = bottle.default_app()
wsgi.WSGIServer(('', 8088), application).serve_forever()

と、頑張ったところでSQLAlchemyがちょい重ということに気づいてorzなのですが…。

　VPS上（つまりこのサーバ）ではapacheが上がってます。apacheのmod_proxy辺りでGAEから受けてsearch.twitter.comへ転送しても良いんだけどmod_proxyは一般的かつ便利なだけにまじめに設定しないと穴になることも多く…と避けて単純にstoneで転送させる方針で＝つまりapacheの80番ポートとは別ポートで。と思ったらGAEのurlfetchのドキュメントに以下書かれてます。

URL は、HTTP（80）および HTTPS（443）の標準ポートを使用しなければなりません。ポートはスキーマによって決まりますが、ポートがスキーマの標準である限り、URL で指定することもできます（https://...:443/）。アプリケーションはリモート ホストの任意のポートに接続することはできません。また、スキーマの非標準ポートを使用することもできません。

うーん、と思って早半年（笑）ふと思い立って英語のドキュメントを見ると。

An app can fetch a URL using HTTP (normal) or HTTPS (secure). The URL specifies the scheme to use: http://... or https://...
The URL to be fetched can use any port number in the following ranges: 80-90, 440-450, 1024-65535. If the port is not mentioned in the URL, the port is implied by the scheme: http://... is port 80, https://... is port 443.

なんじゃそりゃー。という事でtweepyのsearch apiの投げ先をここにしてstoneをほにゃっ※１て無事search復活。長い半年でしたｗｗｗｗｗ

意欲的に翻訳されてて日本語ドキュメントが存在するのは良いことなんだけど旬なものは更新早いから？と思ったら英語版ドキュメントを確認すべしっていうのは個人的には鉄則なんだけどGAEのドキュメントってAccept-Languageみて自動的に日本語へリダイレクトされちゃうのが難。今は日本語ドキュメントからURL書き換えて飛んでいます。

日：http://code.google.com/intl/ja/appengine/docs/python/urlfetch/overview.html
英：http://code.google.com/intl/en/appengine/docs/python/urlfetch/overview.html

※１ twitter側でHTTPヘッダのHost:フィールド参照しているのでその書換えが必要。書き換えないと301食らいます。これもGAEの制限で飛ばし先とHost:フィールドは必ず一致する仕様なので（Host:フィールドは変更できない）仕方なし。stoneは標準でヘッダ追加は対応していますが書換えは対応していないのでほにゃっとコードでっち上げて…

ま、ほかの既存の携帯向けサービスでも良いんだけど、
アイコンとか要らんから軽くしてくれというかそういう方向性で。

ほぼtwitter本家のmobile webのパクリです。
ただコメント付きRTというかQT？しやすくしてたりしゃべりやすい対応を入れてたり。
自分が使いやすいようにちょっと機能追加したかんじ。

http://t.kumama.org/　：：tw mode

自分のガラケーSO703iでのみ動作確認していますが、
たぶんAUでもSBでもほとんどの携帯で大丈夫なはず。
なんせSO703i、３年前のモデルですからwww

ソース公開していて http://code.google.com/p/twmode/。

GAEってGoogle App Engine使ってるんでQuotaまではかなり行けるはず。
App Engineのwebappとかtemplateとかtemplateのcustom filterとか
tweepyとかdeferred.delayとか使ってるので、
その辺のサンプルにも良いかも。

iphone 4白出たらMNPしますがそれまでの延命用ってことで。

ちょっと調べてみると
Issue 1 - google-appengine-mac-launcher - Python path has no apparent effect - Project Hosting on Google Code
に書いて有るとおり、Python2.5のパス入れた後にEnterキー押さないと忘れるらしい・・・。

しかもissue #1ってorz

urlfetch_stub.py の _API_CALL_DEADLINE = 30.0 とかにする。

# Android2.1も試したいものの・・・

URL Fetchというかwebappでurllib2使う場合、dev_appserver.pyが、
Proxy対応していない。
http://code.google.com/p/googleappengine/issues/detail?id=544
この辺のパッチを参考に適当に。

TwitterのOAuth認証させるとか外部URLにアクセスする場合は必要かと。

って思ったら今度はSnowLeopardでurllibが動かなかったりorz

Pythonが2.6に成ってるのが原因ぽいけどこっちはもうちょっとちゃんと見よう。

と、app engineとかサブタイトルに入れてながら何にも書いてなかったのでエントリ。

結局の所、App Engine SDKっていうかLauncherはPythonのurllib2に依存してて、
urllib2のhttpsトンネル対応がPython 2.5でも2.6でも3.0でもリリースに乗ってなかったりして、
混乱してる風。2.6と3.0はリリースに含まれそうだけど、App Engine SDK推奨のPython2.5系だとリリースもへったくれもない。

解決策は
urllib/urllib2: HTTPS over (Squid) Proxy fails
に有るパッチを当てて、環境変数 http_proxy, https_proxyを適切に設定する。

OSX, Windowsで確認済み。