IE9、SunSpiderベンチマークでズルしてる？

cheez 曰く、

IE9がSunSpiderベンチマークで「ズル」をして、実際よりもよいパフォーマンスを出しているのではないか？ ということが本家/.にて話題になっている。

SunSpiderはアップルによって開発されたベンチマークテストであり、ブラウザのJavaScriptエンジンのパフォーマンスを計るのによく使われている。このベンチマークでIE9がずば抜けてよいパフォーマンスを出しているそうなのだが、これが意図的な細工のではないかとの推測がdigitizorにて紹介されている。

これによると、MozillaのエンジニアRob Sayre氏がFirefox 4のテストを走らせていたところ、SunSpiderのmath-cordicテストにおいてChromeやOperagaのスコアは10ミリ秒だったのに対し、IE9のスコアが1ミリ秒と著しく速い結果となることに気付いたとのこと。そこでSayre氏がオリジナルのコードに「true」と「return」を付け加えた2パターンを作成し同じように実行したところ、IE9のパフォーマンスが著しく低下したそうだ。なお、ChromeやOperaへの影響は格段に少なかったとのこと。

「true」も「return」もコード的には特に意味はなく、影響は少ないはずなのだがこのような結果となったことに対し、digitizorでは3つの推測を立てている。

1. SunSpiderでのIE9の良パフォーマンスは意図的なものである（Hacker Newsにおけるこの説の見解）
2. マイクロソフトの開発者らは、パフォーマンスチェックのためにSunSpiderを利用しており、意図せずSunSpider向けに調整してしまった
3. 「true」や「return」を挿入することでパフォーマンスが著しく低下するのは、キャッシュテーブル調整におけるバグである（Hacker Newsにおけるこの説の見解）

ieblog

[Anonymous Coward]

http://blogs.msdn.com/b/ie/archive/2010/11/17/html5-and-real-world-sit... [msdn.com]
Dead Code Elimination in JavaScript のところにMSの言い分あり。

Re:

[Anonymous Coward]

つまり

4. 自動最適化により無意味な演算を検知してスキップしてたのが、「true」や「return」が挿入されたせいでスキップに失敗してベンチマークスコアが低下した。

ということ？

Re:

[Anonymous Coward]

まぁ、コレが真実だとすると、理由としては「３」に近いものとも言えるかもですね。

# しかしまぁ、古今東西みんな陰謀論好きねぇ。

Re:

[Anonymous Coward]

マイクロソフトは陰謀を企ている程度でよかったじゃないですか。
某企業の、信仰者に仕立て上げるみごとなカルト教団っぷりに比べれば。

Re:

[Anonymous Coward]

SPECベンチマークのコードを認識してスペシャルコードを吐く商用コンパイラの噂も昔ありましたが…

Re:

[Anonymous Coward]

まあ元々というかIE9の前はJavaScriptエンジンには不思議なくらい力を入れてなかったからねえ。重大な戦略ミスだったけど。

Re:ieblog

[Anonymous Coward]

マイクロソフトのJScriptは、他のブラウザのJavaScriptエンジンとは違って、OSの一部と言っても良いくらいです。
COMベースで汎用的に様々なアプリケーションから利用・拡張できるように作られているという点では、かなり力が入ってます。

Re:ieblog

[Anonymous Coward]

ところがIE9からはJavascriptだけブラウザ内蔵になりました。
COMベースのJScriptは呼び出しのオーバーヘッドがバカにならなくて、、、

置いてきぼりのVBScriptがかわいそう。

Re:

[Anonymous Coward]

それもあるけど、仕様が違うでしょ。JScriptはJavaScriptとは似て非なる何かだから。

Re:

[Anonymous Coward]

まだ正式版でないIE9に何を期待してるのか知りませんが、品質面でまだまだなのは当たり前・・・じゃなきゃとっくに正式版として公開してるでしょう

Re:

[Anonymous Coward]

で、それに対して早速Rob Sayre氏から、IE9のDead Code Eliminationは明らかにSunSpiderでしかテストされていないようだと反論 [mozilla.com]。

Re:ieblog

[Anonymous Coward]

JavaScriptではvalueOfというプロパティを定義することで、通常は副作用のない値の参照そのものに副作用を持たせることができるので、安易にDCEをしてはいけないのだが、IE9ではそのポカをやってしまっている。

> Object.prototype.valueOf = function() { alert("IE9 is fast!"); }

こうすると、
a + b;
という文はDCEされちゃいそうだが、実際はalertが二回呼ばれる(のでDCEしてはいけない)

> That said, I don't think it's possible to consider IE9's implementation of Dead Code Elimination to be a serious general purpose optimization. It seems clear that it hasn't been tested on anything other than SunSpider.

つまり、IE9の開発者は上記の事実に気がついていなくて、SunSpiderだけでチェックして安心しているという状態のようだ。升しているわけではなさそうだよ。

Re:ieblog

[fcp (32783)]

JavaScriptではvalueOfというプロパティを定義することで、通常は副作用のない値の参照そのものに副作用を持たせることができるので、安易にDCEをしてはいけないのだが、IE9ではそのポカをやってしまっている。

Dead Code Elimination for Beginners [mozilla.com] (Rob Sayre's Mozilla Blog) の話ですね。

速度向上のために「最適化」と称して仕様違反を犯すのを擁護する気はないのですけれど、一方で「a+b;」という式文をデッドコードとして除去できない言語が広く使われているのは不幸だなあとも思います。本題と関係ありませんけど。

Re:ieblog

[CowardDuck (25674)]

> 一方で「a+b;」という式文をデッドコードとして除去できない言語が

コンパイラならこういうコードを警告の対象にできるけど
インタープリタの場合、どうすべきなんだろう？

Re:ieblog

[Anonymous Coward]

> > 一方で「a+b;」という式文をデッドコードとして除去できない言語が
> コンパイラならこういうコードを警告の対象にできるけど
> インタープリタの場合、どうすべきなんだろう？
最初のparse時にvalueOfプロパティが定義されていなくても動的に追加されるかもしれませんし、evalとかECMAScriptの言語仕様上は結びついてないけどsetTimeoutやDOMイベント経由で結びついてるコードパスとか考えると、要するに不可能ってことです。
C++でもoperator+()が定義されていればどんなフリーダムなことでも出来ますが、ある程度は静的解析で何とかなります。

Re:ieblog

[Anonymous Coward]

C++でもoperator+()が定義されていればどんなフリーダムなことでも出来ますが

重箱の隅をつつくようですがC++のoperatorは差し替えどころかvirtualが許されていません。
「operator+()が定義されていればどんなフリーダムなことでも」というような特別なものではなく、ただの関数です。

なので、my_add()だろうがoperator+()だろうが、最適化の可能性は平等です。

Re:

[Anonymous Coward]

敢えてやるとすれば、初回コンパイル時にvalueofが無ければ最適化されたコードを出しておいて、関係する値のvalueofが更新されたらon-the-flyで再コンパイルするとか。

Re:

[Anonymous Coward]

DCEなんてできなくてもいいじゃんと思うけどね。
古典的コンパイラでもデッドコードは静的なインライン展開などの結果として出てくることがほとんどだし、
どうしてもというのならJITコンパイラがDCEするのが筋でしょう。

Re:

[Anonymous Coward]

トリッキーだけどこんな方法も。

function func(a, b) {
        var x;
        var i = 300;
        while (i--) {
            x = a + b; // dead store
        }
    }

静的な解析で x = a + b; がデッドコードの候補になることがわかるから、明示的にチェックするようなコードに変換すると

        while (i--) {
            if (!(a has valueOf) && !(b has value

いっそwell known codeは

[Anonymous Coward]

いっそwell known codeは内蔵のネイティブなバイナリで処理していいんじゃない?
世の中のWebサイトのJavaScriptのコードのうち、かなりがツールによって自動的に生成されて埋め込まれたものだろうから、それらは別扱いでいいかと。
ついでに、well known code以外は実行しないというセキュリティ設定もできると、いいなぁ。

Re:いっそwell known codeは

[gabill (29206)]

MSはjQueryに力入れるみたいだし、フレームワークまるごと最適化の対象にしちゃえば需要ありそうですね。 そしてそのうちフレームワークの内部限定でJavascriptの制限を超えた機能を実装して、 IE独自拡張の悪夢再び。

Re:いっそwell known codeは

[Anonymous Coward]

今度は「『実行しようとしているコードがwell knownかどうか』を判断するコスト」が問題になりそうですね。

…ん？真にwell knownなコードだったら、いちいちサーバサイドから転送する必要なくね？
世界中のwell knownコードに通し番を振って、「0x1e番のコードを実行」ってことにすれば1バイト転送で済むぞ(´・ω・`)これはオトクだ！

# しかもすでにTHcompで公知の技術だからpatent unencumberedだという特典付き(`・ω・´)

Re:いっそwell known codeは

[Anonymous Coward]

実は既知のライブラリ転送を軽減する試みはすでに始まってますよ。

CDNを利用したJavaScriptライブラリの転送です。
GoogleやMicrosoftなどによりホストされており、自サイトからCDN上のライブラリを指定できます。

これは普及するほど、同じライブラリが他のサイトで利用されていて、
ブラウザにキャッシュされている可能性が高まるので高速化が期待できます。

が、あまり知られてないのが残念ですね。

Re:

[Anonymous Coward]

一部のwell known codeを実行しないというのならありますよね。
例えば、MS製のものでは、InPriveteフィルタとか、Microsoft Security Essentialsとか。

Re:

[Anonymous Coward]

そういうブラックリスト方式は、ゼロデイ攻撃に対して脆弱なので、ホワイトリスト方式がいいと思います。

私の推測

[reininn (35924)]

SunSpider　のコードを検出すると、
コンパイル済みの専用コードが実行される。

Re:私の推測

[s02222 (20350)]

ついでに最終結果を表示するルーチン以外は省いちゃいましょう。

Re:私の推測

[Anonymous Coward]

10 PRINT "100億万点"

Re:

[Anonymous Coward]

WindowsにSunSpiderの実行に適した実装を施している。

Re:

[Anonymous Coward]

結論:ブラウザ開発者は検出コードに開発力を注ぐべきである

こんなの

[Anonymous Coward]

どこのメーカーでもやってる事でしょ
わざわざ話題に出す様なものでもない様な…

Re:

[firewheel (31280)]

まがりなりにも世界でも最大級のソフトウエアベンダーが、

＞＞SunSpiderはアップルによって開発されたベンチマークテスト
を使って自社製品のベンチマークテストをやって、それに最適化しているというのは、
どこの企業がやっていてもスキャンダルには変わりないと思いますよ。

Re:こんなの

[Anonymous Coward]

自作自演なベンチマークなんかよりよっぽど公正ですが。

SunSpiderはベンチマークのスタンダードと曲がりなりにも業界的に認められていますから、あんたのは言いがかり以外の何ものでもないですね。

Operaga？

[ef (25263)]

Operagaってラテン語かなんか？

ベンチマークなんてそんなもの

[AnotogasterSieboldii (37677)]

>ベンチマークに向けた最適化、というのはよくある話部門より

部門名の指し示すようにベンチマークによる評価なんて参考程度ですよね

Re:ベンチマークなんてそんなもの

[SteppingWind (2654)]

業務システムでのベンチマークだと, 既存のプログラムから代表的な条件の物を抽出して行ったりするんですけどね.

もちろん性能向上のためのチューンは有りという前提で, そのチューン自体の大小も評価項目となるわけですけど.

Re:ベンチマークなんてそんなもの

[aass (41194)]

>ベンチマークによる評価なんて参考程度ですよね

それでいいじゃなイカ

事前のもので、完全な判断はできないからね。

これとこれを参考にして、こうすればよくなる...
あれ？足りなかったな、じゃこうすればいいかな？
をやっているわけだろ？

速いに越したことはないが

[NullPointerException (33856)]

IE8みたいに遅いのは論外として、ちゃんと動いてくれればいいです。
他のブラウザに問題がないわけじゃないけど、
IEは8でも使えない機能とか意味不明のバグが多すぎ…

2番じゃダメなんですか?

[Anonymous Coward]

いやマジでSunSpiderって今やスパコンのTOP500並みに役に立たないベンチマークでしょ?

Re:2番じゃダメなんですか?

[nomnom (26419)]

そんなに古いベンチマークだっけ、と見てみたら、初登場が 2007年12月なんですね。
新しいJavaScriptベンチ「SunSpider」が登場 2007/12/20 [mycom.co.jp]
ドッグイヤーなこの世界とはいえ、陳腐化すさまじいです。

上記記事によると、SunSpider が開発された動機は「自分たちのニーズを満たすものが存在しなかったから」だそうですが、陳腐化してしまったとなると、置き換わるツールはどんなのがあるんでしょう。

Re:

[Anonymous Coward]

そのためにKraken JavaScript Benchmarkを立ち上げたんじゃなかったっけ？

もじらの中の人も必死なのかな

[Anonymous Coward]

ついこないだまでFirefoxが最もJavaScriptのパフォーマンスが悪いブラウザだったし、てかJaegerMonkey作るのにJavaScriptCoreからコード拝借してる始末だし。

Re:もじらの中の人も必死なのかな

[firewheel (31280)]

＞ついこないだまでFirefoxが最もJavaScriptのパフォーマンスが悪いブラウザだったし、
ソースが欲しいな。

具体的に何年何月から何年何月頃かくらいの情報は記述して欲しい。
この書き方では、「ついこないだ」ってのが2年前なのか10年前なのかも分からんぞ。
＃10年前じゃFirefoxはなかったかな。

Re:もじらの中の人も必死なのかな

[Anonymous Coward]

たぶんこれ [betanews.com]のことじゃないかな。IE8のダメっぷりが目立つけど。

コード拝借してる始末って

[Anonymous Coward]

良いもので各種条件を満たしているならば、コードを貰ってきても別に構わないんじゃ？

許容できないくらいに各種条件を満たしていないなら話は別ですが、それで良いなら貰った方がゴールへ速く進んでいける訳だし。

Re:

[Anonymous Coward]

自分じゃ作れなかったからよそから拝借してるだけの話。言語処理系に強い開発者があのプロジェクトには不足しているってことです。

Re:

[Anonymous Coward]

いや、だからそのコメントに対しても #1861627 [srad.jp] と同じコメントをつけるしかないんだけど。

貰ってきているからって、だからそれが何？って事。
あらゆる課題に対して自作で解決する事がプロジェクトの目的ならば貰ってくる行為はギブアップ宣言みたいなものだけど、そうじゃないんだからさ。

Re:

[Anonymous Coward]

おっと、GNUカーネルの悪口はそこまでだ

全部NOPで計ればいい

[Anonymous Coward]

ごめんなさい。

日本語が不自由

[Anonymous Coward]

意図的な良パフォーマンスって何よ