Maltdown緩和策前後のmacOS 10.12.6 Sierraベンチマークの結果です。詳細は以下から。
Appleは現地時間2018年01月23日に公開した「OS X 10.11.6 El Capitan」および「macOS 10.12.6 Sierra」向けの「セキュリティ・アップデート 2018-001」で、Intel CPUの投機的実行を利用しユーザーの情報を窃取するMeltdown脆弱性についての緩和策を行ったと記載していますが、
これにより、AppleがHigh Sierraで導入した新しいファイルフォーマットAPFSの影響を受けずに、Meltdown緩和策前後のパフォーマンスをチェックできる環境が出来たので、早速前回のベンチマークに加えて「セキュリティ・アップデート 2018-001」(Meltdown緩和策)後のmacOS 10.12.6 Sierra Build 16G1212とmacOS 10.13.3 High Sierra Build 17D47のベンチマークを追加し、比較してみました。
UnixBench
まず初めに、先のベンチマークでHigh SierraのMeltdown緩和策後、PipeやSystem Call処理に大きなスコア低下が見られた「UnixBench」をMeltdown緩和策前後のSierra環境でも行ってみました。1CPU/4CPUでのIndex Scoreは以下の通りで、見て分かる通りSierraでもMeltdown緩和策前後で約20%程度のパフォーマンスの低下が起こっています。
| Test | macOS 10.12.6 (16G1114) | macOS 10.12.6 (16G1212) | macOS 10.13 (17A405) | macOS 10.13.1 (17B1003) | macOS 10.13.2 (17C205) | macOS 10.13.3 (17D47) |
|---|---|---|---|---|---|---|
| 1CPU | 869.1 | 624.5 | 678.0 | 667.3 | 548.2 | 555.3 |
| 4CPU | 1848.2 | 1476.5 | 1254.5 | 1252.1 | 1243.6 | 1243.6 |
| Link | Gist | Gist | Gist | Gist | Gist | Gist |
これをMeltdown緩和策の前後比(パッチ後/パッチ前)にして、どのテストがスコアを下げているかを見ていくとやはり、SierraでもHigh Sierraや他のLinux環境同様、Pipe ThroughputやSystem Call Overheadのスコアが著しく低下しており、File Copy処理についても20%程度スコアが低下しているのがわかります。
- Pipe Throughput
▶512Byteのデータをパイプ処理しこれを繰り返し実行することでスループットをテスト。 - Pipe-based Context Switching
▶2つのプロセス間を更新される値をパイプで受け渡すことで、プロセスのコンテキストスイッチを実行するテスト。 - System Call Overhead
▶getpid()というプロセスIDを返す単純なシステムコールを繰り返し実行するテスト。
| Test | macOS 10.12.6 (16G1114) | macOS 10.12.6 (16G1212) | macOS 10.12.6 Melt/macOS 10.12.6 | macOS 10.13 (17A405) | macOS 10.13.3 (17D47) | macOS 10.13.3 Melt/macOS 10.12.6 Melt | macOS 10.13.3/macOS 10.13 | Unit | |
|---|---|---|---|---|---|---|---|---|---|
| Dhrystone 2 using register variables | 77408321.7 | 78151030.3 | 100.96% | 77686376.9 | 77729350.3 | 99.46% | 100.06% | lps | |
| Double-Precision Whetstone | 25192.7 | 25183.2 | 99.96% | 25208.6 | 25204.0 | 100.08% | 99.98% | MWIPS | |
| Execl Throughput | 1685.7 | 1553.5 | 92.16% | 1359.3 | 1251.0 | 80.53% | 92.03% | lps | |
| File Copy 1024 bufsize 2000 maxblocks | 1175735.2 | 918974.3 | 78.16% | 257020.8 | 459416.7 | 49.99% | 178.75% | KBps | |
| File Copy 256 bufsize 500 maxblocks | 327654.8 | 249802.0 | 76.24% | 65166.8 | 134360.3 | 53.79% | 206.18% | KBps | |
| File Copy 4096 bufsize 8000 maxblocks | 3027618.3 | 2518260.5 | 83.18% | 949676.3 | 1776152.7 | 70.53% | 187.03% | KBps | |
| Pipe Throughput | 2655269.6 | 1561808.5 | 58.82% | 2625888.8 | 1529401.4 | 97.93% | 58.24% | lps | |
| Pipe-based Context Switching | 581894.0 | 424572.3 | 72.96% | 542179.1 | 400226.8 | 94.27% | 73.82% | lps | |
| Process Creation | 5409.3 | 4838.5 | 89.45% | 5101.5 | 4312.1 | 89.12% | 84.53% | lps | |
| Shell Scripts (1 concurrent) | 6101.4 | 5426.2 | 88.93% | 5945.8 | 5427.4 | 100.02% | 91.28% | lpm | |
| Shell Scripts (8 concurrent) | 831.6 | 740.1 | 89.00% | 822.5 | 749.9 | 101.32% | 91.17% | lpm | |
| System Call Overhead | 2452298.6 | 1182814.5 | 48.23% | 2535282.6 | 1189445.4 | 100.56% | 46.92% | lps | |
| 4CPU System Benchmarks Index Score: | 1848.2 | 1476.5 | 79.89% | 1254.5 | 1243.6 | 84.23% | 99.13% |
AmorphousDiskMark
次にSSDのRead/Write性能を見るため今回もWindows PCのCrystalDiskMarkをKatsura SharewareさんがMacに移植した「AmorphousDiskMark」を利用し、ストレージ(PCIe SSD)のベンチマークを行ってみました。
ストレージベンチマークはUnixBenchのFile CopyテストやWindowsの結果からスコアが低下することを予想していましたが、Meltdown緩和策前のmacOS 10.12.6 (16G1114)を100%としてプロットすると、Meltdown緩和策後のmacOS 10.12.6の同じHFS+フォーマットと比較してRead性能が10~20%程度低下するのに対し、Write性能は40~70%程度向上するという結果になったので、AmorphousDiskMarkアプリに問題があるか、Appleが何か対策を行ったのか不明ですが、こちらに関してはもう少し調査が必要だと思われます。
Geekbench
最後に、クロスプラットフォームに対応し、AESやSQLite、HTML5 Parse/DOM、LLVM、SFFTなどの処理テストにより、システムのスコアを出すGeekbenchのベンチマークスコアですが、こちらはMeltdown緩和策により低下するテスト(処理)が無いようで、Appleの声明や開発者のJohn Pooleさんのコメント通り、macOS SierraでもMeltdown緩和策の影響を見ることは出来ませんでした。
まとめ
今回のベンチマークではAppleが現在のAPFSほど頻繁にアップデートを行っていないファイルフォーマット「HFS+」を採用したmacOS 10.12 Sierra環境でのMeltdown緩和策前後のスコアが確認できましたが、やはりMeltdown緩和策後は特定の環境でパフォーマンスが落ちるので、現在もSierra以前のmacOSを利用されている方は今後「セキュリティ・アップデート 2018-001」および「macOS 10.13.x High Sierra」の2つのアップデート/アップグレード前後でMacのパフォーマンスが変わることを頭の片隅においておくといいかもしれません。
- GeekbenchではMeltdown緩和策の影響はほぼ見られない。
- UnixBenchのPipe/System Callスコアを見る限りでは、MacもMeltdown緩和策の影響を受ける。
- NewSierraでのMeltdown緩和策によりHFS+ファイルフォーマット環境でも特定のテストでパフォーマンスの低下が見られた。
- ストレージについてはMeltdown緩和策の影響よりもファイルシステム(HFS+/APFS)の影響が大きい。
- NewSierraのMeltdown緩和策前後でのAmorphousDiskMarkベンチマークについては要検討。
*MacではmacOSとファイルフォーマット、iOSではバッテリーの劣化によるパフォーマンス問題で、AppleのプロダクトはMeltdown/Spectre脆弱性によるパフォーマンスの問題があやふやになっているという指摘もあるようです。
関連リンク
- Firmware Updates and Initial Performance Data for Data Center Systems
- Understanding the performance impact of Spectre and Meltdown mitigations on Windows Systems – Microsoft Secure
- CPU脆弱性Meltdownのパッチ適用でベンチマークスコアが25％低下した – Qiita
- 「CPUの脆弱性」対策パッチで，ゲーム性能はどれだけ低下するのか。Intel製CPUを使って取り急ぎ現状を確認してみた – 4Gamer.net
- CPUの脆弱性対策パッチでSSDのランダムアクセスが大幅減速？影響をチェックしてみた – AKIBA PC Hotline!
コメント
ベンチマークを取ってないので、あくまで主観での感想・推測です。
現在当方は内蔵S-ATAIIIにSamsung SSD 840 PRO 256GB ×2基搭載しmacOS純正ソフトウェアRAIDでRAID 0を組んで起動ディスク運用をしています。
ソフトウェアRAID利用のためHigh SierraではAPFSが使えずHFS+環境で使用していますが、昨日macOS 10.2.2（追加アップデート適用済）からmacOS 10.2.3にアップデートしたところ、デイスクアクセスが高速化したように感じています。
そのため、AppleはmacOS 10.2.3で、HFS+にも何か更新をかけたか、ディスクパフォーマンス全体に影響を与える部分の更新をしたのでは無いかと考えています。
この問題に関してはどの業界でも阿鼻叫喚って感じ
インテルが長い時間かけて作りあげてきた信用が一瞬で吹き飛んだ
Maltdownという誤植が散見されます( ´･‿･｀)
AmorphousDiskMark の作者の桂と申します。
SSD 書き込みの結果に関してですが、測定は各 OS バージョンで１回（5 x 500MiB）ずつ行いましたか？ それとも少なくとも３回（連続してじゃなくて、別の OS バージョンのテストをはさんで）くらい行いましたか？
AmorphousDiskMark 自体で５回テストを繰り返すと（5 x 500MiB）、SSD デバイス自体が書き込みキャッシュ（RAM cache）を使ってしまって、測定値が実際のデバイスの書き込み性能以上になってしまうようです。
再起動後、OS（Finder や Spotlight）のディスクアクセスがゼロになるのを確認してから（Terminal: iostat -w1）、1 x 500MiB のテストを１回走らせることをお勧めします。
ご指摘ありがとうございます。
>SSD 書き込みの結果に関してですが、測定は各 OS バージョンで１回（5 x 500MiB）ずつ行いましたか？ それとも少なくとも３回（連続してじゃなくて、別の OS バージョンのテストをはさんで）くらい行いましたか？
SSDのベンチマークはmacOS起動後1回(5 x 500MiB)です。
>AmorphousDiskMark 自体で５回テストを繰り返すと（5 x 500MiB）、SSD デバイス自体が書き込みキャッシュ（RAM cache）を使ってしまって、測定値が実際のデバイスの書き込み性能以上になってしまうようです。
>再起動後、OS（Finder や Spotlight）のディスクアクセスがゼロになるのを確認してから（Terminal: iostat -w1）、1 x 500MiB のテストを１回走らせることをお勧めします。
書き込みキャッシュの件了解しました、macOS 10.13.xについてはAppleがAPFSを少なくとも2回アップデートしているので、そちらも関係しているかもしれませんが、時間を見つけてもう一度確認してみます。
こういう情報はありがたいです。
個人的には、思ったよりは影響が大きくなくて一安心という感じだけど・・・企業はねぇ
恐ろしい脆弱性だよほんと