Maltdown緩和対策前後のmacOS 10.12.6 Sierraベンチマーク。

スポンサーリンク

 Maltdown緩和策前後のmacOS 10.12.6 Sierraベンチマークの結果です。詳細は以下から。

Meltdownのロゴ

 Appleは現地時間2018年01月23日に公開した「OS X 10.11.6 El Capitan」および「macOS 10.12.6 Sierra」向けのセキュリティ・アップデート 2018-001で、Intel CPUの投機的実行を利用しユーザーの情報を窃取するMeltdown脆弱性についての緩和策を行ったと記載していますが、

これにより、AppleがHigh Sierraで導入した新しいファイルフォーマットAPFSの影響を受けずに、Meltdown緩和策前後のパフォーマンスをチェックできる環境が出来たので、早速前回のベンチマークに加えて「セキュリティ・アップデート 2018-001」(Meltdown緩和策)後のmacOS 10.12.6 Sierra Build 16G1212とmacOS 10.13.3 High Sierra Build 17D47のベンチマークを追加し、比較してみました。

ベンチマーク環境は以前と同様です。

スポンサーリンク

UnixBench

 まず初めに、先のベンチマークでHigh SierraのMeltdown緩和策後、PipeやSystem Call処理に大きなスコア低下が見られた「UnixBench」をMeltdown緩和策前後のSierra環境でも行ってみました。1CPU/4CPUでのIndex Scoreは以下の通りで、見て分かる通りSierraでもMeltdown緩和策前後で約20%程度のパフォーマンスの低下が起こっています。

Meltdown緩和策を行ったSierraとHigh Sierra

Test macOS 10.12.6 (16G1114) macOS 10.12.6 (16G1212) macOS 10.13 (17A405) macOS 10.13.1 (17B1003) macOS 10.13.2 (17C205) macOS 10.13.3 (17D47)
1CPU 869.1 624.5 678.0 667.3 548.2 555.3
4CPU 1848.2 1476.5 1254.5 1252.1 1243.6 1243.6
Link Gist Gist Gist Gist Gist Gist

 これをMeltdown緩和策の前後比(パッチ後/パッチ前)にして、どのテストがスコアを下げているかを見ていくとやはり、SierraでもHigh Sierraや他のLinux環境同様、Pipe ThroughputやSystem Call Overheadのスコアが著しく低下しており、File Copy処理についても20%程度スコアが低下しているのがわかります。

Meltdownパッチ適用前後のPipe ThroughputやSystem Call Overheadのスコア

  • Pipe Throughput
    ▶512Byteのデータをパイプ処理しこれを繰り返し実行することでスループットをテスト。
  • Pipe-based Context Switching
    ▶2つのプロセス間を更新される値をパイプで受け渡すことで、プロセスのコンテキストスイッチを実行するテスト。
  • System Call Overhead
    ▶getpid()というプロセスIDを返す単純なシステムコールを繰り返し実行するテスト。
Test macOS 10.12.6 (16G1114) macOS 10.12.6 (16G1212) macOS 10.12.6 Melt/macOS 10.12.6 macOS 10.13 (17A405) macOS 10.13.3 (17D47) macOS 10.13.3 Melt/macOS 10.12.6 Melt macOS 10.13.3/macOS 10.13 Unit
Dhrystone 2 using register variables 77408321.7 78151030.3 100.96% 77686376.9 77729350.3 99.46% 100.06% lps
Double-Precision Whetstone 25192.7 25183.2 99.96% 25208.6 25204.0 100.08% 99.98% MWIPS
Execl Throughput 1685.7 1553.5 92.16% 1359.3 1251.0 80.53% 92.03% lps
File Copy 1024 bufsize 2000 maxblocks 1175735.2 918974.3 78.16% 257020.8 459416.7 49.99% 178.75% KBps
File Copy 256 bufsize 500 maxblocks 327654.8 249802.0 76.24% 65166.8 134360.3 53.79% 206.18% KBps
File Copy 4096 bufsize 8000 maxblocks 3027618.3 2518260.5 83.18% 949676.3 1776152.7 70.53% 187.03% KBps
Pipe Throughput 2655269.6 1561808.5 58.82% 2625888.8 1529401.4 97.93% 58.24% lps
Pipe-based Context Switching 581894.0 424572.3 72.96% 542179.1 400226.8 94.27% 73.82% lps
Process Creation 5409.3 4838.5 89.45% 5101.5 4312.1 89.12% 84.53% lps
Shell Scripts (1 concurrent) 6101.4 5426.2 88.93% 5945.8 5427.4 100.02% 91.28% lpm
Shell Scripts (8 concurrent) 831.6 740.1 89.00% 822.5 749.9 101.32% 91.17% lpm
System Call Overhead 2452298.6 1182814.5 48.23% 2535282.6 1189445.4 100.56% 46.92% lps
4CPU System Benchmarks Index Score: 1848.2 1476.5 79.89% 1254.5 1243.6 84.23% 99.13%

AmorphousDiskMark

 次にSSDのRead/Write性能を見るため今回もWindows PCのCrystalDiskMarkをKatsura SharewareさんがMacに移植した「AmorphousDiskMark」を利用し、ストレージ(PCIe SSD)のベンチマークを行ってみました。

Meltdown緩和策前後のKatsura Sharewareベンチマーク

 ストレージベンチマークはUnixBenchのFile CopyテストやWindowsの結果からスコアが低下することを予想していましたが、Meltdown緩和策前のmacOS 10.12.6 (16G1114)を100%としてプロットすると、Meltdown緩和策後のmacOS 10.12.6の同じHFS+フォーマットと比較してRead性能が10~20%程度低下するのに対し、Write性能は40~70%程度向上するという結果になったので、AmorphousDiskMarkアプリに問題があるか、Appleが何か対策を行ったのか不明ですが、こちらに関してはもう少し調査が必要だと思われます。

macOS 10.12.6からmacOS 10.13.3までのストレージベンチマーク

Geekbench

 最後に、クロスプラットフォームに対応し、AESやSQLite、HTML5 Parse/DOM、LLVM、SFFTなどの処理テストにより、システムのスコアを出すGeekbenchのベンチマークスコアですが、こちらはMeltdown緩和策により低下するテスト(処理)が無いようで、Appleの声明や開発者のJohn Pooleさんのコメント通り、macOS SierraでもMeltdown緩和策の影響を見ることは出来ませんでした。

Meltdown緩和策前後でのGeekbenchベンチマーク

まとめ

 今回のベンチマークではAppleが現在のAPFSほど頻繁にアップデートを行っていないファイルフォーマット「HFS+」を採用したmacOS 10.12 Sierra環境でのMeltdown緩和策前後のスコアが確認できましたが、やはりMeltdown緩和策後は特定の環境でパフォーマンスが落ちるので、現在もSierra以前のmacOSを利用されている方は今後「セキュリティ・アップデート 2018-001」および「macOS 10.13.x High Sierra」の2つのアップデート/アップグレード前後でMacのパフォーマンスが変わることを頭の片隅においておくといいかもしれません。

  • GeekbenchではMeltdown緩和策の影響はほぼ見られない。
  • UnixBenchのPipe/System Callスコアを見る限りでは、MacもMeltdown緩和策の影響を受ける。
  • NewSierraでのMeltdown緩和策によりHFS+ファイルフォーマット環境でも特定のテストでパフォーマンスの低下が見られた。
  • ストレージについてはMeltdown緩和策の影響よりもファイルシステム(HFS+/APFS)の影響が大きい。
  • NewSierraのMeltdown緩和策前後でのAmorphousDiskMarkベンチマークについては要検討。

*MacではmacOSとファイルフォーマット、iOSではバッテリーの劣化によるパフォーマンス問題で、AppleのプロダクトはMeltdown/Spectre脆弱性によるパフォーマンスの問題があやふやになっているという指摘もあるようです。

JetDrive 820

何か誤字や不明な点がありましたらコメント欄でご指摘ただければ幸いです。TranscendのJetDrive 820のレビューは時間があれば書きます。

コメント

  1. 匿名 より:

    ベンチマークを取ってないので、あくまで主観での感想・推測です。

    現在当方は内蔵S-ATAIIIにSamsung SSD 840 PRO 256GB ×2基搭載しmacOS純正ソフトウェアRAIDでRAID 0を組んで起動ディスク運用をしています。

    ソフトウェアRAID利用のためHigh SierraではAPFSが使えずHFS+環境で使用していますが、昨日macOS 10.2.2(追加アップデート適用済)からmacOS 10.2.3にアップデートしたところ、デイスクアクセスが高速化したように感じています。

    そのため、AppleはmacOS 10.2.3で、HFS+にも何か更新をかけたか、ディスクパフォーマンス全体に影響を与える部分の更新をしたのでは無いかと考えています。

  2. 匿名 より:

    この問題に関してはどの業界でも阿鼻叫喚って感じ
    インテルが長い時間かけて作りあげてきた信用が一瞬で吹き飛んだ

  3. 匿名 より:

    Maltdownという誤植が散見されます( ´・‿・`)

  4. 匿名 より:

    AmorphousDiskMark の作者の桂と申します。

    SSD 書き込みの結果に関してですが、測定は各 OS バージョンで1回(5 x 500MiB)ずつ行いましたか? それとも少なくとも3回(連続してじゃなくて、別の OS バージョンのテストをはさんで)くらい行いましたか?

    AmorphousDiskMark 自体で5回テストを繰り返すと(5 x 500MiB)、SSD デバイス自体が書き込みキャッシュ(RAM cache)を使ってしまって、測定値が実際のデバイスの書き込み性能以上になってしまうようです。

    再起動後、OS(Finder や Spotlight)のディスクアクセスがゼロになるのを確認してから(Terminal: iostat -w1)、1 x 500MiB のテストを1回走らせることをお勧めします。

    • applech2 より:

      ご指摘ありがとうございます。
      >SSD 書き込みの結果に関してですが、測定は各 OS バージョンで1回(5 x 500MiB)ずつ行いましたか? それとも少なくとも3回(連続してじゃなくて、別の OS バージョンのテストをはさんで)くらい行いましたか?
      SSDのベンチマークはmacOS起動後1回(5 x 500MiB)です。

      >AmorphousDiskMark 自体で5回テストを繰り返すと(5 x 500MiB)、SSD デバイス自体が書き込みキャッシュ(RAM cache)を使ってしまって、測定値が実際のデバイスの書き込み性能以上になってしまうようです。
      >再起動後、OS(Finder や Spotlight)のディスクアクセスがゼロになるのを確認してから(Terminal: iostat -w1)、1 x 500MiB のテストを1回走らせることをお勧めします。
      書き込みキャッシュの件了解しました、macOS 10.13.xについてはAppleがAPFSを少なくとも2回アップデートしているので、そちらも関係しているかもしれませんが、時間を見つけてもう一度確認してみます。

  5. 匿名 より:

    こういう情報はありがたいです。
    個人的には、思ったよりは影響が大きくなくて一安心という感じだけど・・・企業はねぇ
    恐ろしい脆弱性だよほんと