新しいGithub Actions環境でmacOSのテストが一部落ちるのを解決したい

[Hiroshiba]

不具合の内容

2024/04/22辺りにmacOSのlatestが更新され、macos-14が利用されるようになりました。

以前

以降

その影響でテストが２つ落ちるようになったのでメモです。
応急処置としてskipすることにしていますが、可能なら解決したいです。

現象・ログ

このissueを作った時点でのmainブランチの結果
https://github.com/VOICEVOX/voicevox/actions/runs/8732000344/attempts/2

同じコミットIDでの以前の結果
https://github.com/VOICEVOX/voicevox/actions/runs/8732000344/attempts/1

その他

原因調査に取り組まれた場合はぜひコメントをいただけると助かります。

skipは @weweweok さんが実装してくださいました、ありがとうございます！

• macOSのみ、e2eテストを実行しない #2006

[weweweok]

ローカル環境で何回かe2eテストを実行してみましたが、かなりの頻度で時間切れになりますね。。。(毎回同じ箇所で落ちる)
ファイル数が少ないと通ります。

[Hiroshiba]

@weweweok なるほどです！！
fullyParallelをfalseにし、workersを1にするとどうでしょう？
このあたりです↓

voicevox/playwright.config.ts

Lines 67 to 69 in 177ecee

	// ファイルシステムが関連してくるので、Electronテストでは並列化しない
	fullyParallel: !isElectron,
	workers: isElectron ? 1 : undefined,

[weweweok]

全体として遅くなりますが、ほとんど通りました。

[sevenc-nanashi]

ファイル数が少ないと通ります。

もしかして：エンジンにキャラクターが多いせいで時間内にデータ準備が終わっていない？
VRTでやってるようなモックを全体に適用してもいいかも。全部差し替えなくてもGET /speakersを5人に絞るとかでも。

[Hiroshiba]

ほとんどが時間切れになるのは同時実行していてPCスペックが間に合わないからだと思います。
Nemoじゃなく通常VOICEVOXエンジン使ってるならなおさら。
なので並列実行数を下げたらほぼ通ったんだと思います。

並列実行数を下げても通らなかったテストは問題だと思います。なんでだろう･･･。