Googleからメールを貰いましたが英文を翻訳して意味を理解するのが面倒でほぼ放置状態でした。
重い腰を上げて調べてみると、内部テストにアップしていたアプリのAPIのLevelが必要とされる33に対応しておらず、テスターも登録していたので「早く対応させないと削除するよ！」っていうことだったらしいです。
内部テストにアップしてしまったアプリは、削除できないようなのでAPIに対応したバージョンをアップし、テスターの登録も解除しました。
以下のブログが参考になりました。
参考ブログ
【Android】GooglePlayで公開していたアプリが突然削除された時の対処方法
