まずその人の曲を無断で使って歌ってみたを投稿する時点で、その曲に対する著作権や原盤権の権利損害になる可能性が高いことは覚えておいてください。
ただ、最近はJASRACと契約をしてJASRACの曲を使用できるようにするプラットフォームも少なくないようですが。
それで、本題のサムネイルについてですが、まずサムネイル・MVの使用は基本的に投稿者、もしくは映像の作成者に許可を取らないと使用した時点でアウトです。二次創作の場合は内容にもよるでしょうが、ほぼ同じ構図やキャラデザの使用、MVからの引用は許可がないとアウトになるはずです。
楽曲によっては二次創作のガイドラインなども制定されているはずなので、その制定範囲によっても異なるでしょう。
よって、基本的には著作権者に許可さえ取れればいかなる利用も許可されますし、著作権者のさじ加減でMVの利用はだめだったり、逆に同じサムネイルを使っても問題はなかったりすることもあります。
基本的に同じサムネを使った=著作権違反ではないことを覚えておきましょう。詳しくはそれぞれの著作権者の利用規約やガイドラインを熟読することをおすすめします。