一般的にはテクスチャーを合わせた方が統一感が出るのでおすすめです。
ただし石目調と織物調を組み合わせる手法もあります。