壁と1×4材の間に飾り板を入れるなら、飾り板と壁の間に1ミリくらいの何かを挟めば良いんじゃない？