大丈夫です。ただし、本人にやってみようという気持ちがあれば、のお話です。

それさえあれば、遅すぎるということはありません。
ただ、少しでも早く始めた方がいいことは確かなので、
思い立ったが吉日で、本人がやると言ったときには、そのタイミングを
逃さずに始めることです。

親の考えで、英語は高学年からでいいと決めたのなら、
高学年になっても、「何かを学びたい」という姿勢を持った子供に
育てることが、とても重要になってくると思います。