英語を話すときや聴くとき「日本語⇔英語」と考える癖をなくすには？

英語を話す時にどうしてもまだ頭の中で「日本語→英語」、
聞く時は逆に「英語→日本語」のプロセスを踏んでしまうので、
言葉に詰まってしまったり、話されている内容が
理解出来なくなる事が多々あります。
実際に英語がスラスラ話せるようになった方は、そこをどう克服していったのでしょうか。