At that time より具体的に過去を指す言葉を紹介します。

●At that moment – 「その瞬間」を表します。ピンポイントで過去に何かが起きたことを表すことができます。

例： We were watching an F-1 race.  At that moment, one driver crashed into another driver.

私たちはF-1を見ていました。その瞬間、ドライバーがもう一人のドライバーにぶつかりました。

●On that day – 「その日に」を表します。「ある日」を特定して話すときに用います。

例：I had an important test last year.  On that day, I got sick.

去年とても大切なテストがありました。その日に、体調が悪くなりました。

●In those days / Back then – at that time より幅広い期間を表します。

例: When I was in High school, I used to belong to a tennis club.  In those days, I had the time of my life. 

高校時代テニスクラブに所属していました。当時は人生で最も楽しい時期でした。