ダウンタウンの中心部はインナーハーバー周辺。観光ポイントはこの周辺に集中している。ブッチャート・ガーデンは街の北約21kmのところにあるので、市バスやシャトルバスを利用していこう。
インナーハーバーを囲むようにして建つ州議事堂と、フェアモント・エンプレス・ホテル。この二つの建物がビクトリアのシンボル。エンプレス・ホテルの前を南北に走るガバメント通り(Goverment St.)は、ビクトリアのメインストリートで観光施設やショップ、レストラン、デパートが集中している。
ダウンタウンの主要ポイントはコンパクトにまとまっているので歩いて十分回れる広さだが、タリホーとよばれる英国風馬車にのって雰囲気を味わってみるのもいい。おなじみ2階建ての赤い観光バスも走っている。
ガバメント通りと平行して走るダグラス通り(Douglas St.)からフォート通り(Fort St.)に入り先に進むとアンティックの店が軒を連ねる。
ダウンタウンの北には北米一小さなチャイナタウンや、南には地元の人がジョギングや散歩を楽しむビーコン・ヒル公園がある。