Существует уникальная легенда о постройке Ворот Тории. Говорят, что японские золотоискатели, которые прибыли на остров в поисках богатств, встретили местных айнов, которые попросили помощи в создании священного места, где они могли бы поклоняться своим божествам. Японцы решили помочь, и вместе они построили этот столб с иероглифами, который стал символом дружбы между двумя народами.