Ngược theo dòng lịch sử mới thấy được hết sự độc đáo và tâm linh của ngôi đền này. Trước năm 1945, tổng Đồ Sơn có 2 xã, 5 làng; làng nào cũng có đình, đền riêng, song hầu như tất cả có duy nhất một vị thành hoàng. Vị thành hoàng chung của người dân Đồ Sơn xưa được các làng, xã thờ là thần Điểm Tước. Nguồn gốc của vị thần này bắt nguồn từ một truyền thuyết xa xưa, kể rằng vùng đất Đồ Sơn đang yên vui bỗng có một con thuỷ quái đến phá hoại các xóm vạn chài. Được sự giúp đỡ của thần linh, xóm vạn chài trở nên yên vui, cư dân Đồ Sơn tiến hành lễ cầu duệ hiệu (tên gọi của thần) . Sau 7 ngày, 5 đêm thì thấy hiện lên nốt chân chim trên mâm bột, từ đó Điểm Tước trở thành tên gọi của thành hoàng tổng Đồ Sơn (Điểm Tước có nghĩa là vết chân chim). Từ nguồn gốc của vị thành hoàng làng này, tục chọi trâu được hình thành ở Đồ Sơn và là tập tục rất lâu đời của người Việt cổ được lưu giữ cho đến ngày nay. Với những nghi thức độc đáo mang màu sắc của văn hoá vùng ven biển, tục chọi trâu Đồ Sơn trở thành một lễ hội đặc biệt mang tầm vóc quốc gia. Lễ hội chọi trâu được công nhận là di sản văn hóa phi vật thể quốc gia.
Di tích đền Nghè - Đồ Sơn hội tụ đủ cả hai yếu tố vật thể và phi vật thể để trở thành một di sản văn hoá rất có giá trị, được xây dựng và tồn tại trong một không gian văn hoá mang đậm bản sắc dân tộc.