建庙以前这里称“黑绀岭”。唐贞观十四年（640年），候君集平定高昌时，行军副总管左屯卫将军、姜行本曾在此制作攻城器械，事华立记功碑于天山之岭。元、明时期称“阔石图”岭（蒙语：碑岭）。

现在的天山庙，仅存有三间砖木结构的空殿和一块断碑。遂使今人有“破庙残碑映雪寒”之感叹。天山路蜿蜒曲折凡三十六盘，道旁山高林密，鹰啭鹿鸣。顺盘山弯道，登上天山庙山顶，豁然天开，俯瞰山下，只见林海莽莽，雪光莹莹，一会儿朗月当空，一会儿云遮雾罩，一会儿大雪纷飞。游人旅客多驻足于此，领略一番大自然的奇妙景色。

现哈密市在天山庙立有班超像一尊，庙旁有一小屋，屋内藏汉、唐和清的碑刻，而唐的姜行本碑就是其中之一。2000年经当地政府批准拆除原有的天山庙，恢复修建新的天山庙，并修建观景亭一个；2002年又投资扩建、景区护栏、步行道、环保厕所、景区标示牌等设施。

天山庙位于哈密北部天山顶，因清乾隆五十一年（公元1786年）在天山顶部修建关帝庙而得名。天山公路由此分道，急转直下，南去是南山口，北去是口门子。这里海拨2700多米，云巅鸟道，自古以来是东部天山南阳北阴的必经之路。