पौराणिक कथा के अनुसार सती के शव को कँधे पर रखकर जब क्रोधित शिवजी ताण्डव नृत्य कर रहे थे, तब सृष्टि को विनाश से बचाने के लिए विष्णुजी ने अपना सुदर्शन चक्र चलाकर सती के शव के टुकड़े-टुकड़े कर दिये थे। धरती पर जहाँ-जहाँ सती के कटे हुए अंग गिरे, वहाँ-वहाँ आज शक्तिपीठ स्थापित हैं। कहते हैं कि इस पहाड़ी पर सती के रक्त की तीन बूँदें गिरी थीं। इसी के प्रतीक स्वरुप तीन शिलाओं (पिण्डियों) की पूजा यहाँ होती आ रही है। यह भी एक शक्तिपीठ है।

                वर्ष 2007 में तीनों शिलाओं के ऊपर चाँदी की प्रतिमाएँ- आवरण के रुप में- स्थापित की गयीं। अतः अब शिलाओं या पिण्डियों के दर्शन नहीं होते। बीच वाली प्रतिमा महादुर्गा और महाकाली का सम्मिलीत रुप है; इनके दाहिनी ओर महालक्ष्मी तथा बाँईं ओर महासरस्वती की प्रतिमाएँ हैं। चूँकि ये देवियाँ यहाँ रक्त के बूँद के रुप में प्रतिष्ठित हैं, अतः संयुक्त रुप से इन्हें ‘बिन्दुवासिनी’ कहा जाता है।

                एक और पौराणिक कथा के अनुसार, हनुमानजी जब हिमालय से संजीवनी बूटी लेकर लौट रहे थे, तब इस पहाड़ी की दूसरी चोटी पर उन्होंने अपना एक पग धरा था। एक बड़े शिलाखण्ड पर उनके तलवे के आकार का निशान बना हुआ था (अब यह टूटकर एक गड्ढा रह गया है)। इस पौराणिक घटना की याद में वर्ष 2007 के रामनवमी के अवसर पर इसी चोटी पर हनुमानजी की प्रायः छत्तीस फीट ऊँची प्रतिमा स्थापित की गयी है।

                महाभारत काल में यह क्षेत्र ‘कुरु जंगल’ नाम से जाना जाता था। (साहेबगंज के तेलियागढ़ी से लेकर फरक्का के पास गंगा तथा गुमानी नदी के संगम तक का क्षेत्र, जो उत्तर में गंगा तथा दक्षिण में राजमहल की पहाडि़यों से घिरा है।) अर्जुन का रथ अँगदेश से मणिपुर जाते समय इसी क्षेत्र से गुजरा था। हो सकता है कि उसने माँ बिन्दुवासिनी के समक्ष शीश नवाया हो। बाद में यह क्षेत्र ‘कजंगल’ कहलाया। (आज भी ‘काँकजोल’ नाम का गाँव यहाँ है।) ‘श्रीखण्ड’ (आज का श्रीकुण्ड) यहाँ की राजधानी थी, जो संस्कृत विद्या का केन्द्र था। इस क्षेत्र की अपनी शिष्या को गौतम बुद्ध ‘कजंगला’ ही पुकारते थे। कजंगला के अनुरोध पर वे इस क्षेत्र में आये भी थे। जहाँ-जहाँ उन्होंने प्रवचन दिया, वहाँ मठ भी बने। अब मठ तो नहीं रहे; हाँ, ‘मठतल्ला’ नाम की एक बस्ती (राजमहल प्रखण्ड में) जरुर बसी हुई है। इन मठों को देखने ह्नेनसाँग (7वीं सदी) भी यहाँ आये थे।

                जब ह्नेनसाँग कामरुप के राजा भाष्करवर्मा के साथ हर्ष से मिलने कजंगल आये, तब हर्ष का राजसी शिविर बरहरवा के पास ही लगा हुआ था। वह स्थान ‘सिरासन’ (‘श्रीआसन’ का अपभ्रंश) कहलाता है। हर्ष कलिंग से लौट रहे थे। क्या हर्ष ह्नेनसाँग को लेकर माँ बिन्दुवासिनी के दरबार में नहीं आये होंगे? ह्नेनसाँग ने कजंगल क्षेत्र में सात बौद्ध विहारों तथा दस हिन्दू मन्दिरों का जिक्र किया है। हो सकता है उस समय यहाँ मन्दिर रहा भी हो, जो बाद में समय के साथ टूट गया हो। 

                बिन्दुवासिनी पहाड़ी पर यज्ञशाला के पीछे एक विशाल गड्ढा है, जिसके बारे में कहा जाता है कि “पहाड़ी बाबा” ने वहाँ खुदाई करवाई थी और खुदाई में एक नरकंकाल तथा सम्राट अशोक की मुहरें आदि प्राप्त हुई थीं।