این شهر زادگاه تعدادی از مشاهیر بیرجند همچون دکتر غلامحسین شکوهی پدر علم تعلیم و تربیت ایران و ابن حسام خوسفی شاعر و عارف شیعه قرن نهم هجری قمری و نگارنده خاوران نامه است.

پیشینه تاریخی خوسف به پیش از اسلام می رسد و یکی از کهنترین شهرهای خراسان جنوبی محسوب شده که در منابع تاریخی از آن با نامهای خسف، خسب، خوسف یاد شده است.

وجود بافت قدیمی با آثار تاریخی از ویژگیهای شاخص این شهر محسوب می شود. این بافت به لحاظ موقعیت طبیعی و واقع شدن بر روی هسته مقاوم از زمین لرزه در امان مانده لذا یکی از سالمترین بافتهای تاریخی در منطقه به شمار می رود.

حمدالله مستوفی نخستین کسی است که در سال 740 هجری در کتاب نزهه القلوب نام کنونی خوسف را آورده است و درباره آن چنین می گوید: خوسف شهر کوچکی است و چند موضع توابع دارد و آب آن از رودخانه باشد و دیها را آب از کاریز باشد و در آنجا همه نوع انتفاعی حاصل آید.

بافت قدیمی خوسف نیز که در طول حیات چند صد ساله خود فراز و نشیبهای زیادی را طی کرده از این امر مستثنی نبوده و در جریان شکل گیری و رشد خود بسیار از این عوامل متاثر شده است.

بافت قدیم خوسف با مساحتی در حدود 20 هکتار تعداد زیادی بناهای باارزش تاریخی و فرهنگی را در خود جای داده است. مساجد، آب انبارها، مدرسه، قلعه، خانه های علوی و مالکی و آرامگاه ابن حسام از جمله این بناهای ارزشمند هستند.

ˈآرامگاه ابن حسام خوسفیˈ شاعر برجسته دوره صفوی با فرم هشت ضلعی با گنبدی شبیه کلاه فرنگی که در اصل نورگیر مقبره محسوب می گردد احداث شده است.

فضای ورودی آرامگاه دارای پله است که در نمای جنوبی ساختمان قرار گرفته و به لحاظ فرم مانند پیش طاقی بوده که سقف آن دارای فرم قوسی شکل به صورت سه بخشی کند است.

در نمای خارجی مقبره در سه طرف نورگیر یا پنجره کارگذاشته شده که نور فضای داخلی را تامین می کنند و همچنین علاوه بر پنجره ها طاق نماهایی در نمای خارجی ساختمان موجود است که فرم کلی بنا از این طاق نماها نشأت می گیرد.

بافت تاریخی ˈروستای خورˈ مربوط به دوره صفوی نیز متاثر از شرایط اقلیمی و جغرافیایی محیط خود است. خانه های گلی، پوشش گنبدی، حیاط مرکزی، بادگیرها، اطاقهای دور تا دور حیاط، هشتیها و دهلیزها، دیوارهای قطور، حوض و باغچه وسط حیاط به صورت هماهنگ و یکنواخت از ویژگیهای معماری خانه های روستای خور هستند که مطابق با اقلیم منطقه بوجود آمده است.

تراکم خانه ها و کوچه های پرپیچ و خم و همچنین بادگیرها از شاخصهای عمده روستای خور است.

در بافت خور بناهایی همچون قلعه، آب انبار، مسجد، حسینیه، حمام و خانه های قدیمی وجود دارد که اکثرا متعلق به دوره صفوی است.

ˈمسجدجامع خوسفˈ نیز مربوط به دوره قاجار دارای سردر ورودی بلند با طاق جناغی و تزئینات رسمی بندی، صحن، شبستان زمستانی به نامهای ملاعلی اکبر و حاج عبدالخالق، یک شبستان تابستانی و شبستانهای مهتابی و خلیلان است.

ورودی بنا و شبستانهای مهتابی و خلیلان در دوره های معاصر بازسازی شده اند و در جریان مرمت شبستان مسجد به بقایا و آثاری مربوط به دو دوره مختلف برخورد شد.

در مورد زمان ساخت این بنا در بین اهالی مشهور است که از مساجد مربوط به زمان حیات مبارک امام حسن مجتبی(ع) است ولی در این مسجد شواهدی برای تأیید این ادعا وجود ندارد.

بنای موجود در دوره قاجار به فراخور نیاز مرمت و گسترش یافته ولی بر اساس گمانه زنیها زمان بنای اولیه مسجد مربوط به دوره های قبل از آن است.

ˈخانه تاجورˈ نیز مربوط به دوره قاجار و از ویژگیهای معماری آن دو ورودی است که یکی از ورودیها دارای تزئینات آجرکاری دوره پهلوی و دیگری دارای تزئینات رسمی بندی بوده و از لحاظ معماری اصیل تر است.

تزئینات بنا شامل رسمی بندی و آجرکاریهای ورودی، کاربندیهای ایوان و پنجره های مشبک است.

از دیگر خانه های تاریخی خوسف می توان به خانه خلیلی و خانه علوی نیز اشاره کرد که در بافت تاریخی این شهر قرار دارند.