Семипалатинские годы – это время возвращения Достоевского к литературному труду. Он снова мог писать: «На душе моей ясно. Вся будущность моя, и все, что я сделаю, у меня, как перед глазами. Я доволен своей жизнью». Но работа шла нелегко, много времени отнимала солдатская служба. Достоевский ненавидел муштру и смотры еще в Военно-инженерном училище. В Семипалатинске же ему опять пришлось надеть форменную одежду. «Солдатство не шутка, ... солдатская жизнь со всеми ее обязанностями солдата не совсем-то легка для человека с таким здоровьем и с такой отвычкой или, лучше сказать, с таким полным ничегонезнанием в подобных занятиях... Я не ропщу; это мой крест...» Выйдя из острога и оставшись в Омске на месяц, Достоевский познакомился с офицером-казахом Чоканом Валихановым. Это был блестящий и отважный человек, ученый-этнограф, фольклорист, путешественник. Достоевский встречался с Валихановым и в Семипалатинске. Он оценил высокие дарования своего нового друга: «...Не великая ли цель, не святое ли дело быть чуть ли не первым из своих, который бы растолковал в России, что такое Степь, ее значение и Ваш народ относительно России, и в то же время служить своей родине просвещенным ходатайством за нее у русских. 

Вспомните, что Вы – первый киргиз – образованный по-европейски вполне. Судьба же Вас сделала вдобавок превосходнейшим человеком, дав вам и душу, и сердце». Сблизился в эти годы Достоевский и со знаменитым географом П. П. Семеновым (впоследствии Тян-Шанским). Большое значение имела для ссыльного писателя дружба с бароном А. Е. Врангелем, который прибыл из Петербурга в Семипалатинск в 1854 г. в качестве нового окружного прокурора. Он знал Достоевского как автора романа «Бедные люди». Скоро они стали близкими друзьями. «Александр Егорович... человек очень молодой, с прекрасными качествами души и сердца, приехавший в Сибирь прямо из лицея с великодушной мечтой узнать край, быть полезным и т. д. Он служил в Семипалатин-ске; мы с ним сошлись, и я полюбил его очень...» 

Два года, пока Врангель жил в Семипалатинске, они с Достоевским общались почти ежедневно. Образованный молодой прокурор ввел Достоевского в лучшее местное общество, во всем оказывал ему помощь и поддержку. Врангель оставил интересные воспоминания о семипалатинском периоде жизни писателя. В биографии Достоевского Семипалатинск был городом перемен – Достоевский ждал амнистии, верил, что скоро сможет вернуться в Россию. С описания Семипалатинска начинаются «Записки из Мертвого дома»: «В отдаленных краях Сибири, среди степей, гор или непроходимых лесов, попадаются изредка маленькие города, с одной, много с двумя тысячами жителей, деревянные, невзрачные, с двумя церквями – одной в городе, другой на кладбище, – города похожие более на хорошее подмосковное село, чем на город...» 

В повести «Дядюшкин сон», события которой разворачиваются в Семипалатинске, дана похожая короткая характеристика: «По улицам, обставленным маленькими, враставшими в землю домишками, ожесточенно лаяли собаки, которые в провинциальных городах разводятся в ужасающем количестве...» 

В Семипалатинске Достоевский поменял четыре адреса. Около месяца он жил в казармах с солдатами, потом поселился в доме на окраине города: «Хата Достоевского находилась в самом безотрадном месте. Кругом пустырь, сыпучий песок, ни куста, ни дерева. Изба была бревенчатая, древняя, скривившаяся на один бок, без фундамента, вросшая в землю, и без единого окна наружу, ради опасения от грабителей и воров... У Достоевского была одна комната, довольно большая, но чрезвычайно низкая; в ней царствовал всегда полумрак. Бревенчатые стены были смазаны глиной и когда-то выбелены; вдоль двух стен шла широкая скамья. На стенах там и сям лубочные картинки, засаленные и засиженные мухами. У входа налево от дверей большая русская печь. За нею помещалась постель Федора Михайловича, столик и, вместо комода, простой дощатый ящик. Все это спальное помещение отделялось от прочего ситцевою перегородкою. За перегородкой в главном помещении стоял стол, маленькое в раме зеркальце. На окнах красовались горшки с геранью, и были занавески, вероятно когда-то красные. Вся комната была закопчена и так темна, что вечером с сальною свечою – стеариновые тогда были большою роскошью, а освещения керосином еще не существовало – я еле-еле мог читать. Как при таком освещении Федор Михайлович писал ночи напролет, решительно не понимаю. Была еще приятная особенность его жилья: тараканы стаями бегали по столу, стенам и кровати, а летом особенно блохи не давали покоя, как это бывает во всех песчаных местностях». 

Весну-лето 1855 года писатель провел вместе с Врангелем на даче «Казаков сад», а в 1857 году после женитьбы на Марии Исаевой снял квартиру в доме почтальона Ляпухина. Этот дом сохранился до наших дней. В октябре 1965 года решением Семипалатинского горисполкома часть дома на втором этаже была освобождена от жильцов для городской библиотеки №15. Заведующая библиотекой Зинаида Георгиевна Фурцева стала собирателем и хранителем материалов о писателе. Она наладила контакты с известными учеными-достоевсковедами, литераторами, музыкантами, художниками, актерами; добилась того, чтобы в 1967 году дом был полностью освобожден от жильцов. 

Летом 1968 года домик Достоевского посетил внук писателя А. Ф. Достоевский, приехавший из Ленинграда на 250-летний юбилей города Семипалатинска. С 1969 года библиотека-музей работала уже как филиал историко-краеведческого музея. В 1971 году, когда мировая общественность отмечала 150-летие со дня рождения Ф. Достоевского, музей стал самостоятельным областным, литературно-мемориальным. В 1976 году к старому дому по проекту московского архитектора В. Ф. Власова была сделана современная пристройка. В архитектуру здания была заложена идея памятника-книги. Двухэтажное каменное строение имеет две стороны ломаных стен, как бы сложенных из полуоткрытых книг. Стены здания оформлены композициями «Кабинет писателя» и «Петербург Достоевского». У входа установлена бронзовая скульптура «Ф. Достоевский и Ч. Валиханов» скульптора Д. Элбакидзе.