八月底，扑蝗工作结束，苏轼一行回到杭州。次月初，得知朝廷下达的敕命，苏轼被移知密州，也即出任密州的知州。
密州，即今山东诸城，以境内有密水而得名。北宋的时候，密州属京东东路，州治为诸城县。这个地方自古以来就是一个鲜为人知的地方，直到苏轼的到来，伴随着苏轼所作诗词的流行，密州始闻名于世。
朝廷为什么会下达这样的任命呢？
原来，苏轼因为自己的弟弟苏辙正在齐州任掌书记，于是就趁此机会向朝廷请求出任山东的州守，以便能与弟弟离得近一点，好在最终获得了朝廷的恩准，被除以密州守。
在苏辙为苏轼死后撰写的墓志铭里，谈起苏轼离任杭州时，用了以下的词汇：吏民畏爱，乃罢去，犹谓之学士而不言姓。意思是说，杭州的生民都是对苏轼既敬畏又喜爱，等到苏轼离开之后，提起他仍是称之为“学士”而从不带姓氏。
作为弟弟为哥哥撰写的墓志铭，同时按照古人“死者为大”的传统思想来说，这里面肯定有着抬高与美饰的成分。因此，我们暂且不论这件事，先让我们来重现一下苏轼离杭前后众人的一些反应吧。
首先是应慧勤禅师所请，要为其诗集作序。我们知道，慧勤禅师曾经与欧阳修大人交游三十多年，欧阳公经常称赞慧勤禅师有学问且擅长作诗。而欧阳修又是苏轼的恩师，加之自己与恩师的朋友也有着密切的来往，所以说，面对慧勤此刻的请求，这个面子苏轼是必须得给。
另外，苏轼来到钱塘后，曾在一位方外禅师处借得本朝画家燕文贵的山水画卷，如今苏轼人要调走，只得在画卷后题跋一些文字归还。
燕文贵(967—1044)，吴兴(今浙江湖州)人，擅画山水、屋木、人物。作画常自出机杼，落笔命意不袭古人，所画景物清润秀雅，又善于把山水与界画相结合，将巍峨壮丽的楼观阁榭穿插于溪山之间，点缀以人物活动。因刻画精微，笔法峭丽，境界雄浑，人称“燕家景致”。
得空时，苏轼又给老家眉山的好友杨济甫去了信，告诉老杨自己这次要到密州任职，因为苏辙就在齐州。密州离齐州很近，自己对这一任命还是比较满意的，因为以后就可以与苏辙通信甚至是见面了。只是父母的坟墓还在蜀地，自己的归期恐怕还要延迟几年了。言外之意就是请求老杨，自己先人的墓地还要老杨与大堂兄不危（字子安）再照看几年。
九月初八，在知州大人杨绘为苏轼设下的饯行宴上，苏轼动情地赋了首《浣溪沙》，次日又依韵再赋《浣溪沙》词。“可恨相逢能几日，不知重会是何年。茱萸子细更重看。”，苏轼很珍惜与州守杨绘大人仅有一个月的短暂相处，因为朝廷已下达了任命，杨大人被召为翰林院学士，将要还京，不久后潭州知州沈起（字兴宗）将会到杭接任。
这几天，苏轼又与杨知州同游了法慧寺，在法言的僧舍里观看了王羲之的《敬和贴》。又分别与南北山的道友元净（辩才）等人道了别。还与杨绘、陸有开、陈舜俞一同游览了杭州的灵鹫山，并在此题名。
据佛经记载，印度古代佛教圣地为佛陀生前说法和结集佛藏之地。印度灵鹫山，坐落在恒河平原、比哈尔邦那兰陀和菩提伽耶之间，是印度佛教的圣地。全山拔地而起，层峦叠嶂，正峰峰顶有一岩石矗立，形如鹫鸟之头。故名灵鹫山。释迦牟尼曾在此地驻留十二年。灵鹫山的影响后来还传到我国，杭州灵鹫山上也有块巨石，形似鹰嘴的模样。按我国民间的传说，杭州的飞来峰就是从灵鹫山而来的，并与灵鹫山结为姊妹峰。
就在苏轼要离开杭州时，当地有一位十二岁的小歌女走进了苏轼的生活。也就是后来流传甚广的说苏轼“一肚子不合时宜”段子中的女主角。
王朝云，浙江钱塘（今杭州）人，因早年家境清寒，沦落歌舞班中，成为西湖歌伎。十二岁被苏轼收为侍女，十八岁被苏轼纳为侍妾，苏轼赐字“子霞”。朝云天生丽质，著名词人秦观赞她“美如春园，目似晨曦”。她亦聪颖灵慧，能歌善舞，善弹琵琶。
据说是苏轼一次游览西湖的过程中竟在浓妆艳抹的群伎中发现了一个小女孩，生得冰雪之貌，一身素净衣裙，清丽淡雅，遂当即做出决定，买下这名女子。
王朝云虽然是苏轼买来的，却没想到倒是成就了这一桩千古绝佳的恋情。
王朝云陪伴了苏轼二十多年的时光，而这二十多年里，苏轼基本处于被贬谪的境况里。在贬谪的岁月中，苏轼过的往往荒凉而苦寂。有着王朝云的陪伴，对于苏轼的贬谪生活，应该说是一个极大的慰藉。苏轼仿佛与王姓的女子有缘，如果说王弗是在仕宦生涯初期如何处理人际关系上给予了苏轼莫大的帮助，王闰之是在苏轼后来的贬谪生涯中给他以家庭的温暖与慰藉，那么的王朝云则是以其独具的艺术气质和对佛教的由衷膜拜与苏轼达到了深深地默契。也就是说，王朝云能够真正地懂得苏轼的内心世界，在理解程度上能够直抵苏轼的心灵深处，可以说算得上是苏轼的红颜知己。
此处先略去，关于王朝云我们以后再谈，现在单说苏轼离杭前的一些往事。
临走前，苏轼给寺僧居则建造的大殿题了梁柱，还着人把仁宗朝时皇家专门为老百姓编写的医书《简要济众》刻石，并立于各州的通衢要冲之地，让贫病的百姓传抄。苏轼还在医书的最后郑重地写下一篇声明，一是强调了十二年前仁宗皇帝的恩德，同时也要求老百姓互相监督，见到破坏石碑的歹人，一定要到官府去揭发。
在杭期间，明州（今浙江宁波）育王寺怀琏（大觉禅师）曾以罗汉木相赠，苏轼就借花献佛地转赠给了慈华大师种植。育王寺大觉禅师怀琏，是一位苏轼极为推崇的高僧，苏轼曾把父亲苏老泉一生珍爱有加的《禅月罗汉》画捐赠给怀琏所在的育王寺。
怀琏所赠的罗汉木原为树的根部长的奇特的木质突起物，它们长短不一，而且形态也各不相同。其中多数像人形，略似十八罗汉，故被称为罗汉木。其实罗汉木就是落羽杉的呼吸根，由于落羽杉生长在溪塘边，土壤潮湿而缺乏空气，根部有窒息死亡的危险。为了适应环境而存活下去，它们学会了生存自救的特殊技能，从受窒息的根部长出一批反向细胞，向上生长到地面上来呼吸空气，故也被称为呼吸根，是一种南方特有的树种。
抱着对佛教的浓厚兴趣，除了怀琏，苏轼还与杭州当地的明雅照师和释显忠（祖印）相交，并把亡母程夫人的簪珥施舍给了净慈寺，还让画工画了幅佛像，用来追荐父母在阴间得到福祐。在净慈寺，苏轼向一位叫聪药王的僧人讨了一个服用生姜养生的方子，这位年过八十仍面色红润、目光炯炯的寺僧竟是常年服食生姜而得以延年益寿的。
在杭州期间，苏轼还常会收到范镇、文彦博等老臣的书信，知道了司马君实老先生的身子骨还不错。还曾梦到过自己被神宗皇帝招入禁中，可见苏轼此时潜意识里还有着求进的强烈意图。不好的事也有，那就是曾因没有举驳王文敏盗官钱被罚铜八斤。
再有就是，杭州自古都是一个繁华的所在，因此朝廷各部均在杭州设置有分司（类似于办事处），所以一旦有了公事，当地的知州与通判就得整日陪同游宴，由于苏轼的名气较大，朝廷上下的大小官员都希望他能陪同，按说一同出游对于苏轼那自然不在话下，就是喝酒这件事难倒了“不胜杯酌”的苏轼，因此，疲于应付的苏轼就将杭倅（通判）形象地称为“酒食地狱”。
不过，苏轼在杭期间过的总体上还是颇具诗意的。与陈述古所谓交情自不必说，还在杭州通判庭上题写了“隐秀斋”匾额，访僧问道的过的不亦乐乎，以至于像苏轼自己所说“山水穷绝处，往往有轼题字”。倅杭近三年，苏轼在这里写下的诗词被人编辑成书，命名为《钱塘集》，这是一本流传甚广的集子。
至于弟弟苏辙，在杭州期间，除了书信来往外，还有与苏辙一次有意思的文章互动。
某一天，苏辙将自己写的得意之作《孟德传》寄给了哥哥，苏轼读后发现，这里面讲的是宋仁宗嘉祐年间的禁军神勇营逃兵孟德，年少时喜好山林生活，当了兵愿望不能实现。于是休掉妻子，把儿子也给了人，独自逃到华山的深处去了。然而他多次遇到猛兽，也总是没死。孟德总结出，凡是猛兽，大都能识别人的气息。离人尚有百步，就伏在地上号叫，声音在山谷中震响。自己因为不怕死，所以没有被它吓住。再试之其它猛兽，也都是一样的。
苏轼看后在弟弟的文后写道，自己曾听说，巴蜀有个妇人白日里在溪水中浣衣时把两个小孩放在沙上玩耍，一只老虎突然从山上奔来，妇人很慌张地沉进水里躲避它，两个小孩子在沙上戏耍，神态依然如故。老虎细看了很久，去用头触碰他们，希望其中一个能害怕，而小孩天真，竟然不知道惊怪，老虎也终于离去了。婴儿们不是有胜过老虎的地方，而是赤子之心的气势盖过它罢了。在早期古人眼里，幼儿不过尺把高，故称尺子，也就是所说的“赤子”。