皇家不成文规定，宗室男子年龄大了就要搬出宫去，住进自己的府邸，即使皇子或皇弟也不例外。其中的原因，一是宫中多女眷，大多是皇帝的女人，不容其他男子窥视；二是皇宫乃最高权力的栖身之所，他人居住，难免会有心术不正的大臣产生非分的想法。
早在绍圣三年，哲宗加封赵佖为申王，赵佶为端王，诏令修建府邸，哲宗还亲自视察了府邸选址和建设情况。直到绍圣五年三月府邸才建成，哲宗又加二人为司空，每年赐公使钱八千贯，让他们搬出了皇宫，这意味着赵佶从此开始有了相对独立的王爷生活。
（宋徽宗《草书千字文》）
皇权社会中后期，王爷绝对不允许参与政治，汉朝的七国之乱、晋朝的八王之乱都是前车之鉴，与皇弟血缘关系越亲密越被提防和怀疑，因此皇子皇弟们最安全的活动是声色犬马、歌舞娱乐。在皇家看来，寄生虫远比啄木鸟缺少攻击性和挑战性，更不允许把王爷们培养成鹰犬。赵佶的生活也不例外，与大多数纨绔子弟一样，吃喝玩乐是生活的常态。
不过，宋朝是个艺术社会，即便吃喝玩乐也处处透露出风雅。比如最常见的喝茶就大有讲究。宋朝流行的茶不是茶叶，而是一种团饼茶。像福建产一种龙凤团饼茶，是专供朝廷的御茶。《宣和北苑贡茶录》记载，宋太宗的时候，专门制造一种模具，有龙凤图案，用于制造团饼茶，就是龙凤团饼茶。普通人家泡茶，在风炉上煮水，待水微沸，将茶末投入水中煎煮搅动，然后斟入碗中饮用，叫煎茶。在有钱又有闲的贵人眼里这是一种粗鄙的喝法。他们饮茶叫点茶：先将团茶饼在微火上稍作炙烤，去除水分，在木质茶臼里捣碎并碾成粉末状，再放到茶碗中。然后以沸水冲点，并用茶筅用力搅拌至出现泡沫，使茶末与水充分交融成乳状，称之为“运筅”或“击拂”。注水和击拂同时进行，一连串的动作一气呵成，讲究技艺娴熟，恰到好处。名流雅士、公子哥儿们会经常在一起切磋点茶的技艺，以泛起的汤花是否匀细、持久作为胜负的主要标准。他们选一些上规模的茶店或是环境清幽的庭院，或多人共斗，或两人捉对“厮杀”，很多人围观，跟清代斗鸡、斗蛐蛐差不多。不过要比这些斗戏文雅得多。
有钱又有闲的赵佶王爷日常做的大约就是点茶斗茶这样的雅事。后来他还专门写了一本书叫《茶论》，写的就是点茶的技巧。这本书虽然写成于大观年间（—），但无疑赵佶在年轻时就打下来良好的茶艺基础。
宋朝对皇子皇弟的提防还在于不允许他们接触当权的政治人物，所以他们往来的大多是宗室皇亲，这些人兴趣爱好接近，也符合“物以类聚”的社交规则。这时期对赵佶影响最大的当数宋英宗的驸马王诜。宋朝的驸马都封有都尉一职，也以都尉代指驸马。
（腊梅双禽图）
王诜是一位狂热的文艺爱好者，他经常把京师的文坛名流请到都尉府的西园饮酒品茶、谈诗论艺。李公麟用绘画的方式忠实记录下他们聚会的场景，取名《西园雅集图》。图上有文艺大咖十六人，他们有的在吟诗，有的在泼墨，有的在题石，有的在打坐，有的在抚琴，各尽风雅，各寻其乐。画成之后，米芾作记，曰：“人间清旷之乐，不过如此！”米芾还记录下这十六个人的名字，包括苏轼、苏辙、黄庭坚、秦观、米芾、李公麟、李之仪等历史文化名人。
王诜最大的爱好是书画。他建一个“宝绘堂”专门收藏书画，其中大部分是历代精品。这些藏品有的是皇帝所赐，有的是朋友赠送，还有的则属于巧取豪夺。像苏轼这样的老朋友找他办事，也需贿赂书画才行。又比如米芾有一幅名家易元吉的《鸛鹤图》，王诜借去观赏，有去无回。诗人刘季孙有一幅王献之的书法精品《送梨帖》，米芾十分喜欢，商量好用欧阳询二帖真迹、王维六幅《雪图》、一条黑里透黄的犀带、一枚砚山（山状的砚台）、一枚玉座珊瑚交换这幅《送梨帖》。但王诜借米芾的砚山不还，致使交换无法进行。后来刘季孙死了，他的儿子将《送梨帖》卖给了他人，米芾惟有唏嘘。有些稀世珍品确实无法得到，王诜就请工匠作假，把赝品当真品收藏。一次，他把别人真品上的印章剪裁下来贴在赝品上，虽然达到了以假乱真的目的，但真品的价值却因此大打折扣。
新书上架王诜比赵佶大三十多岁，年龄的差距不妨碍二人交往，从小受到书画熏陶的赵佶对文艺的爱好深入骨髓，自然推崇这位见多识广的姑父。他从王诜那里看到许多藏品，受影响也养成了收藏的爱好。他偶尔还会帮助王诜得到渴求的画作，作为讨好姑父的礼物。据宋蔡絛《铁围山丛谈》记载，王诜有半幅《蜀葵图》，常常在赵佶面前叹惜不能得到全图。赵佶铭记在心，四处寻访，终于得到另外半幅。他将王诜的半幅图借走，王诜以为赵佶打算据为己有，但对方是皇弟也不好得罪，只得忍痛割爱。不想赵佶让工匠把两个半幅图拼接到一起，完整地还给了王诜。
《皇宋通鉴长编记事本末》引用蔡絛话说：“徽宗在潜藩时，独喜读书学画，工笔札，所好者古器、山石，异于诸王。又与驸马都尉王诜、宗室令穰游，二人者皆有时名，由是上望誉闻于中外。”《铁围山丛谈》也记载：“徽宗初与王晋卿（王诜字）、宗室大年（赵令穰字）往来。二人者，皆善文辞，妙图画，而大年又善黄庭坚书，故祐陵（赵佶）作庭坚书体，后自成一法。”端王赵佶来往密切的除了驸马王诜，另一个就是宗室赵令穰。赵令穰是宋太祖赵匡胤的五世孙。这位宗室同样只能把满腹才华寄情于翰墨纸笔之间。他的画大多描绘陂湖林樾、烟云凫雁之趣﹐运思精妙﹐清丽雅致，在士大夫中颇受赞誉。赵佶经常与他切磋书画技艺。赵令穰喜欢黄庭坚的书法，赵佶也临摹黄庭坚。黄庭坚是同时代文学家、书法家，“苏门四学士”之一，其书法峻拔英挺，对赵佶影响很大。
《铁围山丛谈》还记载：“时亦就端邸内知客吴元瑜弄丹青。元瑜者，画学崔白，书学薛稷，而青出于蓝者也。”吴元瑜是一位武官，却喜欢书画，画风纤细、鲜润，对赵佶的工笔画产生了深远的影响。
（笋石诗帖）
作为纯粹的贵族公子哥，除了文艺，赵佶也喜爱体育运动。当时流行的体育运动是蹴鞠，类似于现在的足球。蹴鞠只有一个球门，两队争抢皮球往球门里踢，双方上场队员可以是二人，也可以是十人，只要对等即可。赵佶是踢球的高手，经常与门客和王公贵族一起踢球。一次赵佶在皇宫偶遇王诜，当时头发有些凌乱，便向王诜借篦子梳头，随口夸赞王诜的篦子新奇可爱。王诜对这个侄子颇大方，说：“近日做了两个一模一样的篦子，另一个从未使用，一会儿让人送到端王府。”晚上，遣府中小吏给赵佶送篦子，赵佶正在王府后园踢球，兴致高涨，小吏不便打扰，边等边看，很沉浸享受的样子。赵佶发现小吏表情投入，把他喊过来问道：“你也会踢球吗？”小吏倒也落落大方：“是的。”赵佶就招呼小吏加入战队。小吏球技很好，跟赵佶配合默契，对每一次攻守意图都领会得非常到位。赵佶高兴极了，让下人到驸马府给王诜传话：“感谢姑父赠送篦子，送篦子的小吏也一并留下了。”这个小吏名叫高俅，后来官至殿前指挥使，在***中则被描述为头号奸臣。真实的历史中，高俅不算什么大人物，也没有特殊的贡献或者破坏，《宋史》都没有舍得给他留传记。
据宋朝一些私人笔记记载，赵佶在端邸时，还爱好图史、射御、驯养禽兽等，元符二年，他还完成了人生一件重要的大事——迎娶王氏为妻。
