作为中央警卫团团长，张耀祠大部分时间都在毛泽东身边。他说："内卫是8341部队一中队，无论是毛主席在中南海，还是外出到各省市巡视工作都紧跟不离。""我的职责是保卫毛主席，保卫中共中央，负责安排毛泽东的衣、食、住、行。"他就住在毛泽东卧室咫尺之遥的更衣室，与毛泽东朝夕相处。
1953年12月底至1954年3月初，毛泽东带领《中华人民共和国宪法》草案起草小组来到杭州。"毛主席住在刘庄，起草小组住在北山，我带领一支警卫部队分驻两地担任安全保卫工作。"
起草首部宪法，一切工作都要从头开始，工作量很大，非常紧张和劳累。在此期间，毛泽东风雨无阻地坚持爬山锻炼。张耀祠说，毛泽东工作之余的一大乐事便是爬山。
当年，张耀祠随同毛泽东一起爬山，并安排警卫保障他的安全。可是毛泽东外出爬山时，全凭兴之所至，事先并没有计划--这给警卫工作带来困难，无法事先侦察道路、沿途警戒。"要爬哪座山，什么时候去，他首先就定好了，直到临走的时候才告诉你。他反感兴师动众，提前清场警卫。我们只好跟着他走，一说好了方向，我们马上就赶过去。就像打冲锋，部队肯定走在前面，在前面搜索。有的山还有树木，还有草，你得检查一下树林里、草地里有人没有。保障安全的各方面都要想到，他走的路线要检查，要去山顶，我们都跑到上面先去检查。这个工作是很艰苦的也很繁重，责任也很重大，丝毫不能马虎"。
毛泽东通常是下午4时左右外出爬山，大约到晚9时"打道回衙"。他爬山不紧不慢，走了一阵，坐下来略歇。为了安全，张耀祠最初曾给毛泽东戴墨镜、戴大口罩。对此，毛泽东很不高兴，后来就取消了。
除了爬山之外，毛泽东喜爱游泳。张耀祠记得，毛泽东游过北戴河、长江、珠江、赣江、钱塘江等等。
在饮食上，毛泽东一天基本上吃两餐饭，个别时候也吃三餐。"毛主席平日粗菜淡饭，以大米为主，爱吃糙米饭，菜以青菜为主，爱吃的有辣椒、红烧肉和武昌鱼。他不喜欢喝牛奶，不喝酒，却爱喝茶，对龙井茶情有独钟。我每年都代他向杭州定购龙井茶叶。"在张耀祠印象中，毛泽东工作起来从不分钟点，经常连续几个昼夜不停，吃饭也没有钟点，只是感到饿了才想起吃饭。
随毛泽东到地方巡视，8341部队与地方警卫部队打篮球一直赢，毛泽东不高兴了，"到了地方，人家热情接待你，不要老想赢人家，要讲友谊、讲团结嘛"！这虽然是件小事，却让张耀祠体味到毛泽东的细心和周到。
毛泽东年过80之时，仍像个不服输的青年，有一次曾找张耀祠掰手腕，比手劲。"我看他是吃了安眠药，很兴奋。我摆出一副较量的架势，但没有用劲，有意让他赢，他一开始就使劲压住我的右手，我说：主席！你的手劲真大，我比不过你。他哈哈大笑，兴致很高"。这时候，张耀祠已经不把毛泽东当作领袖看了。在他眼中，毛泽东更像是一位慈父、一位有些天真任性的兄长、一位和善的垂暮老人。
毛泽东一生最大的爱好就是读书，他读书的范围十分广泛，从社会科学到自然科学，从古代到近代，从国内到国外，包括哲学、经济学、政治、军事、历史、地理、文学、外语等。毛泽东曾说："饭可以一日不吃，觉可以一日不睡，书不可以一日不读……没有书就没有我毛泽东。"每次毛泽东外出视察，张耀祠都要为他带上两三箱书。除此之外，还根据毛泽东的需要在外地替他借书，杭州、上海、广州、武汉、成都、庐山等地图书馆都留下了张耀祠为毛泽东借书的记录。
张耀祠说："在我跟随毛主席的岁月里，他的工作精神、学习劲头都使我非常感动。他在百忙之余还孜孜不倦地看大量材料，审批党政军报送的文件，读书看报。战争年代是这样，和平建设时期更是见缝插针，博览群书，学以致用。"他说，在浩如烟海的书籍中，毛泽东最喜欢阅读《共产党宣言》，马克思、恩格斯、列宁的著作，以及哲学、中国历史、中国古代文学。"他读古书是从传统文化遗产中汲取丰富的思想营养，批判地继承其中大量积累的民族智慧和治国经验。许多书他都看了好几遍，作了不少标记和批注。《资治通鉴》他读了20多遍"。
