在书中第一百十九回，中乡魁宝玉却尘缘，沐皇恩贾家延世泽中。贾宝玉要发奋读书，薛宝钗安排了莺儿在书房伺候。贾宝玉没头没脑得给莺儿说过几句话：傻丫头，我告诉你吧。你姑娘既是有造化的，你跟着他，自然也是有造化的了。你袭人姐姐是靠不住的。只要往后你尽心服侍他就是了，日后或有好处，也不枉你跟着他熬了一场。
袭人从小跟在贾宝玉身边，是陪伴贾宝玉时间最长，最关心贾宝玉的人。在书中的前半部分，贾宝玉非常信任袭人，依赖袭人。
在书中，贾宝玉和蒋玉涵换了腰带，蒋玉菡把茜香国女国王所贡的一条大红汗巾子给了贾宝玉。贾宝玉回去之后，才想起来换出去的汗巾子是袭人的。到了夜里，就把夏天系着肌肤生香，不生汗渍的大红系到了袭人身上。
过年的时候，袭人回自己家坐了一会儿，贾宝玉就觉得没意思，就偷偷溜出去跟着到了袭人家。袭人偶尔不在，贾宝玉连银子都不知道放在哪里。贾宝玉在清虚观收来的金麒麟找不到了，第一反应就是被袭人给收拾起来了。芳官在怡红院中和她干娘干仗，贾宝玉认为芳官在这里失亲少眷的在这里，没人照看，干娘又不是个好人。想要找个人帮着照看芳官，第一个想到就是袭人。
但是到了书中的后半部分，袭人在贾宝玉面前的存在感就很低，贾宝玉也不大带着袭人出门，有些事情也都避开了袭人。
比如，贾宝玉复学之后，放学到贾母和贾政处略微一坐，就赶着跑到了潇湘馆，进到潇湘馆，激动地大喊：我还是回来了！然后与林黛玉、紫鹃开心的聊天。可是刚说两句就被袭人打发秋纹来接了回去。回到怡红院后的贾宝玉，吃了晚饭，不与袭人玩笑，也不与众丫鬟玩笑，只顾看晦涩难懂的四书，和在潇湘馆的状态形成了鲜明的对比。
又比如，到了十月中旬，天气渐冷贾宝玉去学的时候，袭人给贾宝玉打点的厚衣服里面，有晴雯生前补的那件雀金呢。贾宝玉睹物思人，不舍得穿雀金呢，一天都闷闷的。晚上放学的时候，干脆请了一天假，晚上翻来覆去的睡不着，无精打采的也不肯和袭人多说话。第二天，贾宝玉有心想要祭奠晴雯，又不想让袭人等知道。只是说要静坐，让收拾一间屋子，备了一炉香，搁下纸墨笔砚，不让人来打扰。贾宝玉悄悄地赋诗一首，烧给晴雯，然后掩门就出去溜达了。
在贾宝玉和薛宝钗成婚后，袭人的待遇更差，不仅没有当上贾宝玉的姨娘，甚至薛宝钗的丫鬟莺儿后来居上，地位也排在了袭人之上。袭人在贾宝玉婚后，一直浑浑噩噩，甚至在惜春出家的时候，哭的悲天动地要跟着与自己毫无交情的惜春出家为尼。可见贾宝玉对袭人有多冷淡了 。
贾宝玉对袭人的态度变化为什么这么大？贾宝的心中最可靠的袭人为什么靠不住了？转折点在哪里？起因又是为什么？贾宝玉感觉到袭人靠不住是觉得袭人并不纯良，转折点就在晴雯被撵出怡红院之时，因为此时贾宝玉已经怀疑袭人是怡红院中的奸细，是王夫人的眼线。
晴雯被撵走的时候，贾宝玉问过袭人：怎么人人的不是，太太都知道了，单不挑你和麝月、秋纹来？当时，袭人低头半日，无话可答，只能笑着说，自己也有玩笑不留心的时候，可能是太太还没来得及发放自己。贾宝玉说：你是头一个出了名的至善至贤的人，他两个又是你陶冶教育的，焉得有什么该罚之处？
此时贾宝玉已经看出来，袭人是王夫人的奸细，麝月和秋纹是袭人一伙儿的。被撵出去的芳官，四儿，晴雯这几个人都是伶俐人，都是不服袭人管教的人。从这时，贾宝玉知道袭人背叛了自己，觉得袭人不是可靠之人，慢慢的就疏远了袭人。
