曹家实际上是家奴出身，即是皇家的“包衣奴才”，他在康熙，雍正的眼中地位类似于曹雪芹所写的“红楼梦”中赖家的位置。
康熙皇帝南巡和乾隆皇帝不一样，康熙皇帝南巡是明显带着政治目的的，笼络江南士人，巡视河道治理，确保江南财富重地的安全，但是在公事之余，游山玩水，纵情享乐也是“搂草打兔子”顺手的事，只是这些私事，爱惜名声的康熙皇帝当然要找自己人来办，因此住在曹家那是实实在在的把曹家当成了自己人，那是实实在在的恩宠，曹寅也会做官，利用接驾机会邀宠。
曹雪芹的曾祖母孙氏是康熙皇帝玄烨的乳母，曹雪芹的祖父曹寅又是玄烨的侍读，因此玄烨对曹寅高度信任，正因为此，玄烨才把江宁织造这一“肥缺”给了曹家，并且事实上让曹家世袭。
康熙六次南巡，四次都驻即曹寅府中，为了奉承最高统治者以图永保禄位，曹寅四次接驾时，不仅倾注全家财力，还挪用库银数十万两，在经济上造成了巨额的亏空。曹寅、李煦还为康熙南巡营建“宝塔湾行宫”，康熙四十四年三月十二日，迎来康熙第五次南巡，御舟开抵三汉河宝塔湾，曹寅奏请康熙皇帝起銮，康熙皇帝带着皇太子、十三阿哥，后宫嫔妃驻跸行宫。在行宫内，又是演戏，又是摆宴，真“比一部书还热闹”。
事实上，对于曹家的接驾安排，康熙皇帝还是非常满意的，对于曹寅亏空公款的事，康熙皇帝心里十分清楚，但是并没有处理曹寅反而对曹家百般维护，甚至可以说是直接出手帮助曹寅填补亏空，连着历史上有名的“薄情寡恩”的雍正皇帝实际上都对曹家网开一面，作为皇家的包衣奴才，亏空不是曹家衰败的主要原因。
因此，在有大臣奏报曹寅等人挪用库银时，康熙直接替曹寅开脱罪责:
“曹寅李煦用银之处甚多，朕知其中情由。”康熙皇帝把曹寅的亏空原因归结为三条：南巡接驾、修造行宫和临行馈送。
康熙并没有对曹寅等人作出处罚，只是私下告诫他们尽快将亏空补上，康熙四十九年时，康熙因此事一连在曹寅的奏折上批写了四个“小心”。
康熙五十一年(1712年)七月曹寅一病不起，死在扬州，李煦上奏康熙皇帝，称:弥留之际，核算出亏空库银23万两，而且曹寅已经没有资产可以补上。曹寅死后，康熙不但没有埋怨曹寅没有及时弥补亏空，反而多方运作保全曹家。
首先，为保全曹家的江南家产免遭搬迁的损毁，特命曹寅之子继任江宁织造:两年后曹寅之子病故，康熙又亲自主持将曹寅的四侄过继过来，接任了江宁织造的职务。
其次，康熙直接出手为曹家弥补亏空，康熙让曹寅的大舅子苏州织造李煦代管两淮盐差一年，用所得的银子补齐曹寅生前的亏空。康熙五十四年(1715年)，又查出曹寅生前亏空织造库银三十七万三千两。康熙再次做安排，让两淮盐政李陈常和李煦代为补还。
雍正即位后，接连颁布谕旨，开始在全国上下大张旗鼓地清查钱粮，追补亏空。他一再声明，凡亏空钱粮的官员，一经揭发，立刻革职，仅雍正元年，被革职抄家的各级官吏就达数十人，与曹家既是亲戚又患难与共的苏州织造李煦也未能幸免。但曹家并没有被治罪，看在父皇的面上，雍正特许曹家将亏空分三年还完。
作为皇帝，可以容忍大臣无能但是不能容忍家奴无能，大臣无能，反而有利于皇帝集权，但是曹家身为家奴，如果无能，不能办好皇帝的私事，皇帝是不会容忍的，最后曹家实际上就败在无能上。
雍正四年(1726年)，曹负责操办的缎匹衣料质量“粗糙轻薄”受到重新补偿并罚掉一年俸禄的处分，不久，雍正穿的石青缎褂褪色经查又是江宁织造的产品，结果又罚掉曹一年的俸禄，身为织造，连皇帝的衣料都弄不好，自然引起雍正皇帝不满，曹家的无能由此可知。
雍正五年正月(1727年)，两淮盐政噶尔泰向雍正密报扬州、江宁两地官员的情况，讲到曹时说:
“访得江宁织造曹年少无才，人畏缩，织造事务都交给管家丁汉臣料理。奴才在京见过几次，人也很平常。”雍正看后心情愤激，挥笔写了“原不是一个东西”、“岂止平常”的批语。
到了这个地步，雍正并没有将曹问罪，而是决定将他召回北京当面考察和训诫，于是传旨，命苏州织造高斌不必回京，他所督运的民卷匹由曹家送来，不料途至山东长清县等处，曹知：
“于勘合外，多素夫马、程仪、骤价等项银两”曹家飞扬跋扈，骚扰驿站，勒索贿赂，终于招致雍正“龙颜大怒”，即刻下令将其交由内务府和吏部严审。自此，曹家真正的衰败了。