高柔刚到曹营，虽然表现不错，但迎接他的并不是曹操的赞许，而是曹操的杀心，曹操差点就把高柔给宰了。事情的经过是这样的：献帝建安十年（公元205年），高干在并州反叛曹操，虽然高柔没有参与，但由于和高干的亲属关系，曹操对高柔自然产生了猜忌和怀疑。高柔本传上说曹操“欲因事诛之”，也就是想找个茬把高柔杀了。估计手下人没有找到什么借口，曹操便亲自出马，在一天深夜微服出行，来找高柔。结果看到高柔披着单衣，拥着双膝抱着文书就睡着了。曹操非常感动，亲自把自己身上的皮裘盖在高柔身上才离去，怀疑自然也就烟消云散了。

在武帝曹操的手下，高柔先后担任过菅县（今山东单县北）县长、刺奸令史、丞相仓曹属、尚书郎、丞相理曹缘、颍川太守、法曹缘等职务。在此期间，高柔表现出其良吏的本色。

高柔刚到营县的时候，县里有几个品行不正的官吏听说高柔上任，自动挂冠而去，生怕被高柔给惩办了。这时候的高柔并没有置这些官吏于不顾，而是说：”去邴吉管理地方的时候，有的官吏犯错，邴吉都能宽容他们。而我刚刚上任，这些官吏在我手下还没有出现什么过失呢？把他们叫回来吧。”经过高柔的教诲，这些官吏深受感动，从此洗心革面，并成为佳吏。

献帝建安十六年（公元211年），曹操派遣钟繇进攻张鲁。高柔再一次展现了出色的形势判断能力，认为曹操此举无疑是逼反凉州的马超和韩遂，造成三辅地区局势的混乱。高柔建议曹操应该先安抚马超和韩遂之后再行出兵张鲁。但是曹操没有采纳高柔的建议，派钟繇出兵汉中，结果也正如高柔事先所预料的那样，逼反了马、韩等人。

高柔在武帝时期所展现的出色的能力除了以上举出的两个例子之外，更主要的是在曹魏的法律制度方面。他在担任刺奸令史之时，便以“处法允当，狱无留滞”受到曹操的称赞，并因此得以晋职；担任丞相理曹缘之时，他针对重刑亡士之法的严酷，据理力争，成功改变了对于宋金逃亡一案的处理。

当时，军中鼓吹手宋金等人在合肥（今安徽合肥）逃跑。按照当时曹魏的法律规定，出征的军士逃亡，就要逮捕并拷问他们的妻子儿女。但是曹操担心这样还不能制止逃亡，便再次加重刑罚。宋金的母亲、妻子以及两个弟弟都被逮捕，主事官吏奏请把他们全部杀了。高柔劝谏说：“士兵在军队中逃亡，确实令人担心。但我听说这些人中常有后悔的。我认为应该释放他们的妻子儿女。这样一来可以使敌方不再信任他们，二来可以诱使他们产生回返之心。按照过去的法令，就等于断绝了他们的希望，而现在又再加重处罚，我担心今后出征的士兵看见一人逃亡，害怕株连到自己，纷纷相随而去。这样一来重刑并没有制止逃亡，反而会助长逃亡。”

经过高柔的劝谏，曹操终于停止了这种严酷的刑罚。高柔因此改变了曹魏的重刑亡士之法，从而挽救了很多无辜者的性命。

如果说宋金案的处理说明高柔对民间疾苦有所了解的话，那么对卢洪、赵达等官吏以权谋私的揭发，则表现出作为曹魏大臣对于当时设置的校事制度的强烈不满。校事制度大约是在献帝建安二十一年（公元216年）由曹操建立的，具备浓厚的曹氏私臣色彩，主要职责是监察百官。高柔认为这种制度的设立不利于官员之间的团结，同时由于对校事缺乏有效的监管，造成像卢洪、赵达之类担任校事的官员擅权，以权谋私。曹操当时没有听从高柔的劝告，结果数年以后，赵达等人东窗事发，曹操杀了他们以向高柔表达歉意。

高柔在曹操时期任职十六年，能力出众，深得曹操赏识，曹操称赞他“清识平当，明于宪典。”