△ABC,∠C=90°,CD⊥AB于D,作∠CDE=∠CDF=α,交AC于F,BC于E

首先,由于△ABC是给定的,所以A,B,C,AB=c,BC=a,CA=b都是已知量.并且,容易知道CD=ab/c,∠DCB=∠A,∠ACD=∠B.
在△CDF中,根据正弦定理,知道DF/SinB=CD/Sin(α+B),即DF=CD*SinB/Sin(α+B)；
同理,在△CDE中,根据正弦定理,有DE=CD*SinA/Sin(α+A).
而我们知道,△DEF的面积为S=DE*DF*Sin2α/2,所以面积表达式为
S=CD*SinA/Sin(α+A)*CD*SinB/Sin(α+B)*Sin2α/2
=(a^2b^2/2c^2)*SinASinBSin2α/Sin(α+A)Sin(α+B)
=(a^2b^2/2c^2)*SinASinB*2SinαCosα/(SinαCosA+CosαSinA)(SinαCosB+CosαSinB)
=(a^2b^2/c^2)*1/(CotA+Cotα)(TanαCotB+1)
=(a^2b^2/c^2)*1/(CotATanαCotB+CotB+CotA+Cotα)
由于CotATanαCotB+Cotα≥2√(CotACotB)=2（因为A,B互余）,所以
(a^2b^2/c^2)*1/(CotATanαCotB+CotB+CotA+Cotα)
≤(a^2b^2/c^2)*1/(CotB+CotA+2).
等号成立当且仅当Tanα=Cotα,即α=45°.
考虑到CotA=b/a,CotB=a/b,所以最大面积也可写成
a^3b^3/c^2(a+b)^2.
因此结论是,当α=45°时,三角形的最大面积为a^3b^3/c^2(a+b)^2.