【答案】
分析:(1)首先分析題目已知A=

所對應的變換T
A把直線:2x-y-3=0變換為自身,故可根據變換的性質列出一組方程式求解出a,b;
(2)由(1)即可得到矩陣M,再根據矩陣的乘法運算求出

即可.
解答:解:(1)設直線2x-y-3=0上任意一點P(x,y)在變換T
A的作用下變成點P'(x',y'),
由題意知2x'-y'-3=0,由

得x'=-x+ay,y'=bx+3y,…(2分)
代入直線2x'-y'-3=0得2(-x+ay)-(bx+3y)-3=0,
即(-b-2)x+(2a-3)y-3=0,
由點P(x,y)的任意性可得-b-2=2,2a-3=-1,
解得a=1,b=-4. …(5分)
(2)由(1)得A
2=

,…(7分)
則

. …(10分)
點評:此題主要考查矩陣變換的問題,其中涉及到矩陣的乘法,題中是用一般方法求解,也可根據取特殊值法求解,具體題目具體分析找到最簡便的方法.