下記の例のように、Formatに与える文字列中で普通に{を使うと、例外になる。

return string.Format(
@"
public class {0}
{
}
",クラス名);

こんなときは下記の例のように、{の時は{{に}の時は}}にしてあげればよい。

return string.Format(
@"
public class {0}
{{
}}
",クラス名);