DataGridViewComboBoxColumn の列にあるセルは、自動的に DataGridViewComboBoxCell 型になります。これの DataSource プロパティや Items プロパティを設定してやればセル独自のリストを持てます。