RectangleShape.Locationプロパティに適当な値を設定してやれば良いかと思います。
こんな感じ?
Private Sub Form1_Load(sender As Object, e As System.EventArgs) Handles Me.Load
Dim container As New ShapeContainer
Dim rect As New RectangleShape
With rect
.Name = "rect"
.Size = New Size(100, 100)
.Location = New Point(0, Me.ClientSize.Height - 100)
.Parent = container
End With
container.Parent = Me
End Sub
ちなみにフォームサイズが変更されたときに追従するには別途始点を合わせる処理を実装する必要があります。