Hallo,
wenn es wirklich darum geht 4000 Inserts in weniger als 100 ms zu bewerkstelligen, kommst du um die Methode mit dem StringBuilder kaum herum. Allerdings macht der Stringbuilder normal nicht die beschriebenen Fehler.
Mit Parametern dauert es um den Faktor 10 länger, mithin ca. 400ms:
public long Prepared() {
MySqlConnectionStringBuilder csb = new MySqlConnectionStringBuilder();
csb.Server = "localhost";
csb.Port = 3306;
csb.Database = "test";
csb.UserID = "root";
csb.Password = "";
MySqlConnection cn = new MySqlConnection(csb.GetConnectionString(true));
try {
cn.Open();
Stopwatch sw = new Stopwatch();
sw.Start();
string sql = "insert into sensors(pid, sid, t, val) values (@p1, @p2, @p3, @p4)";
MySqlCommand cmd = new MySqlCommand(sql, cn);
cmd.Parameters.Add("@p1", MySqlDbType.VarChar);
cmd.Parameters.Add("@p2", MySqlDbType.VarChar);
cmd.Parameters.Add("@p3", MySqlDbType.DateTime);
cmd.Parameters.Add("@p4", MySqlDbType.Int32);
cmd.Prepare();
for (int i = 0 ; i < 4000 ; i++) {
cmd.Parameters["@p1"].Value = "1";
cmd.Parameters["@p2"].Value = Guid.NewGuid().ToString();
cmd.Parameters["@p3"].Value = DateTime.Now;
cmd.Parameters["@p4"].Value = i;
cmd.ExecuteNonQuery();
}
sw.Stop();
return sw.ElapsedMilliseconds;
} catch (Exception ex) {
MessageBox.Show(ex.ToString());
} finally {
if (cn != null && cn.State == ConnectionState.Open)
cn.Close();
}
return -1;
}
Du musst beim Stringbuilder darauf achten, gültige Werte zu verwenden. Das da irgendwas "verrutscht" habe ich so noch nicht erlebt.
Die Variante mit dem StringBuilder dauert jedenfalls ca. 40ms:
public long SB() {
StringBuilder sb = new StringBuilder();
MySqlConnectionStringBuilder csb = new MySqlConnectionStringBuilder();
csb.Server = "localhost";
csb.Port = 3306;
csb.Database = "test";
csb.UserID = "root";
csb.Password = "";
MySqlConnection cn = new MySqlConnection(csb.GetConnectionString(true));
try {
cn.Open();
Stopwatch sw = new Stopwatch();
sw.Start();
sb.Append(@"insert into sensors(pid, sid, t, val) values ");
for (int i = 0 ; i < 4000 ; i++) {
DateTime d = DateTime.Now;
string dt = d.Year.ToString() + d.Month.ToString().PadLeft(2, '0') +
d.Day.ToString().PadLeft(2, '0') + d.Hour.ToString().PadLeft(2, '0') +
d.Minute.ToString().PadLeft(2, '0') + d.Second.ToString().PadLeft(2, '0');
sb.Append(@"('1','" + Guid.NewGuid().ToString() + @"','" + dt + @"','" + i.ToString() + @"'),");
}
MySqlCommand cmd = new MySqlCommand(sb.ToString().Substring(0, sb.Length-1), cn);
cmd.ExecuteNonQuery();
sw.Stop();
return sw.ElapsedMilliseconds;
} catch (Exception ex) {
MessageBox.Show(ex.ToString());
} finally {
if (cn != null && cn.State == ConnectionState.Open)
cn.Close();
}
return -1;
}
Du musst natürlich sicher sein, dass in du keine ungültigen Werte einbaust. Wenn die Rohdaten aus einer "sicheren" Quelle stammen, finde ich das akzeptabel.
Gruß
Danke für deine Antwort. Mit den Parametern wäre es mir auch lieber, aber ich kann leider nicht nach jedem Schleifendurchlauf ein execute machen. Ich würde gerne die Daten "puffern" und anschließend abschicken.
Mit dem Stringbuilder funktioniert es zwar, aber es gibt immer noch "paar" Ausreiser. Manchmal werden zwei Kommas hintereinander eingefügt usw.
Ich habe mal einen kompletten durchlauf geschafft, bis die DB "voll" war. 220k Einträge in 20sek. Kommt vielleicht der StringBuilder mit der Geschwindigkeit nicht zurecht?
Ein BSP:
('1','xyz','2016-02-05 11:03:16.058','5.54932378007813'),'),('1','xyz','2016-02-05 11:03:16.008','805.244402607422')
Hier sieht man so einen Fehlerfall
Als Anhang noch die Methode
public int AddValues(string x, string y, Array arr)
{
for (int i = 0; i < arr.Length; i++)
{
string sVal = Convert.ToString(arr.GetValue(i), CultureInfo.InvariantCulture);
strBuilder.Append(@"('1','" + x+ @"','" + y+ @"','" + sVal+ @"'),");
//Zähle Counter hoch
strBuilderCounter++;
if (strBuilderCounter == iDataSize)
{
string query = strBuilder.ToString();
query = query.Substring(0, query.Length - 1);
cmd = new MySqlCommand(query, db);
//Liste ist voll!
strBuilder.Clear();
strBuilderCounter = 0;
//In DB Schreiben
cmd.ExecuteNonQuery();
}
}
return iRC;
}
die iDataSize ist 4000
