Hallo Freudi,
Vorab ein paar Fragen:
Verstehe ich das richtig daß Du zum einen 5-6 stellige Zahlen und zum anderen 32-Byte lange Sequenzen suchst?
Etwas verwirrend: Wie kannst Du 20 Millionen Positionen als Ganzzahl haben wenn diese Zahlen nur 5-6 Stellen haben?
Sind die Zahlen im als Text im XML abgelegt (so in der Form <value>12345</value>) oder muß auch die Zahl 123 im Text 012345 gefunden werden?
Aus welchen Zeichen bestehen die IDs und sind diese auch zB durch Tags oder zumindest Trennzeichen begrenzt?
Ich habe versuchsweise eine ~50 MB XML Datei erzeugt und eine Funktion geschrieben welche alle Ganzzahlen der Datei als std::set liefert. Wenn ich Datei 10x auswerte (486 MB) bekomme ich als Ergebnis 6321 Werte im Set und benötige auf einem i7 knapp 2,5
Sekunden. Bei mehr unterschiedlichen Werten wird das System langsamer da die Einfügeoperationen ins std::set aufwendiger werden.
std::set<int> searchPositions(const std::vector<std::string>& filenames, size_t *bytesAnalyzed)
{
std::set<int> result;
int count = 0;
std::vector<char> buffer;
for(const auto& filename : filenames)
{
std::cout << (++count) << "/" << filenames.size() << " \r" << std::flush;
std::ifstream stream(filename, std::ios_base::binary);
if(stream.is_open())
{
stream.seekg(0, std::ios_base::end);
const auto size = static_cast<size_t>(stream.tellg());
stream.seekg(0, std::ios_base::beg);
if(buffer.size() < size + 1)
buffer.resize(size + 1);
stream.read(buffer.data(), size);
buffer[size] = 0;
const char *ptr = buffer.data();
while(*ptr != 0)
{
if(*ptr >= '0' && *ptr <= '9')
{
int value = *ptr - '0';
++ptr;
for(; *ptr >= '0' && *ptr <= '9'; ++ptr)
value = value * 10 + (*ptr - '0');
result.insert(value);
} else
{
++ptr;
}
}
if(bytesAnalyzed)
*bytesAnalyzed += size;
}
}
std::cout << std::endl;
return result;
}
Die gesuchten Ganzzahlen können dann im Ergebnisset gesucht werden was relativ schnell geht. Noch schneller wäre es vermutlich auch die gesuchten Zahlen in ein Set zu packen und mittels std::set_difference eine Liste der fehlenden Werte zu erhalten.
Wenn Du mir obenstehende Fragen beantworten kannst (und ich nochmal Zeit finde) dann sehe ich mir das Thema gerne noch mal an.
mfg
Andreas
