Wie kann ich eine performance-intensive queue im Hintergrund abarbeiten?

Hallo zusammen,

in einer Drupal 7 Installation bekomme ich von einem anderen System alle zwei Stunden 300 Artikelnummern übergeben, also z.B.

12asdjkadg686
890789423hjha
asdas797a4141
....
80980as234687

Jede dieser Artikelnummern wird an eine Funktion weiterverarbeitung(param=arikelnummer) übergeben. Schließlich wird nach einer Datenanreicherung aus
jeder Artikelnummer ein neuer node vom type "artikel" generiert bzw. ein Update eines bereits bestehenden node durchgeführt.

Das alles funktioniert von der Logik her gut, aber nicht von der Performance.

Bis jetzt habe ich mich in den Cron-Hook eingehängt und die übergebenen 300 Artikelnummern sofort weiterverarbeitet. Die Folge war, dass sich
mein Cron aufgehängt hat und die Daten nicht zuverlässig weiterverarbeitet wurden bzw. das komplette System beim Cronlauf eine Minute hing.

Jetzt suche ich eine performantere und vor allem zuverlässigere Lösung, die möglichst im Hintergrund läuft und idealerweise dann, wenn das System wenig ausgelastet ist. Die Weiterverarbeitung ist nicht sehr zeitkritisch, d.h. sie sollte nur innerhalb eines halben Tages abgeschlossen sein.

Ich bin auf Queues gestossen, kenne mich damit aber leider nicht in der Tiefe aus. Wie ich Artikelnummern an eine Queue übergebe weiss ich.

Aber wie kann ich denn die Einträge in dieser Queue kontinuierlich und im Hintergrund abarbeiten, ohne dass das System steht? Brauche ich dazu zwingend einen Cron-Job oder geht das auch ohne?

Wäre schön wenn jemand einen Tipp für mich hat. Es MUSS auch nicht Queue sein, es geht auch jeder andere Lösung, die im Hintergrund arbeitet.

Vielen Dank und Grüße

Rhodes