Постоянные коннекты к БД и мультипоточность

[zuxel]

Делаю мультипоточную обработку данных из БД, чтобы работали ручные блокировки строк приходится работать в постоянным соединениям, но при работе из разных потоков постоянно возникают ошибки из-за чего соединение падает и, естественно, все ломается. Есть ли возможность создавать несколько постоянных соединений или как корректно организовать работу, чтобы потоки могли корректно использовать единое соединение?

 

[AnrDaemon]

Чего?…

 

[Redjik]

статья на хабре была что ли? второй раз за неделю этот бред слышу...
ты себе представляешь оверхед форка?

 

[AnrDaemon]

Ты из его мыслеизвержения чего-нибудь понял?
Я только понял, что он, не выяснив, что именно происходит, бросился это нечто лечить.

 

[Redjik]

Да, потому, что слышал этот бред... форкать процесс и в несколько процессов постоянными соединениями ползать в базу за данными.

 

[WMix]

ну те открыта 1 консоль базы данных, и параллельно 10 человек в ней работают?

 

[zuxel]

ну те открыта 1 консоль базы данных, и параллельно 10 человек в ней работают?

ну можно и так сказать, только люди - это форки процесса, у которых не получается нормально работать с предварительно установленным в материнском процессе persistent connection, соединение падает с разными ошибками, как корректно пошарить это соединение на все форки?

 

[AnrDaemon]

Никак. Не надо так делать.

 

[zuxel]

как тогда организовать мультипотоковую обработку данных, блокируя обрабатываемые строки на уровне бд (в моем случае это pgsql и
pg_try_advisory_lock())?

 

[WMix]

люди выстроются в очередь (сериализируют последовательность), и будут работать поочереди. а то может и легко SuEpLdEaCtTe в базу придти.
а в случае если одному из них нужна транзакция, все будут ждать от begin до commit
консоль не видит кто печатает, договориться придется им самим

 

[MiksIr]

У каждого форка своя сессия (соединение). pg_try_advisory_lock как раз и предназначен для работы между сессиями.

 

[WMix]

мне кажется зависит от того что произошло вначале, форк или соединение

 

[MiksIr]

Ну форк должен быть сначала, это факт. Причем тут постоянные соединения вообще не особо нужны. Да они и вообще не особо нужны

 

[AnrDaemon]

блокируя обрабатываемые строки на уровне бд

> на уровне бд

ключевое слово.

 

[WMix]

тут сразу вспоминается последовательность комманд: зайти, приспустить штаны, сесть, расслабиться. если последовательность поменять результат может быть неожиданный

 

[AnrDaemon]

@WMix, не эта ли последовательность команд тебе вспомнилась?

 

[zuxel]

У каждого форка своя сессия (соединение). pg_try_advisory_lock как раз и предназначен для работы между сессиями.

Дока говорит что блокировка сохраняется в рамках текущего соединения и освобождается только при ручном снятии или падении соединения, если выбрать строки с их блокированием, обработать и потом сделать апдейт, ко времени апдейта бловировки не будет - она упадет после завершения первого селекта. Поэтому и нужное перманентное соединение

 

[zuxel]

люди выстроются в очередь (сериализируют последовательность), и будут работать поочереди. а то может и легко SuEpLdEaCtTe в базу придти.
а в случае если одному из них нужна транзакция, все будут ждать от begin до commit
консоль не видит кто печатает, договориться придется им самим

По очереди не надо, надо параллельно, чтобы быстрее выполнить тяжелую операцию
И договариваться здесь не надо будет, вместо этого бд будет отдавать только те строки, что еще не были выбраны для обработки

 

[AnrDaemon]

Дока говорит что блокировка сохраняется в рамках текущего соединения и освобождается только при ручном снятии или падении соединения, если выбрать строки с их блокированием, обработать и потом сделать апдейт, ко времени апдейта бловировки не будет - она упадет после завершения первого селекта. Поэтому и нужное перманентное соединение

Ты разницу между запросом и коннектом вообще знаешь?

 

[zuxel]

Да, я знаю. А ты знаешь как сделать, чтобы в одном запросе выбрать строки, потом в php их обработать и записать результат, и все это в рамках одного _не_постоянного_ соединения?