|
现在，可以试试分布式进程的工作效果了。先启动task_master.py服务进程：
- Traceback (most recent call last):
- File "F:/Python/untitled/xianchengjincheng/master.py", line 25, in <module>
- manager.start()
- File "F:Pythonpystalllibmultiprocessingmanagers.py", line 513, in start
- self._process.start()
- File "F:Pythonpystalllibmultiprocessingprocess.py", line 105, in start
- self._popen = self._Popen(self)
- File "F:Pythonpystalllibmultiprocessingcontext.py", line 322, in _Popen
- return Popen(process_obj)
- File "F:Pythonpystalllibmultiprocessingpopen_spawn_win32.py", line 65, in __init__
- reduction.dump(process_obj, to_child)
- File "F:Pythonpystalllibmultiprocessing
- eduction.py", line 60, in dump
- ForkingPickler(file, protocol).dump(obj)
- _pickle.PicklingError: Can't pickle <function <lambda> at 0x00000202D1921E18>: attribute lookup <lambda> on __main__ failed
task_master.py进程发送完任务后，开始等待result队列的结果。现在启动task_worker.py进程：
- Connect to server 127.0.0.1...
- Traceback (most recent call last):
- File "F:/Python/untitled/xianchengjincheng/work.py", line 24, in <module>
- m.connect()
- File "F:Pythonpystalllibmultiprocessingmanagers.py", line 489, in connect
- conn = Client(self._address, authkey=self._authkey)
- File "F:Pythonpystalllibmultiprocessingconnection.py", line 487, in Client
- c = SocketClient(address)
- File "F:Pythonpystalllibmultiprocessingconnection.py", line 614, in SocketClient
- s.connect(address)
- ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。
看到没，结果都出错了，我们好好分析一下到底哪出错了。。。
错误分析
在task_master.py的报错提示中，我们知道它说lambda错误，这是因为序列化不支持匿名函数，所以我们得修改代码，重新对queue用QueueManager进行封装放到网络中。
- # 把两个Queue都注册到网络上, callable参数关联了Queue对象
- QueueManager.register('get_task_queue',callable=return_task_queue)
- QueueManager.register('get_result_queue',callable=return_result_queue)
其中task_queue和result_queue是两个队列，分别存放任务和结果。它们用来进行进程间通信，交换对象。
因为是分布式的环境，放入queue中的数据需要等待Workers机器运算处理后再进行读取，这样就需要对queue用QueueManager进行封装放到网络中，这是通过上面的2行代码来实现的。我们给return_task_queue的网络调用接口取了一个名get_task_queue,而return_result_queue的名字是get_result_queue，方便区分对哪个queue进行操作。task.put(n)即是对task_queue进行写入数据，相当于分配任务。而result.get()即是等待workers机器处理后返回的结果。
值得注意 在windows系统中你必须要写IP地址，而其他操作系统比如linux操作系统则就不要了。
- # windows需要写ip地址
- manager = QueueManager(address=('127.0.0.1', 5000), authkey=b'abc')
修改后的代码
（编辑：威海站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
