Initial project version

main.py

@@ -0,0 +1,60 @@
+import mainparser
+import timeit
+from multiprocessing import Process
+
+def main(dateArr, url):
+
+	#proxy = '152.26.229.42:9443'
+	threads = []
+	totalGuys, config, filepath, noAI, limit = mainparser.getConf()
+	st_accept = "text/html"
+	st_useragent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0"
+	headers = {
+		"Accept": st_accept,
+		"User-Agent": st_useragent}
+
+	for i in dateArr:
+		print(f"{url}{i}/", i, totalGuys, config, filepath)
+
+		thread = Process(target=mainparser.process, args=(f"{url}{i}/", i, totalGuys, config, filepath, headers, noAI, limit))
+		threads.append(thread) 
+
+	# print(1)
+	# print(len(threads), threads) 
+
+	for thread in threads:
+		thread.start()
+
+	for thread in threads:
+		thread.join()
+	# for i in dateArr:
+	# 	run(process(f"https://ria.ru/{i}/", i))
+
+if __name__ == "__main__":
+	#dateArr = '20240501,20240502'.split(',')
+	dateArr = mainparser.preparing()
+
+	'''Эй, сделай вот тут снизу выбор зеркалов'''
+
+	url = 'https://ria.ru/'
+	'''
+	Железо на которых запускалось сие творение:
+		{'кол-во потоков' : 'время за которое выполняется задача'}
+		Даты: 20240501,20240502
+		ТКУ:
+		{'1': 88.7175525999628}
+		{'2': 55.970715400064364} +55% прирост к скорости
+		2СР (асинхрон, мобильный инет):
+		{'2': 15.931628999998793} +251% или 457% (с одним потоком) (на мобильном инете!!)
+		Старшина (асинхрон, мобильный инет):
+		{'2': 76.97899259999758} 
+		Старшина (асинхрон, 40 ссылок, мобильный инет, лимит 7):
+		{'2': 69.63641009999992}
+	'''
+
+	'''Что еще можно сделать:
+		1. перестать пользоваться БЯМ и/или добавить фильтр по тегам
+		2. добавить прогрузку последующих новостей через гет-реквест +
+		3. собрать через нуитку +'''
+	dataTime = {f'Tasks/Time: {len(dateArr)}' : timeit.timeit('main(dateArr, url)', number=1, globals=globals())}
+	print(dataTime)