fix: scraper fixes, list matches

Updating players stats(not finished)
Not tested

FlaskWebProject/FlaskWebProject/fs_scraper.py

@@ -1,9 +1,11 @@
+from flask import session
 from lewy_db import baza as ldb
 from lewy_globals import colors as c
 import json
 import lewy_globals
 import requests
 import time
+from sqlalchemy import func
 
 def safe_traverse(obj: dict, path: list, default=None):
 	result = obj
@@ -12,7 +14,7 @@ def safe_traverse(obj: dict, path: list, default=None):
 			result = result[x]
 	except KeyError:
 		result = default
-		# print(f"error reading: {' -> '.join(path)} - returning: {default}")
+		print(f"safe_traverse: error reading {' -> '.join(path)} - returning: {default}")
 	finally:
 		return result
 
@@ -45,6 +47,17 @@ class scraper:
 		else:
 			return False
 
+	def to_iso_compatible_date(self, dmy_date: str):
+		"""
+		Zamienia datę z formatu DD.MM.YY na YYYY-MM-DD
+		
+		:param      dmy_date:  Data w formacie DD.MM.YY
+		:type       dmy_date:  str
+		"""
+		day, month, year = dmy_date.split(".")
+		return f"{2000 + int(year)}-{month}-{day}"
+
+
 	def czy_mecz_istnieje(self, zewnetrzne_id_meczu: str):
 		# mecz = db.simple_select_all(ldb.mecze, zewnetrzne_id_meczu=zewnetrzne_id_meczu)
 		# if mecz is not None and mecz != []:
@@ -61,6 +74,34 @@ class scraper:
 		# 	return False
 		return self.__czy_x_istnieje("kluby", id_klubu=id_klubu)
 
+	def id_na_imie_nazwisko_urodziny(self, zewnetrzne_id_sportowca: str = "MVC8zHZD"):
+		"""
+		Scraper z dykty xD
+		Pobiera imiona, nazwiska i dni urodzin sportowców z zewnętrznego id.
+		Działa na słowo honoru.
+		
+		:param      zewnetrzne_id_sportowca:  Zewnętrzne id sportowca
+		:type       zewnetrzne_id_sportowca:  str
+		"""
+		if len(zewnetrzne_id_sportowca) != 8:
+			raise ValueError("Zewnętrzne ID sportowca powinno być długości 8!")
+		r = requests.get(f'https://www.flashscore.pl/?r=4:{zewnetrzne_id_sportowca}')
+		page = r.text
+
+		name_start_pos = page.find("data-testid=\"wcl-scores-heading-02\">") + 36
+		name_end_pos   = page.find("</", name_start_pos)
+		name = page[name_start_pos:name_end_pos].strip().split(' ')
+
+		# Tak wiem... można by było użyć beautifulsoup4, ale nie ma sensu dodawać nowych zależności dla tylko jednej metody.
+		birthday_start_pos_1 = page.find("data-testid=\"wcl-scores-simpleText-01\">", name_end_pos) + 39
+		birthday_start_pos_2 = page.find("data-testid=\"wcl-scores-simpleText-01\">", birthday_start_pos_1) + 39
+		birthday_start_pos_3 = page.find("data-testid=\"wcl-scores-simpleText-01\">", birthday_start_pos_2) + 39
+		birthday_start_pos   = page.find("data-testid=\"wcl-scores-simpleText-01\">", birthday_start_pos_3) + 39
+		birthday_end_pos     = page.find("</", birthday_start_pos) - 1
+		birthday = None if birthday_end_pos - birthday_start_pos > 20 else page[birthday_start_pos:birthday_end_pos].strip(" ()")
+
+		return name, birthday
+
 	def aktualizuj_dane_sportowca(self, zewnetrzne_id_sportowca: str = "MVC8zHZD"):
 		stop_scraping = False
 		matches_to_add = []
@@ -69,6 +110,9 @@ class scraper:
 		# Jeśli nie, dodaj go w podobny sposób, jak
 		# w sample_data_init() (w lewy_db.py).
 
+		id_zawodnika = self.db.get_id_zawodnika_by_zewnetrzne_id(zewnetrzne_id_sportowca)
+		zawodnik     = self.db.simple_select_all("sportowcy", zewnetrzne_id_zawodnika=zewnetrzne_id_sportowca)[0]
+
 		page = 0
 		match_num = 0
 		while not stop_scraping:
@@ -113,8 +157,88 @@ class scraper:
 
 				# TODO: dodaj obiekt mecz do bazy (simple_insert_one(), simple_insert_many())
 				print(f"{c.OKCYAN}Nowy mecz ({match_num}){c.ENDC}: {match}")
+				
+				iso_converted_date = self.to_iso_compatible_date(safe_traverse(match, ["eventStartTime"], default="1970-01-01"))
+
+				self.db.simple_insert_one("mecze", 
+						zewnetrzne_id_meczu     = safe_traverse(match, ["eventEncodedId"],              default=""), 
+						data                    = iso_converted_date, 
+						gospodarze_id           = home_club_id, 
+						gospodarze              = self.db.simple_select_all("kluby", id_klubu=home_club_id)[0], 
+						goscie_id               = away_club_id, 
+						goscie                  = self.db.simple_select_all("kluby", id_klubu=away_club_id)[0], 
+						gosp_wynik              = safe_traverse(match, ["homeScore"],                   default=0), 
+						gosc_wynik              = safe_traverse(match, ["awayScore"],                   default=0), 
+						sezon                   = safe_traverse(match, ["tournamentSeason"],            default=""), 
+						nazwa_turnieju          = safe_traverse(match, ["tournamentTitle"],             default=""), 
+						skrocona_nazwa_turnieju = safe_traverse(match, ["tournamentTemplateShortCode"], default=""), 
+						flaga                   = safe_traverse(match, ["flagId"],                      default=0), 
+				)
 				match_num += 1
 
+				stats = safe_traverse(match, ["stats"], default="")
+				zewnetrzne_id_meczu = safe_traverse(match, ["eventEncodedId"], default="")
+
+				if stats != False: # gdy sportowiec był aktywny w meczu
+					print("todo :)")
+					# # TODO:
+					# self.db.simple_insert_one("sportowcy_w_meczach", 
+					# 	id_zawodnika                   = id_zawodnika, 
+					# 	zawodnik                       = zawodnik,
+					# 	zewnetrzne_id_meczu            = zewnetrzne_id_meczu,
+					# 	# ODTĄD SIĘ NIE POKRYWA!!! POLA POWINNY SIĘ ZGADZAĆ Z TYM, CO JEST W LEWY_DB (konkretnie klasie sportowcy_w_meczach)
+					# 	ostatni_mecz                   = self.db.get_id_meczu_by_zewnetrzne_id(zewnetrzne_id_meczu), 
+					# 	ilosc_wystapien                = 1 if int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")) > 0 else 0, 
+					# 	minut_gry                      =      int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")), 
+					# 	gier_sum                       = 1 if int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")) > 0 else 0, 
+					# 	goli_sum                       =      int(safe_traverse(stats, ["596", "value"], default="0")), 
+					# 	asyst_sum                      =      int(safe_traverse(stats, ["541", "value"], default="0")), 
+					# 	interwencji_sum                = 0, 
+					# 	nieobronionych_interwencji_sum = 0, 
+					# 	zoltych_kartek_sum             =      int(safe_traverse(stats, ["599", "value"], default="0")), 
+					# 	czerwonych_kartek_sum          =      int(safe_traverse(stats, ["600", "value"], default="0")), 
+					# 	wygranych_sum                  = 1 if     safe_traverse(match, ["winLoseShort"], default="") == "Z" else 0, 
+					# 	wynik_sum                      =          safe_traverse(match, ["rating"],       default=0), 
+					# 	meczow_do_wynikow_sum          = 1 if     safe_traverse(match, ["rating"],       default=0) not in (0, None) else None
+					# )
+
+					# # analogicznie zinkrementuj statystyki_sportowcow:
+					# # UWAGA! NIE ZADZIAŁA DLA NIKOGO INNEGO, NIŻ ROBERCIKA (bo nie mamy innych sportowców w bazie, trzeba dodać ich ręcznie w lewy_db sample_data_init())
+					# self.db.simple_insert_one("statystyki_sportowcow", 
+					# 	sportowiec                     = zawodnik,
+					# 	ostatni_mecz                   = self.db.get_id_meczu_by_zewnetrzne_id(zewnetrzne_id_meczu), 
+					# 	ilosc_wystapien                = 1 if int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")) > 0 else 0, 
+					# 	minut_gry                      =      int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")), 
+					# 	gier_sum                       = 1 if int(safe_traverse(stats, ["595", "value"], default="0").rstrip("'")) > 0 else 0, 
+					# 	goli_sum                       =      int(safe_traverse(stats, ["596", "value"], default="0")), 
+					# 	asyst_sum                      =      int(safe_traverse(stats, ["541", "value"], default="0")), 
+					# 	interwencji_sum                = 0, 
+					# 	nieobronionych_interwencji_sum = 0, 
+					# 	zoltych_kartek_sum             =      int(safe_traverse(stats, ["599", "value"], default="0")), 
+					# 	czerwonych_kartek_sum          =      int(safe_traverse(stats, ["600", "value"], default="0")), 
+					# 	wygranych_sum                  = 1 if     safe_traverse(match, ["winLoseShort"], default="") == "Z" else 0, 
+					# 	wynik_sum                      =          safe_traverse(match, ["rating"],       default=0), 
+					# 	meczow_do_wynikow_sum          = 1 if     safe_traverse(match, ["rating"],       default=0) not in (0, None) else None
+					# )
+
+				else:
+					print("też todo :)")
+					# # TODO: TU TEŻ TRZEBA POPRAWIĆ ANALOGICZNIE DO TEGO, CO JEST WEWNĄTRZ IF'A
+					# self.db.simple_insert_one("sportowcy_w_meczach", id_zawodnika, 
+					# 	ostatni_mecz                   = self.db.get_id_meczu_by_zewnetrzne_id(zewnetrzne_id_meczu), 
+					# 	ilosc_wystapien                = 0, 
+					# 	minut_gry                      = 0, 
+					# 	gier_sum                       = 0, 
+					# 	goli_sum                       = 0, 
+					# 	asyst_sum                      = 0, 
+					# 	interwencji_sum                = 0, 
+					# 	nieobronionych_interwencji_sum = 0, 
+					# 	zoltych_kartek_sum             = 0, 
+					# 	czerwonych_kartek_sum          = 0, 
+					# 	wygranych_sum                  = 1 if     safe_traverse(match, ["winLoseShort"], default="") == "Z" else 0, 
+					# 	wynik_sum                      =          safe_traverse(match, ["rating"],       default=0), 
+					# 	meczow_do_wynikow_sum          = 1 if     safe_traverse(match, ["rating"],       default=0) not in (0, None) else None
+					# )
 
 				# TODO: Zaktualizuj statystyki sportowca
 
@@ -127,7 +251,7 @@ class scraper:
 				# rate limita. - sherl
 
 			page += 1
-			time.sleep(15)
+			#time.sleep(15)
 
 
 	def aktualizuj_dane(self):

FlaskWebProject/FlaskWebProject/lewy_api_v1.py

@@ -89,7 +89,12 @@ def get_matches(r):
 	"""
 	TODO: Zwraca mecze.
 	"""
-	pass
+	response_json = []
+	mecze = getDb().simple_select_all("mecze")
+	for mecz in mecze:
+		response_json.append(mecz.jsonify())
+	print(response_json)
+	return 200, "ok", response_json
 
 # GET /api/v1/debugger_halt?token=XXX...
 @require_authentication
@@ -142,7 +147,7 @@ def lookup(data, request):
 		case 'halt':
 			return debugger_halt(r = request)
 		case 'matches':
-			get_matches(r = request)
+			return get_matches(r = request)
 		case _:
 			increment_bad_requests()
 			return not_implemented(data)

FlaskWebProject/FlaskWebProject/lewy_db.py

@@ -10,6 +10,18 @@ import traceback
 
 global db
 
+class c:
+	HEADER    = '\033[95m'
+	OKBLUE    = '\033[94m'
+	OKCYAN    = '\033[96m'
+	OKGREEN   = '\033[92m'
+	WARNING   = '\033[93m'
+	FAIL      = '\033[91m'
+	ENDC      = '\033[0m'
+	BOLD      = '\033[1m'
+	UNDERLINE = '\033[4m'
+	ENDL      = '\n'
+
 class baza():
 
 	# global sportowcy, trofea, sportowcy_w_meczach, statystyki_sportowcow, kluby, mecze
@@ -107,6 +119,8 @@ class baza():
 			zoltych_kartek_sum:             Mapped[                          int] = mapped_column()
 			czerwonych_kartek_sum:          Mapped[                          int] = mapped_column()
 			wygranych_sum:                  Mapped[                          int] = mapped_column()
+			przegranych_sum:                Mapped[                          int] = mapped_column()
+			remisow_sum:                    Mapped[                          int] = mapped_column()
 			wynik_sum:                      Mapped[                          int] = mapped_column()
 			meczow_do_wynikow_sum:          Mapped[                          int] = mapped_column()
 
@@ -143,6 +157,23 @@ class baza():
 			def __repr__(self):
 				return f"<Mecz #{self.id_meczu} ({self.zewnetrzne_id_meczu}, {self.gospodarze.skrocona_nazwa} vs. {self.goscie.skrocona_nazwa})>"
 
+			def jsonify(self):
+				return {
+					"id_meczu": self.id_meczu,
+					"zewnetrzne_id_meczu": self.zewnetrzne_id_meczu,
+					"data": self.data.strftime("%Y-%m-%d"),
+					"gospodarze_id": self.gospodarze_id,
+					"gospodarze": self.gospodarze.skrocona_nazwa,
+					"goscie_id": self.goscie_id,
+					"goscie": self.goscie.skrocona_nazwa,
+					"gosp_wynik": self.gosp_wynik,
+					"gosc_wynik": self.gosc_wynik,
+					"sezon": self.sezon,
+					"nazwa_turnieju": self.nazwa_turnieju,
+					"skrocona_nazwa_turnieju": self.skrocona_nazwa_turnieju,
+					"flaga": self.flaga
+				}
+
 		self.entities = {
 			'sportowcy': sportowcy,
 			'trofea': trofea,
@@ -168,9 +199,9 @@ class baza():
 			try:
 				return_val = func(self, *args, **kwargs)
 			except:
-				print( "\033[91m"
+				print(f"{c.FAIL}"
 					  f"Wystąpił błąd podczas wykonywania zapytania SQL:"
-					   "\033[0m"
+					  f"{c.ENDC}"
 					   "\n"
 					  f"{traceback.format_exc()}")
 				self.session.rollback()
@@ -224,7 +255,7 @@ class baza():
 				special_args[arg] = kwargs[arg]
 				del kwargs[arg]
 
-		print(f"[{round(time.time())}] SELECT")
+		print(f"[{round(time.time())}] SELECT {entity_type}")
 
 		results = (
 			self.session.
@@ -263,7 +294,15 @@ class baza():
 		if not isinstance(entity_type, str):
 			entity_type = entity_type.__name__
 
-		print(f"[{round(time.time())}] INSERT")
+		if "id" in kwargs:
+			print(f"{c.FAIL}UWAGA!{c.ENDC}")
+			print(f"Próbujesz dodać obiekt do tabeli, który ma już identyfikator.\n"
+				  f"To spowoduje problemy w przyszłości, gdy będziesz chciał dodać nowy obiekt do bazy bez ustawiania id na sztywno\n"
+				  f"(id klucza głównego nie zostanie zaktualizowane w sekwencji, przez co baza będzie próbowała dodać obiekt z id już istniejącego rekordu!).\n"
+				  f"Aby naprawić dodawanie z autoinkrementującym kluczem zobacz {c.WARNING}https://stackoverflow.com/a/8745101{c.ENDC}\n"
+				  f"Zostałeś ostrzeżony!")
+
+		print(f"[{round(time.time())}] INSERT {entity_type}")
 
 		obj = self.entities[entity_type](**kwargs)
 		#with Session(self.db.engine) as session:
@@ -287,6 +326,131 @@ class baza():
 		return 0
 		#return 1
 
+	@exit_gracefully
+	def increment_fields(self, entity_type, record_id, **increments):
+		"""
+		Dodaje wartości do istniejących pól (np. goli_sum += 2).
+    
+		Użycie:
+		increment_fields(ldb.statystyki_sportowcow, 123, goli_sum=2, asyst_sum=1)
+		"""
+
+		if not isinstance(entity_type, str):
+			entity_type = entity_type.__name__
+
+		if entity_type not in self.entities:
+			print(f"Nieznany typ encji: {entity_type}")
+			return -1
+
+		model_class = self.entities[entity_type]
+
+		print(f"[{round(time.time())}] INCREMENT {entity_type}")
+
+		record = self.session.get(model_class, record_id)
+		if not record:
+			print(f"Rekord z ID {record_id} nie istnieje w tabeli {entity_type}")
+			return -1
+
+		for key, increment_value in increments.items():
+			if hasattr(record, key):
+				current_value = getattr(record, key, 0)
+				setattr(record, key, current_value + increment_value)
+			else:
+				print(f"⚠️  Pole '{key}' nie istnieje w modelu '{entity_type}' - pomijam.")
+
+		self.session.commit()
+		return 0
+
+	@exit_gracefully
+	def get_id_meczu_by_zewnetrzne_id(self, external_id: str) -> int | None:
+		"""
+		Zwraca id_meczu na podstawie zewnetrzne_id_meczu.
+
+		:param external_id: zewnętrzne ID meczu
+		:return: id_meczu lub None jeśli nie znaleziono
+		"""
+		stmt = select(mecze.id_meczu).where(mecze.zewnetrzne_id_meczu == external_id)
+		result = self.session.execute(stmt).scalar_one_or_none()
+		return result
+
+	@exit_gracefully
+	def get_id_zawodnika_by_zewnetrzne_id(self, external_id: str) -> int | None:
+		"""
+		Zwraca id_zawodnika na podstawie zewnetrzne_id_zawodnika.
+
+		:param external_id: zewnętrzne ID meczu
+		:return: id_zawodnika lub None jeśli nie znaleziono
+		"""
+		stmt = select(sportowcy.id_zawodnika).where(sportowcy.zewnetrzne_id_zawodnika == external_id)
+		result = self.session.execute(stmt).scalar_one_or_none()
+		return result
+
+	@exit_gracefully
+	def simple_update_one(self, entity_type, record_id, **kwargs):
+		"""
+		Użycie:
+		simple_update_one(ldb.kluby, "polska", pelna_nazwa="Nowa Nazwa", skrocona_nazwa="NN")
+
+		Aktualizuje pojedynczy rekord w bazie danych na podstawie ID.
+		"""
+		if not isinstance(entity_type, str):
+			entity_type = entity_type.__name__
+
+		if entity_type not in self.entities:
+			print(f"Nieznany typ encji: {entity_type}")
+			return -1
+
+		model_class = self.entities[entity_type]
+
+		print(f"[{round(time.time())}] UPDATE {entity_type}")
+
+		record = self.session.get(model_class, record_id)
+		if not record:
+			print(f"Rekord z ID {record_id} nie istnieje w tabeli {entity_type}")
+			return -1
+
+		for key, value in kwargs.items():
+			if hasattr(record, key):
+				setattr(record, key, value)
+			else:
+				print(f"⚠️  Pole '{key}' nie istnieje w modelu '{entity_type}' - pomijam.")
+    
+		self.session.commit()
+		return 0
+
+	@exit_gracefully
+	def dodaj_sportowca_w_meczu(self, entity_type, record_id, **kwargs):
+		"""
+		Użycie:
+		dodaj_sportowca_w_meczu(ldb.sportowcy_w_meczu, ...)
+
+		Dodaje pojedynczy rekord w bazie danych.
+		"""
+		if not isinstance(entity_type, str):
+			entity_type = entity_type.__name__
+
+		if entity_type not in self.entities:
+			print(f"Nieznany typ encji: {entity_type}")
+			return -1
+
+		model_class = self.entities[entity_type]
+
+		print(f"[{round(time.time())}] INSERT {entity_type}")
+
+		record = self.session.get(model_class, record_id)
+		if not record:
+			print(f"Rekord z ID {record_id} nie istnieje w tabeli {entity_type}")
+			return -1
+
+		for key, value in kwargs.items():
+			if hasattr(record, key):
+				setattr(record, key, value)
+			else:
+				print(f"⚠️  Pole '{key}' nie istnieje w modelu '{entity_type}' - pomijam.")
+    
+		self.session.commit()
+		return 0
+
 	@exit_gracefully
 	def sample_data_init(self, override_safety_check=False):
 		"""
@@ -320,7 +484,7 @@ class baza():
 				goscie_id="undefined", 
 				gosp_wynik=0, 
 				gosc_wynik=0, 
-				sezon="1970/1970", 
+				sezon="1970-1970", 
 				nazwa_turnieju="Nieznany turniej", 
 				skrocona_nazwa_turnieju="N/A", 
 				flaga=0)
@@ -336,6 +500,8 @@ class baza():
 				zoltych_kartek_sum=0, 
 				czerwonych_kartek_sum=0, 
 				wygranych_sum=0, 
+				przegranych_sum=0, 
+				remisow_sum=0, 
 				wynik_sum=0, 
 				meczow_do_wynikow_sum=0)
 
@@ -354,7 +520,7 @@ class baza():
 				wycena=64_940_000)
 			trofeum = trofea(
 				nazwa="Nieznane trofeum", 
-				sezon="0000/0000", 
+				sezon="0000-0000", 
 				rok=1970)
 
 			session.add(sportowiec)
@@ -366,6 +532,40 @@ class baza():
 			trofeum.zawodnik = sportowiec
 			sportowiec.ostatnie_trofeum = trofeum
 
+			# MIEJSCE NA DANE KOLEJNYCH SPORTOWCÓW
+			# TRZEBA ZROBIĆ TO RĘCZNIE, ZGODNIE ZE SCHEMATEM:
+			# self.simple_insert_one(statystyki_sportowcow, 
+			# 	ostatni_mecz=1, 
+			# 	ilosc_wystapien=0, 
+			# 	minut_gry=0, 
+			# 	gier_sum=0, 
+			# 	goli_sum=0, 
+			# 	asyst_sum=0, 
+			# 	interwencji_sum=0, 
+			# 	nieobronionych_interwencji_sum=0, 
+			# 	zoltych_kartek_sum=0, 
+			# 	czerwonych_kartek_sum=0, 
+			# 	wygranych_sum=0, 
+			# 	przegranych_sum=0, 
+			# 	remisow_sum=0, 
+			# 	wynik_sum=0, 
+			# 	meczow_do_wynikow_sum=0)
+
+			# self.simple_insert_one(sportowcy, 
+			# 	zewnetrzne_id_zawodnika="...", 
+			# 	imie="...", 
+			# 	nazwisko="...", 
+			# 	data_urodzenia="...", 
+			# 	czy_aktywny=True, # NIE WSZYSCY SĄ AKTYWNI! 
+			# 	klub_id="undefined", 
+			# 	narodowosc="...", 
+			# 	ilosc_trofeow=0, 
+			# 	pierwszy_mecz_id=1, 
+			# 	ostatni_gol_dla_id="undefined", 
+			# 	statystyki_id=2, # itd...
+			# 	wycena=...) # w złotówkach
+
 			session.commit()
 			return 0
-		return 1
+
+		return 1

FlaskWebProject/FlaskWebProject/lewy_globals.py

@@ -1,4 +1,4 @@
-from git import Repo # hash ostatniego commitu
+#from git import Repo # hash ostatniego commitu
 import os
 import time
 import toml
@@ -155,4 +155,4 @@ config = {}
 configfile = "config.toml"
 version = getCommitWithFailsafe()
 apiVersion = "1"
-randomly_generated_passcode = 0
+randomly_generated_passcode = 0