Ciekawy by było jak by się to dało dodać do emulatora jako 'engine' drugiego playera - w sensie żeby mieć lepsze AI niż oryginalnie zaimplementowane przez programistów gry.

Z tego co pamiętam, to fire i joy w dół od razu po "Go". Nie jestem teraz pewien konieczności wciskania fire.

Też pamiętam że fire i w dół zawsze wciskałem, ale też nie wiem na 100% czy trzeba jednocześnie. Generalnie tak, chodzi o to, żeby trafić z refleksem dokładnie w moment kiedy jest "Go", wtedy im szybciej trafimy, tym więcej desek na raz idzie, aż do samego dołu wszystkie można zrobić i pamiętam, że mieliśmy to tak obcykane, że prawie za każdym razem się wszystkie robiło.

Idea bota jest super fajnym przedsięwzięciem i na pewno daje sporo satysfakcji. Miłej zabawy! Natomiast co do praktycznego zastosowania, to mnie się wydaje, że roboty z tym pewnie jest dość sporo, żeby takiego bota nauczyć sensownie grać w jedną tylko grę, więc raczej chyba o ideę chodzi i o samo dłubanie sobie takiego rozwiązania, niż żeby je faktycznie zrobić? Wyobrażam sobie, że do użytku na co dzień zamiast drugiego gracza, to potrzebny był by bot, który umiał by grać w dowolną grę i uczyć się nowych gier w tempie takim jak potrafi to zrobić żywy człowiek:-) Jednak co gra na dwóch, to gra na dwóch, potrzebne są jeszcze okrzyki drugiej osoby siedzącej obok, np. "ty chu....!!!", oraz trzask joya kolegi rzucanego o podłogę po naszym ciosie:-)

Tak czy owak super idea, choćby jako ciekawostka do poczytania, więc pisz relacje jak coś będziesz w tym kierunku dalej rozwijał, ja chętnie zawsze poczytam i obejrzę ewentualne filmiki na youtube itp. Dzięki!

czy program wie podczas jakiego ruchu przeciwnika stracil punkt?

Nie omieszkam się pochwalić =D. BTW mam jeszcze dwa filmiki ale nie są już związane z Atari (tylko NES)
https://youtu.be/KQFYevQB8R8?feature=shared
https://youtu.be/FK7icSIzwvQ?feature=shared

Sieć neuronowa na wejście przyjmuje obraz (dla IK nie ma dodatkowych metadanych). Gdy walka się kończy to algorytm posiada cały przebieg scenariusza klatka po klatce wraz z nagrodą (dla każdej klatki). Im niższa nagroda tym coraz bliżej dostania w twarz. Więc algorytm może sobie wywnioskować, że gdy przeciwnik już wyciąga ręke to np. kucnięcie nie jest najlepszą opcją.

W skrócie, może sobie wywnioskować na podstawie obrazu ale nie ma żadnej metadanej opisującej jaki cios aktualnie zadaje przeciwnik.

@Zgrd: ja całe życie bawię się i pracuję zawodowo w programowaniu i w elektronice. Nie chodzi o to na ile jestem w tych dziedzinach dobry, nie chodzi też o to że jakimś wyższym poziomem jest AI. To nie tak, to jest zupełnie odrębna dziedzina nauki (przynajmniej ja to tak widzę). W programie lub w elektronice mogę odwzorowywać pewne algorytmy, ale AI, to nie jest kwestia tego odwzorowywania, tylko pomysłu na takie algorytmy właśnie. Z kolei ktoś od AI nie musi się tak na prawdę w ogóle znać na elektronice, czy na programowaniu. Może opisywać jakieś tam zachowania, czerpać z tego wnioski, budować algorytm. Ja to tak widzę, nie mam wiedzy ani z zakresu sieci neuronowych, ani z zagadnień AI, nie znam się na tym po prostu, ale nie uważam, że to jakaś czarna magia, to jest po prostu kolejna dziedzina wiedzy, którą da się przyswoić i da się nią zajmować. Kwestia tylko tego, że każdy robi coś innego i nikt nie może robić wszystkiego, bo by mu czasu na to w życiu nie wystarczyło.

Kanis: gra w Mario robi na mnie większe wrażenie niż to International Karate. Zwłaszcza ten moment, że algorytm czeka chwilę na żółwia i załatwia go podskokiem gdy ten wyjdzie z niskiego przejścia, a nie pcha się do przodu gdzie by zginął. Fajne, ciekawi mnie na czym polega taki proces uczenia się, ale to za duży temat do ogarnięcia w 5 minut, a więcej czasu nie mam:-)

Mq: Oczywiście, że AI to nie jest jakaś sekta nadludzi. Sam w sobie dzieli się na różne dziedziny jak na przykład przetwarzanie obrazu czy tekstu. Bardzo się cieszę, że zauważyłeś ten fragment z żółwiem w tunelu, długo pracowałem nad tym =D. Sam nie czuję się jakimś specem AI. Trochę zajęło mi stworzenie tego projektu ale to też dlatego, że wszystko robiłem od zera i próbowałem jednocześnie połączyć sieci neuronowe z reinforcement learning.

Zgrd: Maszyna jak i człowiek mają swoje zalety i wady. Myślę, że roboty bardzo długo nie będą kreatywne jak człowiek. Sztuczna inteligencja nie jest tak groźna jak ludzie z taką technologią i złymi intencjami.

Jak ktoś chce wejść w AI to polecam zacząć od PyTorch albo Tensorflow.

Chciałbym ogłosić, że projekt nadal żyje. Spędziłem trochę czasu na dostrojeniu parametrów oraz zwiększyłem liczbę przeciwników na których bot może ćwiczyć. Dzięki tym zabiegom mój projekt zdobył brązowy pas w karate (wcześniej był żółty).

https://youtu.be/pRwTYCMFzig

Bot się uczył wyłącznie pokonywać przeciwnika więc jest za etapy bonusowe konsekwentnie otrzymuje równe zero punktów.

Myślę, że zabawa z International Karate dobiegła końca i czas przerzucić się na inną grę. Jednym z kandydatów jest Fred.