Sunday, April 17, 2011

När statistiken lurar dig

Dagens offer är JM. Det vill säga det är den aktien jag har valt att leka med ikväll. Det jag tar upp idag är varken nytt eller egentligen speciellt spännande (hade det varit så här lätt att förutsäga nästa dags aktiekurs hade jag ägt många tropiska öar redan nu). Men som statistiker så lockas man ibland att undersöka de mest enkla idéer för att se om dessa idéer understöttas eller inte. En sådan idé testar jag ikväll. Den går ut på att nästa dags aktiekurs kan förutsägas genom att modellera de n senaste dagarnas aktiekurs. Dvs vi har en naiv modell som ser ut som följande:
X(t+1) = a1*X(t)+a2*X(t-1)+....+an*X(t-n+1)+brus
X är alltså vår aktiekurs och t är dagens index, dvs. t+1 är imorgon. Kort sagt X(t-1) är gårdagens aktiekurs.  Jag använder efteråt en linjär regression för att skatta parametrarna a1..an. Modellen blir testad efter konstens alla regler och alla krav på modellkvalitet är uppfyllda. Resultatet visas i figuren till höger. Jag har anpassat modellen på de 200 första dagarna och testar modellen på de efterföljande dagarna. Det ser rätt bra ut, eller hur? Modellen förklarar 98% av variationen i aktiekursen och använder endast historiska priser. Hur kan det se så bra ut? Jo för när jag evaluerar den här modellen så använder jag en single step evaluering vilket betyder att jag alltid använder observerade data för att förutsäga nästa dag.

Så vad händer om jag vill förutsäga aktiekursen n dagar framåt? Då måste jag använda mina predikterade aktiekurser som indata till nästa prediktion. Hur går det då? Jo se grafen till höger.

Observera att detta är samma modell som ovan. Det ser ju inte alls lika bra ut. Varför? Jo för att jag har byggt en funktion som i genomsnitt gissar rätt. Dvs när jag inkluderar mina predikterade värden som indata så inkluderar jag ett fel. Nästa graf illustrerar vilka värden en aktiekurs, enligt modellen, kan anta. Detta bygger på ett 95% konfidensinterval. Här kan ni se att för en given dag är det rätt stora skillnader mellan högsta och minsta kurs. Titta tex på dag 110. Där ligger prediktionen mellan 35 och 45, vilket är en väsentlig skillnad när gårdagens kurs var 40! Vad blir det? 12,5% vinst eller 12,5% förlust? Tja modellen kan inte hjälpa dig där.
Hela min poäng idag


Hela min poäng idag har handlat om att även om vi kan göra fantastiska saker med statistiken så måste vi vara försiktiga. Denna modellen som jag byggde är bara ett exempel på hur illa det kan gå om man inte tänker sig för. Någon gång i framtiden när jag har mer tid går jag igenom en lite mer rimlig modell som man kan lita mer på.

Happy investing!

Saturday, April 16, 2011

Converting mkv to mp4 without reencoding

I use my Xbox for watching movies and listening to music, and it works really well. Unfortunately Xbox does not yet support the MKV video container format which means that I have a lot of cool movies that need converting. So I surfed the net to find a solution and of course, someone had written a script. I rewrote parts of it to suit my own needs. So here it is.

#!/bin/sh

# converts mkv to mp4
[ ! -r "$1" ] && echo "Error! Cannot read $1 !" && exit 1
#[ ! -x "./neroAacEnc" ] && echo "Error! neroAacEnc does not exist or is not executable!" && exit 1
bname=`basename $1`
dname=`dirname $1`
mkvinfo "$1" | grep -i track
echo "Which track is video? (generally 1 or 2)"
read vidtrack
echo "Which track is audio? (generally 1 or 2)"
read audtrack
echo "Which track is subtitles? (generally 3 or 4)"
read subtrack
echo "What is the video frames per second (fps)?"
read vidfps
mkvextract tracks $1 ${vidtrack}:video.h264 ${audtrack}:audio.ac3
#mkvextract tracks $1 ${vidtrack}:video.h264 ${audtrack}:audio.ac3 ${subtrack}:subtitles.srt
xxd -g4 video.h264 | sed '0,/RE/s/67640033/67640029/' | xxd -r > video2.h264
mv video2.h264 video.h264
mkfifo audiodump.wav
#neroAacEnc -ignorelength -q 0.20 -if audiodump.wav -of audio.m4a & mplayer audio.ac3 -vc null -vo null -ao pcm:fast
faac -q 0.20 -o audio.m4a audiodump.wav & mplayer audio.ac3 -vc null -vo null -ao pcm:fast
rm audiodump.wav
MP4Box -fps $vidfps -add video.h264 -add audio.m4a ${dname}/${bname}.mp4
rm audio.m4a audio.ac3 video.h264


Cheers,
Dr. Mike