#lost · 2010-01-04
682 Nachrichten · Seite 1 von 4 · Original-CSV herunterladen
- taljethNaja, map/unmap reicht ja für's erste
- SHyx0rmZAlso, wie gesagt:
- SHyx0rmZIch hab PFree / PAlloc / Map / UnMap, aber ich weiß nicht, wie ich das gescheit zu VAlloc / VFree kombinier
- SHyx0rmZwtf? task.cpp:44: Error: too many memory references for `mov'
- SHyx0rmZIst das so falsch? "movq -0x10(%%rbp), %0 \n"
- SHyx0rmZachso
- taljethNaja, für ein VAlloc brauchst du noch ein VFindFreePages, sonst fehlt nichts, oder?
- SHyx0rmZHm, was genau macht das?
- SHyx0rmZManchmal frag ich mich, ob ich noch doch lieber an meiner OpenGL Engine weiterschreiben sollte -.-
- SHyx0rmZich bin grad voll übern Haufen
- SHyx0rmZDas Multitasking ist jetzt auch voll kaputt
- SHyx0rmZAm besten lösch ich das alles nochma
- taljethSHyx0rmZ: Ein paar freie virtuelle Adressen suchen, wo du hinmappen kannst?
- taljethVAlloc ist doch letztendlich ein Map(PAlloc(), VFindFreePage())
- SHyx0rmZHm
- SHyx0rmZNe, das ist nicht das Problem, denk ich mal
- SHyx0rmZSchon wieder was, was man für jeden Prozess speichern muss
- SHyx0rmZIch werd hier echt bekloppt -.-
- taljeth SHyx0rmZ: Was fehlt dir denn sonst?
- SHyx0rmZIch brauch ein
- SHyx0rmZSplit(mappedBlock)
- SHyx0rmZOder soll ich für jedes new char 4 KiB verbraten?
- taljethVAlloc != malloc
- SHyx0rmZHm, ja, bei mir heißt das halt VAlloc, weil das mit dem virtuellen Speicher arbeitet ^^'
- taljethWenn genau dieses Ding bei dir mit Paging rummacht, wundert es mich nicht, dass du Probleme kriegst ;-)
- SHyx0rmZHm, wieso?
- SHyx0rmZIch brauch echt mal ne Anleitung vom PAlloc bis zum malloc -.- Aber sowas gibt's ja nicht, ich hab ja schon ewig gesucht
- mastamindSHyx0rmZ: hast du dir schon was überlegt zum pagemanagment?
- taljethmalloc ist eine komplexe Sache
- taljethPaging ist acuh eine komplexe Sachen
- SHyx0rmZIch hab jetzt schon fast 15 h über MM gelesen und verstehs immer noch nit
- taljethWenn du beides in einen Topf wirfst, wird es _zu_ komplex
- mastamindSHyx0rmZ: ich bin auch gerade dabei, was in der sache zu überlegen. deshalb interessiert mich, was du dir so vorgestellt hast.
- SHyx0rmZNehmen wir einfach mal an, dass das Paging funzt, das kann ich von kernel3 übernehmen
- SHyx0rmZAlso, bis jetzt funzt das Paging, hab halt noch kein MT
- mastamindich schreib halt mal, was ich mir denk, vielleicht antwortet einer. :-) also:
- taljethDir fehlt also nur das malloc?
- SHyx0rmZIm Endeffekt schon
- taljethEin einfaches malloc ist in der Theorie ziemlich einfach
- taljethIn der Praxis macht man wahrscheinlich trotzdem irgendwelche Kleinigkeiten falsch ;-)
- taljethDie Idee ist halt, dass du die ersten paar Bytes von jedem freien Block als Header nimmst, der die Größe und einen Pointer auf den nächsten freien Block enthält
- taljethAlso einfach eine Freispeicherliste
- taljethBeim malloc gehst du solang durch, bis mal ein Block groß genug ist
- SHyx0rmZJo, aber dann ist ja das Problem, wenn ich mehr als BlockSize-HeaderSize haben will
- taljethBeim free hängst du einfach vorne in die Liste ein
- taljethDu kannst keine zwei aufeinanderfolgenden Pages reservieren?
- JanDinggibts in qemu nicht einen geheimen i/o-port, auf den ich schreiben kann, und der dann auf die hostconsole umgeleitet wird?
- taljethDas ist dann wieder ein Problem in deinem Pagingcode
- taljethJanDing: Serielle Schnittstelle?
- mastamindJanDing: das ist bochs.
- taljethUnd dann halt -serial stdio
- JanDinghm will der nicht
- JanDingist ihm zu groß
- SHyx0rmZtaljeth, Hm, dann müsste ich halt while(<rsize) (map(block++, palloc()))
- taljethJanDing: Zu groß?
- mastamindes gibt eine klasse memory::manager. sie ist ein template. der template parameter soll eine struct werden. die structs sollte möglichst klein sein. 4 byte. pro page wird so eine 4 byte große struct gespeichert, die angibt, welchen zweck die page hat. das template deshalb, damit man für zwei arten speicher verwalten kann: virtuellen raum und physischen. der memory manager für den physischen raum hat pro page dann zb die info
- taljethSHyx0rmZ: Du musst halt genug freie virtuelle Seiten hintereinander finden, ansonsten ja
- SHyx0rmZIch kann eigentlich mit den virtuellen Adressen immer bis anch hinten weiterlaufen
- SHyx0rmZHab da nämlich erstmal 128 TiB Platz
- mastamindin der struct steht dann drin, von welchen type die page ist. abhängig vom typ stehen andere infos drin. bei mmio zb der eine zahl, die auf den treiber bzw. die hardware deutet. bei prozessen die pid usw.
- taljethSHyx0rmZ: Na ja... *g*
- SHyx0rmZTjo, der Luxus der 64 Bit D:
- JanDingtaljeth: naja diese komische meldung mit "result too large": http://pastebin.com/d4943029e
- JanDingich schau mich mal in den sourcen um
- mastaminddamit man das nicht für alle pages braucht, sondern nur für eine minimale anzahl, wird das auch hierarchisch verwaltet wie bei den pages tables selbst. man hat zb 4 einträge für die 4 gib. jeder eintrag kann entweder dann den typ angeben und damit das ganze gib beschreiben, oder auch auf recursive gestellt werden, was angibt, dass man eine eben tiefer muss, da das gib nicht komplett einem typ entspricht.
- SHyx0rmZHm, das bringt mich vielleicht auf eine Idee
- SHyx0rmZObwohl... Eigentlich auch nicht, das macht nur wieder probleme
- JanDingaaah -serial con: gibt schon mal keinen fehler ... steht nur nix drauf^^
- JanDingah doch^^
- mastaminddas template wird verwendet, damit man mit der gleichen klasse auch den virtuellen adressraum eines prozesses verwalten kann. die klasse wird dann von allen höheren apis verwendet, die speicher brauchen. das sind malloc aber auch das erstellen eines neuen speicherbereichs pro thread oder shared memory.
- mastamindmmap soll das dann auch verwenden.
- JanDingwas für funktionen hat das template genau? z.b. alloc_pages(count)?
- mastaminddiese und das freigeben natürlich.
- mastamindmehr sollte die klasse nicht können. das mappen selbst macht dann eine andere klasse bzw eine funktion. die ist dann architekturabhängig.
- mastamindes gibt eine zweite funktion zum allokieren. bei ihr gibt man den bereich direkt an. er wird nicht gesucht.
- mastamindfür mmio zb. aber auch für den heap im virtuellen adressraum des prozesses. der heap beginnt bei adresse 0 und reicht zu einer beim start definierten adresse. später dann kann das erweitert werden. die klasse, die den heap verwaltet, bekommt eine refrenz auf die memory manager instanz des prozesses und kann sich damit (sofern speicher vorhanden ist) weiteren holen. der heap wächst nach oben.
- mastamindnur der heap bekommt eine fixe adresse. alle anderen werden dynamisch vergeben. dazu wird der speicher von ganz oben abgezogen. zb für die stacks neuer threads.
- mastamindoder auch mmio, der in den adressraum eines prozesses gemappt werden muss oder shared memory.
- JanDingich weiß nicht, ob da ein template so sinnvoll ist
- mastamindin den structs für freie pages oder page bereiche kann man dann eine linked list einbauen. genügend bits sollten dafür noch vorhanden sein. man kann auch eine bessere struktur finden. das muss ich mir noch überlegen.
- mastamindtemplate ist nur eine idee. der vorteil ist, dass die klasse damit wiederverwendet werden könnte. der algorithmus zum finden eines freien pagebereiches bleibt aber in der klasse.
- mastamindnaja. sind alles nur ideen. umgesetzt ist davon noch nichts. ist aber zumindest das nächste, was ich bei mir tun muss. :-)
- JanDingich hab mir auch mal sowas überlegt, aber ich glaube die anfragen an den physischen speicherverwalter sind anders geartet als die an den virtuellen
- JanDingdu brauchst ja meistens nur eine x-beliebige seite im physischen adressraum
- JanDingwenn du mehrere brauchst schadet es meistens auch nicht, wenn du mehrmals fragen musst, weil der speicher fragmentiert ist
- mastamindes gibt bei beiden gebieten beides. *g*
- taljethWozu bräuchte man denn eine bestimmte virtuelle Adresse?
- mastamindmmio
- mastamindasop
- mastamindsorry
- mastamindbei physikalischem is es mmio. bei virtuellen das wachsen des heap von unten nach oben.
- mastamindden heap zu fragmentieren ist vielleicht keine so gute idee.
- taljethAch so, du hast dieses Konzept vom Heap am Stück
- JanDingfür so ein brk/sbrk brauchst du keine so komplexe funktion
- JanDing-funktion +klasse
- taljethJo, da gibt es nichts zu suchen
- taljethEntweder es geht größer oder halt nicht
- mastamindes gibt eben beides.
- mastamindfixe adresse oder dynamisch gefunden.
- mastamindund das bei virtuellem wie auch physischem adressraum.
- mastamindzumindest halt bisher. wie gesagt, es sind alles nur ideen.
- taljethNaja, wenn du das so machen willst, kannst du das ja tun ;-)
- mastamindwie machst du es?
- taljethWenn jemand Pages will, fragt er nach Pages und die kriegt er irgendwohin
- JanDingsbrk ist praktisch zum bootstrappen, aber wenn man sich damit einmal die module und multibootinfo übergebügelt hat lässt man es auch wieder
- mastamindtaljeth: das ist bei mir nicht anders. den heap für malloc aber will ich nicht fragmentieren.
- taljethDas ist der Unterschied
- JanDingman kann sich natürlich einen eigenen bootloader schreiben, der sich deterministisch verhält xD
- taljethmalloc ist bei mir auch einfach nur jemand
- taljethWenn da ein paar Bytes Verschnitt anfallen, who cares?
- mastamindhmm der virtuelle adressraum wird auch bei mir nur vom programm verwaltet.
- mastamindtaljeth: wie funktioniert dein malloc?
- mastamindwie verwaltest du vor allem die ganzen fragmente?
- taljethWeiß ich nicht im Detail, das ist eine fertige Bibliothek von irgendwoher kopiert. ;-)
- taljethWird ame Ende auch eine Freispeicherliste benutzen.
- mastamindah hmm. ok
- taljethJo, sieht einfach nach einer "verschachtelten" Liste aus. Einmal die Liste aller Bereiche die es vom OS angefordert hat (jeweils mindestens 64k) und jeder davon enthält eine klassische Freispeicherliste
- taljethDoppelt verkettet, wenn du es genau wissen willst ;-)
- mastaminddas nehme ich an.
- mastaminddamit man leichter was freigeben kann.
- taljethAus einer Freispeicherliste löschst du nur was, wenn du sie grad durchsucht hast
- taljethNämlich um freien Speicher zu finden, denn du allozieren kannst
- taljethAlso kennst du da theoretisch auch das Vorgängerelement
- mastamindist wohl kein dogma, das so zumachen, oder? *g+
- taljethAber ich glaube liballoc macht da auch eine "Belegtliste" und da ist es wieder sinnvoll
- taljethmastamind: Wie willst du es sonst machen?
- taljethPer Zufallsgenerator eine freie Speicherstelle raten und dort mal nachschauen? ;-)
- SHyx0rmZHm, vielleicht hab ich grad ein Tutorial gefunden, das ich doch noch verstehe :D
- mastamindhmm. ich hab mal sowas implementiert in früheren jahren. da lief das so:
- JanDingkurzer c-test: wann läuft diese schleife amok? for (j = num - 1; j >= i; j--) arr[j + 1] = a[j];
- JanDingtip: num = 1, i = 0
- JanDingich glaub ohne den tip ist es schwer drauf zu kommen
- taljethDatentypen?
- mastamindam beginn ist nichts allokiert. es gibt einen speicherbereich mit start und größe, der verwendet werden. kann. kommt ein auftrag zum allokieren herein, wird der speicher verwendet. es wird einfach die adresse des speichers erhöht und der teil davor zurcükgegeben. jeder an das programm zurückgegebene bereich hat einen kleinen header. der befindet sich an adresse -4, wenn malloc "adresse" zurückgibt.
- JanDingkeine gegenfrage stellen!
- JanDingaber ja datentypen
- taljeth*g*
- mastamindin diesem bereich steht die größe des speicherbereichs und dass er vergeben ist. außerdem steht drin, dass er der erste ist.
- mastaminddann wird halt allokiert und es entstehen mehrer solche stücke.
- mastamindalle mit header.
- taljethJanDing: Darauf hätte ich aber auch ohne den Tip getippt. Oder so.
- JanDinghehe
- mastamindbei allen anderen wird aber angegeben, dass der vorherige speicherereich vergeben ist, wenn er das ist. ist er das nicht, steht drin, dass er frei ist. ein bit reicht dazu.
- mastamindwird nunr ein speicherbereich freigegeben, so wird geprüft, ob der speicher davor bzw der danach frei sind.
- mastamindsind sie es, so werden sie zu einem neuen großen stück zusammengenommen.
- taljethJo, das sind dann Optimierungen. Kann man natürlich machen, wenn man seinem Code genug vertraut ;-)
- mastamindund diese stück wird in eine sortierte liste eingefügt. die liste ist etwas komplexer.
- taljethWirklich gebraucht wird nur die Größe
- JanDingsooo ... ich hab die schleife jetzt umgeschrieben, dass sie 5 bytes kürzer ist
- mastamindum das suchen nach einem passenden stück zu beschleunigen wird die liste optimiert.
- taljethJanDing: Leerzeichen zwischen den Operatoren raus? ;-)
- JanDingwobei int statt unsigned int schreiben hätte 9 bytes rausgeholt
- JanDingdas wäre auch noch eine denkbare optimierung
- mastamindtaljeth: eh. jedenfalls klappt das ganz gut.
- JanDingweil es kommt heute beim rapid development und agile programming auch auf die kompilierzeiten an
- taljethmastamind: Dann mach's doch so
- taljethKlingt nicht kaputt, falls das die Information ist, die du haben willstest
- taljeth-i+o
- JanDingjop wars.
- mastamindja eh. hmm ich würd nur eben gern meinungen dazu hören. :-)
- JanDingsed s/ // oder wie geht das?
- SHyx0rmZIch geh mal ins Bett für heut, dann muss ich mich nicht abärgern und kann mir was tolles überlegen, wie es doch gehen könnte
- SHyx0rmZgn64 o/
- taljethmastamind: Passt soweit, würde ich sagen
- JanDingSHyx0rmZ: /8
- mastamindzur suche hab ich an eine skip liste gedacht. man müsste die auch so hinbringen, dass sie perfekt ausgeglichen ist. ohne zufall. der vroteil ist, dass sie recht schnell die möglichkeit bietet, den nächstgrößeren speicher in O(1) zu finden.
- taljethIch geh auch
- taljethgn8
- JanDinggn8
- mastaminddas braucht man möglicherweise für die richtige ausrichtung.
- mastamindgute nacht.
- JanDingwas heißt "den nächstgrößeren speicher" finden? größer als was?
- mastamindals das, was man angefordert hat.
- mastamindein programm fordert 56 bytes an, die an einer bestimmte adresse ausgerichtet sein sollen. zb 16 byte.
- mastamindsich ich nur nach 56 byte, so kann ich zu einem passenden stück kommen, das aber falsch ausgerichtet ist. würde man es ausrichten, würd es aber vielleicht nicht mehr groß genug sein.
- mastaminddeshalb muss man unter umständen das passende stück suchen. eine besser lösung dafür ist mir noch nicht eingefallen.
- mastamindich bin für vorschläge offen. :-))
- JanDingich glaube ein programm fordert nicht x-beliebige alignments an. die cpu gibt ja die alignments vor
- JanDingmeistens registergröße
- mastamindjein.
- mastamindes gibt für verschiedene datentypen verschiedene alignments.
- JanDingund wenn dein allokator ein alignment nicht bedienen kann, dann macht der return align( malloc(size + alignment) , alignment)
- mastamindzb für double sollte man 8 byte nehmen und nicht 4. die gdt sollte auch an 16 byte ausgerichtet sein.
- JanDingjo dann machste 16 byte als standardalignment und fertig
- mastamindkönnte man machen.
- mastamindwas natürlich nicht mehr klappt, wenn man zb auf cache lines ausrichten will.
- JanDinghm ich weiß jetzt nicht, was für objekte man auf cachelines ausrichtet. ist das nicht eher so, dass man da versucht große datenmengen konfliktfrei im cache zu halten?
- mastaminddaten, von denen du weißt, dass du sie bald brauchst.
- mastamindes macht sinn, die so auszurichten, dass alle in eine cache line passen.
- JanDinges gibt da doch so coloring verfahren. static int color; void *cache_nice_alloc() { color = (color + 16) % CACHE_SIZE; return malloc(size + sizeof(struct foo)) + color }
- JanDingso ungefähr stell ich mir das vor^^
- JanDingwobei size = n * sizeof (struct foo);
- JanDingalso jedes malloc etwas verschieben. oder verwechsel ich das mit page coloring?
- JanDingich glaube das tu ich^^
- JanDingdie funktion ist auch irre, wa?^^
- JanDinghm also zurück zum thema^^
- mastamindhmm das kenn ich nicht. sorry.
- JanDingjoar hab ich auch nur in irgendeinem paper aufgeschnappt
- JanDingbin experte für nix
- JanDingalle daten in eine cache line ... ich weiß nicht ob das die aufgabe das allokators ist