#lost · 2010-01-04

682 Nachrichten · Seite 1 von 4 · Original-CSV herunterladen

  1. taljethNaja, map/unmap reicht ja für's erste
  2. SHyx0rmZAlso, wie gesagt:
  3. SHyx0rmZIch hab PFree / PAlloc / Map / UnMap, aber ich weiß nicht, wie ich das gescheit zu VAlloc / VFree kombinier
  4. SHyx0rmZwtf? task.cpp:44: Error: too many memory references for `mov'
  5. SHyx0rmZIst das so falsch? "movq -0x10(%%rbp), %0 \n"
  6. SHyx0rmZachso
  7. taljethNaja, für ein VAlloc brauchst du noch ein VFindFreePages, sonst fehlt nichts, oder?
  8. SHyx0rmZHm, was genau macht das?
  9. SHyx0rmZManchmal frag ich mich, ob ich noch doch lieber an meiner OpenGL Engine weiterschreiben sollte -.-
  10. SHyx0rmZich bin grad voll übern Haufen
  11. SHyx0rmZDas Multitasking ist jetzt auch voll kaputt
  12. SHyx0rmZAm besten lösch ich das alles nochma
  13. taljethSHyx0rmZ: Ein paar freie virtuelle Adressen suchen, wo du hinmappen kannst?
  14. taljethVAlloc ist doch letztendlich ein Map(PAlloc(), VFindFreePage())
  15. SHyx0rmZHm
  16. SHyx0rmZNe, das ist nicht das Problem, denk ich mal
  17. SHyx0rmZSchon wieder was, was man für jeden Prozess speichern muss
  18. SHyx0rmZIch werd hier echt bekloppt -.-
  19. taljeth SHyx0rmZ: Was fehlt dir denn sonst?
  20. SHyx0rmZIch brauch ein
  21. SHyx0rmZSplit(mappedBlock)
  22. SHyx0rmZOder soll ich für jedes new char 4 KiB verbraten?
  23. taljethVAlloc != malloc
  24. SHyx0rmZHm, ja, bei mir heißt das halt VAlloc, weil das mit dem virtuellen Speicher arbeitet ^^'
  25. taljethWenn genau dieses Ding bei dir mit Paging rummacht, wundert es mich nicht, dass du Probleme kriegst ;-)
  26. SHyx0rmZHm, wieso?
  27. SHyx0rmZIch brauch echt mal ne Anleitung vom PAlloc bis zum malloc -.- Aber sowas gibt's ja nicht, ich hab ja schon ewig gesucht
  28. mastamindSHyx0rmZ: hast du dir schon was überlegt zum pagemanagment?
  29. taljethmalloc ist eine komplexe Sache
  30. taljethPaging ist acuh eine komplexe Sachen
  31. SHyx0rmZIch hab jetzt schon fast 15 h über MM gelesen und verstehs immer noch nit
  32. taljethWenn du beides in einen Topf wirfst, wird es _zu_ komplex
  33. mastamindSHyx0rmZ: ich bin auch gerade dabei, was in der sache zu überlegen. deshalb interessiert mich, was du dir so vorgestellt hast.
  34. SHyx0rmZNehmen wir einfach mal an, dass das Paging funzt, das kann ich von kernel3 übernehmen
  35. SHyx0rmZAlso, bis jetzt funzt das Paging, hab halt noch kein MT
  36. mastamindich schreib halt mal, was ich mir denk, vielleicht antwortet einer. :-) also:
  37. taljethDir fehlt also nur das malloc?
  38. SHyx0rmZIm Endeffekt schon
  39. taljethEin einfaches malloc ist in der Theorie ziemlich einfach
  40. taljethIn der Praxis macht man wahrscheinlich trotzdem irgendwelche Kleinigkeiten falsch ;-)
  41. taljethDie Idee ist halt, dass du die ersten paar Bytes von jedem freien Block als Header nimmst, der die Größe und einen Pointer auf den nächsten freien Block enthält
  42. taljethAlso einfach eine Freispeicherliste
  43. taljethBeim malloc gehst du solang durch, bis mal ein Block groß genug ist
  44. SHyx0rmZJo, aber dann ist ja das Problem, wenn ich mehr als BlockSize-HeaderSize haben will
  45. taljethBeim free hängst du einfach vorne in die Liste ein
  46. taljethDu kannst keine zwei aufeinanderfolgenden Pages reservieren?
  47. JanDinggibts in qemu nicht einen geheimen i/o-port, auf den ich schreiben kann, und der dann auf die hostconsole umgeleitet wird?
  48. taljethDas ist dann wieder ein Problem in deinem Pagingcode
  49. taljethJanDing: Serielle Schnittstelle?
  50. mastamindJanDing: das ist bochs.
  51. taljethUnd dann halt -serial stdio
  52. JanDinghm will der nicht
  53. JanDingist ihm zu groß
  54. SHyx0rmZtaljeth, Hm, dann müsste ich halt while(<rsize) (map(block++, palloc()))
  55. taljethJanDing: Zu groß?
  56. mastamindes gibt eine klasse memory::manager. sie ist ein template. der template parameter soll eine struct werden. die structs sollte möglichst klein sein. 4 byte. pro page wird so eine 4 byte große struct gespeichert, die angibt, welchen zweck die page hat. das template deshalb, damit man für zwei arten speicher verwalten kann: virtuellen raum und physischen. der memory manager für den physischen raum hat pro page dann zb die info
  57. taljethSHyx0rmZ: Du musst halt genug freie virtuelle Seiten hintereinander finden, ansonsten ja
  58. SHyx0rmZIch kann eigentlich mit den virtuellen Adressen immer bis anch hinten weiterlaufen
  59. SHyx0rmZHab da nämlich erstmal 128 TiB Platz
  60. mastamindin der struct steht dann drin, von welchen type die page ist. abhängig vom typ stehen andere infos drin. bei mmio zb der eine zahl, die auf den treiber bzw. die hardware deutet. bei prozessen die pid usw.
  61. taljethSHyx0rmZ: Na ja... *g*
  62. SHyx0rmZTjo, der Luxus der 64 Bit D:
  63. JanDingtaljeth: naja diese komische meldung mit "result too large": http://pastebin.com/d4943029e
  64. JanDingich schau mich mal in den sourcen um
  65. mastaminddamit man das nicht für alle pages braucht, sondern nur für eine minimale anzahl, wird das auch hierarchisch verwaltet wie bei den pages tables selbst. man hat zb 4 einträge für die 4 gib. jeder eintrag kann entweder dann den typ angeben und damit das ganze gib beschreiben, oder auch auf recursive gestellt werden, was angibt, dass man eine eben tiefer muss, da das gib nicht komplett einem typ entspricht.
  66. SHyx0rmZHm, das bringt mich vielleicht auf eine Idee
  67. SHyx0rmZObwohl... Eigentlich auch nicht, das macht nur wieder probleme
  68. JanDingaaah -serial con: gibt schon mal keinen fehler ... steht nur nix drauf^^
  69. JanDingah doch^^
  70. mastaminddas template wird verwendet, damit man mit der gleichen klasse auch den virtuellen adressraum eines prozesses verwalten kann. die klasse wird dann von allen höheren apis verwendet, die speicher brauchen. das sind malloc aber auch das erstellen eines neuen speicherbereichs pro thread oder shared memory.
  71. mastamindmmap soll das dann auch verwenden.
  72. JanDingwas für funktionen hat das template genau? z.b. alloc_pages(count)?
  73. mastaminddiese und das freigeben natürlich.
  74. mastamindmehr sollte die klasse nicht können. das mappen selbst macht dann eine andere klasse bzw eine funktion. die ist dann architekturabhängig.
  75. mastamindes gibt eine zweite funktion zum allokieren. bei ihr gibt man den bereich direkt an. er wird nicht gesucht.
  76. mastamindfür mmio zb. aber auch für den heap im virtuellen adressraum des prozesses. der heap beginnt bei adresse 0 und reicht zu einer beim start definierten adresse. später dann kann das erweitert werden. die klasse, die den heap verwaltet, bekommt eine refrenz auf die memory manager instanz des prozesses und kann sich damit (sofern speicher vorhanden ist) weiteren holen. der heap wächst nach oben.
  77. mastamindnur der heap bekommt eine fixe adresse. alle anderen werden dynamisch vergeben. dazu wird der speicher von ganz oben abgezogen. zb für die stacks neuer threads.
  78. mastamindoder auch mmio, der in den adressraum eines prozesses gemappt werden muss oder shared memory.
  79. JanDingich weiß nicht, ob da ein template so sinnvoll ist
  80. mastamindin den structs für freie pages oder page bereiche kann man dann eine linked list einbauen. genügend bits sollten dafür noch vorhanden sein. man kann auch eine bessere struktur finden. das muss ich mir noch überlegen.
  81. mastamindtemplate ist nur eine idee. der vorteil ist, dass die klasse damit wiederverwendet werden könnte. der algorithmus zum finden eines freien pagebereiches bleibt aber in der klasse.
  82. mastamindnaja. sind alles nur ideen. umgesetzt ist davon noch nichts. ist aber zumindest das nächste, was ich bei mir tun muss. :-)
  83. JanDingich hab mir auch mal sowas überlegt, aber ich glaube die anfragen an den physischen speicherverwalter sind anders geartet als die an den virtuellen
  84. JanDingdu brauchst ja meistens nur eine x-beliebige seite im physischen adressraum
  85. JanDingwenn du mehrere brauchst schadet es meistens auch nicht, wenn du mehrmals fragen musst, weil der speicher fragmentiert ist
  86. mastamindes gibt bei beiden gebieten beides. *g*
  87. taljethWozu bräuchte man denn eine bestimmte virtuelle Adresse?
  88. mastamindmmio
  89. mastamindasop
  90. mastamindsorry
  91. mastamindbei physikalischem is es mmio. bei virtuellen das wachsen des heap von unten nach oben.
  92. mastamindden heap zu fragmentieren ist vielleicht keine so gute idee.
  93. taljethAch so, du hast dieses Konzept vom Heap am Stück
  94. JanDingfür so ein brk/sbrk brauchst du keine so komplexe funktion
  95. JanDing-funktion +klasse
  96. taljethJo, da gibt es nichts zu suchen
  97. taljethEntweder es geht größer oder halt nicht
  98. mastamindes gibt eben beides.
  99. mastamindfixe adresse oder dynamisch gefunden.
  100. mastamindund das bei virtuellem wie auch physischem adressraum.
  101. mastamindzumindest halt bisher. wie gesagt, es sind alles nur ideen.
  102. taljethNaja, wenn du das so machen willst, kannst du das ja tun ;-)
  103. mastamindwie machst du es?
  104. taljethWenn jemand Pages will, fragt er nach Pages und die kriegt er irgendwohin
  105. JanDingsbrk ist praktisch zum bootstrappen, aber wenn man sich damit einmal die module und multibootinfo übergebügelt hat lässt man es auch wieder
  106. mastamindtaljeth: das ist bei mir nicht anders. den heap für malloc aber will ich nicht fragmentieren.
  107. taljethDas ist der Unterschied
  108. JanDingman kann sich natürlich einen eigenen bootloader schreiben, der sich deterministisch verhält xD
  109. taljethmalloc ist bei mir auch einfach nur jemand
  110. taljethWenn da ein paar Bytes Verschnitt anfallen, who cares?
  111. mastamindhmm der virtuelle adressraum wird auch bei mir nur vom programm verwaltet.
  112. mastamindtaljeth: wie funktioniert dein malloc?
  113. mastamindwie verwaltest du vor allem die ganzen fragmente?
  114. taljethWeiß ich nicht im Detail, das ist eine fertige Bibliothek von irgendwoher kopiert. ;-)
  115. taljethWird ame Ende auch eine Freispeicherliste benutzen.
  116. mastamindah hmm. ok
  117. taljethJo, sieht einfach nach einer "verschachtelten" Liste aus. Einmal die Liste aller Bereiche die es vom OS angefordert hat (jeweils mindestens 64k) und jeder davon enthält eine klassische Freispeicherliste
  118. taljethDoppelt verkettet, wenn du es genau wissen willst ;-)
  119. mastaminddas nehme ich an.
  120. mastaminddamit man leichter was freigeben kann.
  121. taljethAus einer Freispeicherliste löschst du nur was, wenn du sie grad durchsucht hast
  122. taljethNämlich um freien Speicher zu finden, denn du allozieren kannst
  123. taljethAlso kennst du da theoretisch auch das Vorgängerelement
  124. mastamindist wohl kein dogma, das so zumachen, oder? *g+
  125. taljethAber ich glaube liballoc macht da auch eine "Belegtliste" und da ist es wieder sinnvoll
  126. taljethmastamind: Wie willst du es sonst machen?
  127. taljethPer Zufallsgenerator eine freie Speicherstelle raten und dort mal nachschauen? ;-)
  128. SHyx0rmZHm, vielleicht hab ich grad ein Tutorial gefunden, das ich doch noch verstehe :D
  129. mastamindhmm. ich hab mal sowas implementiert in früheren jahren. da lief das so:
  130. JanDingkurzer c-test: wann läuft diese schleife amok? for (j = num - 1; j >= i; j--) arr[j + 1] = a[j];
  131. JanDingtip: num = 1, i = 0
  132. JanDingich glaub ohne den tip ist es schwer drauf zu kommen
  133. taljethDatentypen?
  134. mastamindam beginn ist nichts allokiert. es gibt einen speicherbereich mit start und größe, der verwendet werden. kann. kommt ein auftrag zum allokieren herein, wird der speicher verwendet. es wird einfach die adresse des speichers erhöht und der teil davor zurcükgegeben. jeder an das programm zurückgegebene bereich hat einen kleinen header. der befindet sich an adresse -4, wenn malloc "adresse" zurückgibt.
  135. JanDingkeine gegenfrage stellen!
  136. JanDingaber ja datentypen
  137. taljeth*g*
  138. mastamindin diesem bereich steht die größe des speicherbereichs und dass er vergeben ist. außerdem steht drin, dass er der erste ist.
  139. mastaminddann wird halt allokiert und es entstehen mehrer solche stücke.
  140. mastamindalle mit header.
  141. taljethJanDing: Darauf hätte ich aber auch ohne den Tip getippt. Oder so.
  142. JanDinghehe
  143. mastamindbei allen anderen wird aber angegeben, dass der vorherige speicherereich vergeben ist, wenn er das ist. ist er das nicht, steht drin, dass er frei ist. ein bit reicht dazu.
  144. mastamindwird nunr ein speicherbereich freigegeben, so wird geprüft, ob der speicher davor bzw der danach frei sind.
  145. mastamindsind sie es, so werden sie zu einem neuen großen stück zusammengenommen.
  146. taljethJo, das sind dann Optimierungen. Kann man natürlich machen, wenn man seinem Code genug vertraut ;-)
  147. mastamindund diese stück wird in eine sortierte liste eingefügt. die liste ist etwas komplexer.
  148. taljethWirklich gebraucht wird nur die Größe
  149. JanDingsooo ... ich hab die schleife jetzt umgeschrieben, dass sie 5 bytes kürzer ist
  150. mastamindum das suchen nach einem passenden stück zu beschleunigen wird die liste optimiert.
  151. taljethJanDing: Leerzeichen zwischen den Operatoren raus? ;-)
  152. JanDingwobei int statt unsigned int schreiben hätte 9 bytes rausgeholt
  153. JanDingdas wäre auch noch eine denkbare optimierung
  154. mastamindtaljeth: eh. jedenfalls klappt das ganz gut.
  155. JanDingweil es kommt heute beim rapid development und agile programming auch auf die kompilierzeiten an
  156. taljethmastamind: Dann mach's doch so
  157. taljethKlingt nicht kaputt, falls das die Information ist, die du haben willstest
  158. taljeth-i+o
  159. JanDingjop wars.
  160. mastamindja eh. hmm ich würd nur eben gern meinungen dazu hören. :-)
  161. JanDingsed s/ // oder wie geht das?
  162. SHyx0rmZIch geh mal ins Bett für heut, dann muss ich mich nicht abärgern und kann mir was tolles überlegen, wie es doch gehen könnte
  163. SHyx0rmZgn64 o/
  164. taljethmastamind: Passt soweit, würde ich sagen
  165. JanDingSHyx0rmZ: /8
  166. mastamindzur suche hab ich an eine skip liste gedacht. man müsste die auch so hinbringen, dass sie perfekt ausgeglichen ist. ohne zufall. der vroteil ist, dass sie recht schnell die möglichkeit bietet, den nächstgrößeren speicher in O(1) zu finden.
  167. taljethIch geh auch
  168. taljethgn8
  169. JanDinggn8
  170. mastaminddas braucht man möglicherweise für die richtige ausrichtung.
  171. mastamindgute nacht.
  172. JanDingwas heißt "den nächstgrößeren speicher" finden? größer als was?
  173. mastamindals das, was man angefordert hat.
  174. mastamindein programm fordert 56 bytes an, die an einer bestimmte adresse ausgerichtet sein sollen. zb 16 byte.
  175. mastamindsich ich nur nach 56 byte, so kann ich zu einem passenden stück kommen, das aber falsch ausgerichtet ist. würde man es ausrichten, würd es aber vielleicht nicht mehr groß genug sein.
  176. mastaminddeshalb muss man unter umständen das passende stück suchen. eine besser lösung dafür ist mir noch nicht eingefallen.
  177. mastamindich bin für vorschläge offen. :-))
  178. JanDingich glaube ein programm fordert nicht x-beliebige alignments an. die cpu gibt ja die alignments vor
  179. JanDingmeistens registergröße
  180. mastamindjein.
  181. mastamindes gibt für verschiedene datentypen verschiedene alignments.
  182. JanDingund wenn dein allokator ein alignment nicht bedienen kann, dann macht der return align( malloc(size + alignment) , alignment)
  183. mastamindzb für double sollte man 8 byte nehmen und nicht 4. die gdt sollte auch an 16 byte ausgerichtet sein.
  184. JanDingjo dann machste 16 byte als standardalignment und fertig
  185. mastamindkönnte man machen.
  186. mastamindwas natürlich nicht mehr klappt, wenn man zb auf cache lines ausrichten will.
  187. JanDinghm ich weiß jetzt nicht, was für objekte man auf cachelines ausrichtet. ist das nicht eher so, dass man da versucht große datenmengen konfliktfrei im cache zu halten?
  188. mastaminddaten, von denen du weißt, dass du sie bald brauchst.
  189. mastamindes macht sinn, die so auszurichten, dass alle in eine cache line passen.
  190. JanDinges gibt da doch so coloring verfahren. static int color; void *cache_nice_alloc() { color = (color + 16) % CACHE_SIZE; return malloc(size + sizeof(struct foo)) + color }
  191. JanDingso ungefähr stell ich mir das vor^^
  192. JanDingwobei size = n * sizeof (struct foo);
  193. JanDingalso jedes malloc etwas verschieben. oder verwechsel ich das mit page coloring?
  194. JanDingich glaube das tu ich^^
  195. JanDingdie funktion ist auch irre, wa?^^
  196. JanDinghm also zurück zum thema^^
  197. mastamindhmm das kenn ich nicht. sorry.
  198. JanDingjoar hab ich auch nur in irgendeinem paper aufgeschnappt
  199. JanDingbin experte für nix
  200. JanDingalle daten in eine cache line ... ich weiß nicht ob das die aufgabe das allokators ist