#lost · 2017-02-18

382 Nachrichten · Seite 1 von 2 · Original-CSV herunterladen

  1. mgottschlagnaja, oder alternativ ist es evtl garnicht schlimm, wenn der Empfänger schreiben kann... er kann ja maximal Informationen vernichten, die für ihn selbst bestimmt waren
  2. Svenskaich find pipes praktisch
  3. Godwinees sei denn man macht pipes mit mehreren enden
  4. mgottschlagam besten enthält der gemeinsame Speicher aber auch Lese-/Schreibpointer des Ringpuffers, dann reicht zur Synchronisation ein quasi "Wakeup-Interrupt" ohne Inhalt, dann spart man sich die Queues im Messaging-System :)
  5. Svenskakann man semantisch sinnvoll definieren
  6. mgottschlagGodwine: ok, stimmt
  7. mgottschlagich fürchte, ich bin zu sehr im L4-Umfeld aufgewachsen, um Pipes als grundsätzlich sinnvoll zu erachten :)
  8. Godwinepipes sind für mich im grunde message queues für einzelne zeichen
  9. Godwineund ohne header
  10. mgottschlagund Message Queues lassen sich genauso durch Shared Memory und einen Notification-Mechanismus implementieren
  11. Svenskamgottschlag: erklär mal?
  12. Svenskashared memory impliziert cache-kohärenz und so dinge, damit das sinnvoll funktioniert
  13. mgottschlagaußer wenn mehrere Prozesse gleichzeitig lesen (oder gleichzeitig schreiben) wollen, dann ist ein dritter Prozess sinnvoll
  14. Svenskapipes kann man auf shmem implementieren, aber muss es nicht; und sie haben keine timing-abhängigkeiten zum rest des systems
  15. mgottschlagja, außerhalb der Forschung sind Rechner Cache-kohärent :p
  16. Svenska...aua.
  17. Svenska:(
  18. mgottschlagokay, Gegenbeispiel? :)
  19. Svenskaich nenn's mal treffer/versenkt
  20. mgottschlagdas ist natürlich was, was in 10 Jahren vermutlich anders aussehen wird
  21. Godwineich hab aber ein paar konzepte von corey gelesen, einem exokernel der praktisch einen kernel pro cpu kern hat und alle objekte die auf mehr als einem kern sichtbar sein sollen müssen explizit geteilt werden
  22. Godwinedas ganze verbessert die skalierbarkeit und reduziert die notwendigkeit von tlb shootdowns und ändern von mappings für objekte die das nicht brauchen
  23. mgottschlagSvenska: wobei, ich merke gerade, ich hab letztens auch was gelesen (Titel "Scale-out Processors"), wo es um Kohärenzinseln ging, und das klang eigentlich recht praxisnah für aktuelle Allzweckrechner
  24. mgottschlagalso, praxisnah im Sinne von "könnte man mit aktueller Software benutzen"
  25. Svenskanaja, sowas hast du ja jetzt schon im big/little-konzept
  26. mgottschlagnaja, die sind untereinander kohärent
  27. Svenskasind sie? die, mit denen die linuxer am anfang spaß hatten, waren es nicht
  28. Svenskazumindest nicht, was memory mapping und so angeht, und da vermute ich mal, fehlte die kohärenz ganz
  29. Svenskaauch kommunikation mit quasi-beliebigen beschleunigern ist nicht kohärenz
  30. Svenska*kohärent
  31. Svenskazumindest nicht zwingend
  32. mgottschlagalso die üblichen ARM-Hexa-/Octacores sind über irgendein Cache-Kohärenzprotokoll miteinander verbunden
  33. mgottschlagund klar, sobald man auf PCIe raus geht ist die Cachekohärenz aus Performancegründen recht schnell Geschichte, und wenn man da dann ein gemeinsames System virtuell anbieten will, macht eine entsprechende Abstraktion Sinn
  34. Svenskadas sind normale multicores
  35. Svenskaich meinte eher ein system von (TI? kA), wo du cortex-a und cortex-m gemischt hattest
  36. Svenskadie waren nicht zueinander kohärent
  37. mgottschlagwobei dann auch wieder die Frage ist, ob z.B. Pipes da der grundlegende Mechanismus sind (also im OS), oder als Runtime darüber implementiert werden, mit Weiche, jenachdem wohin es geht
  38. Svenskanaja, ob man das nun als syscall implementiert oder in der runtime, die dann den passenden syscall auswählt, ist nur ein detail
  39. Svenskainnerhalb einer kohärenzebene (oder zumindest innerhalb einer billigen kohärenzebene) kann man das prima als ringbuffer auf shmem lösen
  40. mgottschlagnaja, auf Microkerneldesign hat das riesige Auswirkungen :)
  41. Svenskadarueber hinaus wirds ... bissl pfui
  42. mgottschlagbei Puffern im Kernel braucht man da viel mehr Speicherverwaltung
  43. Svenskadie brauchst du aber sowieso, weil der ort des puffers nicht offensichtlich ist
  44. Svenskadafuer kannst du die puffer mit fester größe bauen
  45. mgottschlagwenn der Ort des Puffers nicht offensichtlich ist, gibts zwei Möglichkeiten... entweder der Kernel verwaltet den Puffer, oder teilt dem Sender/Empfänger irgendwie mit, wie er händisch Kohärenz herstellen muss
  46. Svenskaeben
  47. mgottschlagbzw. das muss noch nichtmal der Kernel machen
  48. Svenskabei der epiphany (und dem system, was ich baue), muss der puffer auf der empfängerseite liegen
  49. Svenskaaber wenn die leitung vergleichsweise langsam ist, will man den puffer senderseitig haben
  50. Svenskaaber der kernel ist so ziemlich der einzige, der einen gesamtueberblick ueber das system hat
  51. mgottschlagdu hast aber auch keine MMU, oder?
  52. Svenskanein
  53. mgottschlagdas muss nicht der Kernel sein, das kann auch ein Speicherverwaltungsserver sein
  54. Svenskahmm, stimmt auch wieder
  55. mgottschlagdann reichen im Kernel wirklich nur recht minimale Abstraktionen
  56. mgottschlagbtw, vllt für dich interessant:
  57. mgottschlagKennst du M3? Das ist ein dresdner (?) Microkernel für Manycore-Systeme
  58. Svenskanein, sagt mir nichts
  59. mgottschlag(wobei die eigene Speicherverwaltungshardware vorausgesetzt haben)
  60. Svenskawir haben kein betriebssystem im engeren sinne, also ueberhaupt nix in der richtung
  61. mgottschlaghttp://os.inf.tu-dresden.de/papers_ps/asmussen-m3-asplos16.pdf
  62. mgottschlagderen Leistung ist im wesentlichen, dass sie recht leichtgewichtige Hardware präsentieren, mit denen ein OS auch Kerne kontrollieren kann, die für klassische Betriebssysteme viel zu klein sind
  63. mgottschlagalso, ich weiß jetzt nicht, mit welchen Problemen du dich genau beschäftigst, das sind sicherlich andere, aber vielleicht trotzdem interessant ^^
  64. Svenskahmm
  65. Svenskadarf ich behaupten, dass ich das nie gesehen habe? ^^
  66. Svenskadie haben sowas ähnliches gemacht wie ich
  67. mgottschlag"oh no, they wrote our paper"? :p
  68. Svenska:p
  69. Svenskawir arbeiten mit CAL (eine actor-sprache) und haben dafuer nen compiler auf verschiedene architekturen
  70. Svenskada actors nur per pipes kommunizieren, hab ich fuer die epiphany eine solche abstraktion gebaut und das gab ein paar ergebnisse
  71. Svenskaunerfreulich war, dass das buffermanagement extrem teuer ist (>100 takte / token, tut bei 4 byte/token richtig weh)
  72. Svenskadaher implementiere ich gerade den teil in vhdl fuer ein ähnliches system
  73. Svenskaich ziele gerade auf 4-8 KB RAM/Core und etwa 8-10 cores ab, dann duerfte der FPGA voll sein
  74. mgottschlagM3 hat Kommunikation explizit ausgeklammert, da geht es v.a. um "wie mache ich Kontextwechsel" oder "wie implementiere ich möglichst billig Isolation" :)
  75. Svenskaja, ich seh gerade, dass die sowas wie MMUs und so machen
  76. Svenskahaben wir alles nicht; isolation/security und so zeugs spielen bei uns keinerlei rolle
  77. mgottschlagwas ist bei dir "Buffermanagement"? Synchronisierung?
  78. Svenskaja
  79. Svenskadas problem mit der epiphany ist, dass das ein multitasksystem ist, kein multithreadsystem
  80. Svenskaund um mit einem fremden task per shared address space zu kommunizieren, musst du das speicherlayout des gegenuebers kennen
  81. Svenskadu weißt ja nicht, wo der seinen buffer hat
  82. Svenskadazu kommt dann noch synchronisierung
  83. mgottschlagklingt spaßig :)
  84. Svenskadas erzwingt halt handshakes und kostet codesize (meine lib braucht 1 KB fuer init und 1 KB pro channeltyp)
  85. mgottschlagdie Sache mit dem Speicherlayout ist aber im Zweifelsfall nicht im kritischen Pfad, oder?
  86. Svenskamein system legt einfach eine struktur in den shared memory (fixed size und daher bekannt), wo sich alle cores fuer ihre pipes die metadaten austauschen, aber da der extrem langsam ist...
  87. Svenskanein, das ist ein (großes) init-problem
  88. Svenskaaber um an einen channel ranzukommen, muss ich 2 strukturen dereferenzieren und eine indirekte funktion aufrufen
  89. Svenskaund, weil ich in meiner weisheit die tokengröße per-pipe gemacht hab, läuft das ueber memcpy(), was *extrem* langsam ist
  90. Svenskaich glaube, allueberalles liegt ein "sende token"-aufruf bei ~340 takten
  91. Svenskadazu kommt dann noch transport und (vermutlich) ähnlicher aufwand auf empfängerseite, um die daten aus dem puffer zu pulen...
  92. Svenskafuer 4 oder 8 bytes.
  93. Godwineich wär für einen dma controller dem man den receiver und dessen addresse mitteilt und der kopiert dann während man weiter seine berechnungen macht xD
  94. Svenska(bei 1K-tokens ist das nicht mehr so schlimm, aber da kriegen wir platzprobleme und verlieren parallelität)
  95. SvenskaGodwine: rate mal, was ich baue :D
  96. mgottschlaghm, aber muss ich das jedes Mal machen, wenn ich in eine Pipe was sende? Nur, wenn mehrere gleichzeitig reinschreiben, oder?
  97. Svenskanein, pipes sind bei mir sender-empfänger
  98. mgottschlagalso, ich stell mir das gerade vor, dass ich da einfach in einen gemeinsamen Speicherbereich schreibe, irgendwo ein Flag oder einen Pointer update, flushe und vielleicht noch was IPI-artiges hinterherschieße
  99. Svenskapoint to point. und ja, das musst du jedesmal machen, wenn du reinschreibst
  100. mgottschlagweil ein Kern ja nicht beliebig viele Pipes gleichzeitig benutzt
  101. Svenskaden gemeinsamen speicherbereich habe ich nicht, und wenn ich fremden speicher anrufe, ist es nicht kohärent
  102. Svenska...macht uebrigens viel spaß, wenn "i++" failed ;)
  103. Svenskabzw. *i++;
  104. mgottschlagokay, also es ist deshalb so langsam, weil der Puffer in zentralem RAM liegt?
  105. mgottschlaghab ich glaub ich noch nicht so ganz verstanden
  106. Svenskanein, weil ich so viel aufwand treiben muss, um die genaue zieladresse rauszukriegen
  107. mgottschlagaber dazu ist es glaube ich auch zu spät, ich bewege mich mal Richtung Bett :D
  108. mgottschlagja, aber die kann man ja im Zweifelsfall im Sender cachen
  109. Svenskaim prinzip muss ich "token in ringpuffer schreiben und auf wraparound aufpassen", "pointer aktualisieren", gut ist
  110. mgottschlages wird ja zumindest konsekutiv im Speicher liegen und sich nicht bewegen, oder?
  111. Svenskadie pointer muss ich cachen, aber das teure ist (vom design her) der indirekte function call (jede pipe hat eigene zugriffsfunktionen) und das modulo fuer den wraparound
  112. Svenskaund die beiden dereferenzierungen, weil ich einen zeiger auf ein pipe-objekt kriege, was dann auf die funktion zeigt
  113. mgottschlagah, hm
  114. Svenska2x deref + call
  115. Svenskadaher implementiere ich das so, dass ich einen beschleuniger hab, wo ich das token an eine fixe adresse (per channel) schreibe
  116. Godwinewär es zu viel verschwendung wenn man einen output und einen input buffer pro kern hat und der dma liest die addresse des empfängers und fügt den output buffer da an?
  117. Svenskaund die engine selbst schreibt das an eine weitere fixe, vorher konfigurierte adresse
  118. Svenskawo dann ein gegenstueck steht und in den ram schreibt
  119. Svenskaund beide teile kommunizieren miteinander wegen synchronisierung
  120. SvenskaGodwine: das problem ist blocking
  121. Svenskadie epiphany hat 2 dma-kanäle pro kern, und die kann man auf "slave" schalten, d.h. ich habe eine bekannte zieladresse und immer, wenn da was reinkommt, wird es auf eine lineare adresse im speicher geschrieben
  122. Godwinewenn du die hardware direkt schreibst warum machst du diese pipes nicht shared also z.B 256bytes pro verbindung die in die addressbreeiche von beiden kernen eingeblendet werden und die dadurch automatisch kohärent sind?
  123. Svenskadas problem ist, dass ich (a) immer mehr schreiben kann, als platz da ist und ich den sender nicht anhalten kann; (b) ich den interrupt fuer "buffer voll" und den wraparound nicht schnell genug machen kann, bis der puffer ueberlaufen ist
  124. Svenskaweil die kerne keine kohärente verbindung haben
  125. mgottschlagauf welchen Konferenzen seid ihr mit dem ganzen so unterwegs?
  126. Godwineaber du hast geteilten ram?
  127. Svenskanein, ich habe geteilten adressraum
  128. Svenskapuh, mit der thematik noch nirgends (arbeite dran)
  129. Svenskaich war auf der ISCA letztes jahr
  130. mgottschlagah, ok :D
  131. Godwineach dann ist das eher wie numa
  132. Svenskadieses jahr werd ich aber nicht rechtzeitig da sein
  133. Svenska...mom
  134. Svenskaich peile die FPL und einen workshop der ESWEEK an
  135. Svenska2 papers in den nächsten 3 wochen und der kram ist weitab von funktionierend...
  136. Svenskawo bist du so unterwegs? ;)
  137. mgottschlagatm noch garnicht
  138. mgottschlagletztes Jahr Workshop auf der Europar, das klang so nach einem Event, wo man dich auch hätte finden können :)
  139. Svenskagag am rande: ISCA war ja in Seoul, und die ESWEEK wird auch da sein, im gleichen hotel :D
  140. mgottschlagjetzt im April erstmal Doctoral Workshop der Eurosys
  141. mgottschlag:D
  142. Svenska...sind ja nur 16h flug oder so :D
  143. mgottschlagaber ich habe noch keinerlei Ergebnisse, nachdem ich vor zwei Wochen mein Konzept nochmal umgeschmissen hab
  144. Svenskaworan arbeitest du?
  145. Svenskahmm, europar hat schon deadline zu spät
  146. mgottschlagganz grob will ich Serveranwendungen dadurch beschleunigen, dass ich dynamisch im OS Cache-Misses trace, Ausführungsphasen erkenne und dynamisch Prefetching-Code einführe
  147. mgottschlagDas dahinterliegende Problem ist, dass Cloud-Workloads riesige Code-Working-Sets haben
  148. Svenskahmm
  149. Svenskadas gleiche problem haben wir auch, nur auf kleineren skalen
  150. mgottschlagdadurch stallt der In-Order-Teil des CPU-Frontends recht häufig, was gerne mal 30% Performance kostet
  151. Svenskajo
  152. Svenskaauf den architekturen, mit denen ich spiele, ist so ein prefetching zwingend fuer gebrauchbare performance
  153. mgottschlages gibt bereits einiges an Hardwareansätzen (z.B. verbesserte Prefetcher mit besserer Mustererkennung), aber die skalieren nicht unbedingt immer und sind in jedem Fall in aktuellen Serverprozessoren nicht zu finden
  154. Svenskabzw. darum machen wir ja actors, weil das da explizit ist :)
  155. mgottschlagWas aktuell einem Prototypen im Weg steht, ist, dass sich der Instruction-Prefetcher von Intel-CPUs wohl nicht deaktivieren lässt und 10x so viele Cache Misses produziert, als Cache Misses vom CPU-Frontend für retired instructions aufgezeichnet werden, und das bläst mir viel zu schnell den geladenen Code wieder aus dem Cache \o/
  156. mgottschlagnaja, so, bin jetzt mal wirklich weg, gn8 :)
  157. Svenskagn8
  158. Godwinegn8
  159. Svenskaich seh keine möglichkeit fuer zusammenarbeit, schade
  160. GodwineIch hab mich mal wieder doof angestellt
  161. Godwinemein Banana pro hat 2 micro usb anschlüsse einen für OTG und einen für Strom wobei auch der OTG port benutzt werden kann um das board mit strom zu versorgen aber nicht den SATA port
  162. Godwineund ich hab jetzt ne weile versucht ne Festplatte anzuschließen und mich gewundert warum die nicht an geht
  163. GodwinexD
  164. Svenskaich mach mal die augen zu xD
  165. Svenskassissseit
  166. Svenskagn8
  167. Yokuldrekivllt kann mir noch mal jemand helfen, der gestern mein problem mitbekommen hat
  168. Yokuldrekitrilweise funktioniert jz mein kbtreiber, setze ich aber das sti auch nur woanders hin, gibts ne gpf, immernoch mit errcode 0x13B...
  169. Yokuldrekiwird offenbar extern ausgelöst, eip zeigt auf while loop
  170. mgottschlagich wusste garnicht, dass es extern ausgelöste GPFs gibt :)
  171. Yokuldrekika bin da ziemlich nooby
  172. Yokuldrekiich frage mich halt, wo die gpf herkommt, in ner nichtstuenden while schleife
  173. PaddyOhne deinen Code zu kennen, ist es schwer zu sagen, ob das sti genau dort stehen muss
  174. Yokuldrekiich kann euch später auszüge schicken
  175. Yokuldreki*facepalm* fehler in der initroutine... grrrrrr
  176. PaddyDer den GPF erklärt?
  177. Yokuldrekider ersteinmal nur bewirkt hat, dass es nen fehler im KBC gegeben hat? der ka warum nen gpf ausgelödst hat
  178. MasterQ32ist der PIC initialisiert?
  179. MasterQ32GPF = KBD wenn PIC die INterrupt-Nummer nicht verschiebt
  180. MasterQ32afk
  181. Yokuldrekija sry
  182. Yokuldrekihab eigentlich den pic remapped
  183. Yokuldrekijz nach hardreset mit dem knopf funkts wieder, nur softreset und die expection kommt
  184. Yokuldrekiist eig einer von euch auch auch mikrocontroller.net aktiv?
  185. PaddyIch glaube, du willst dir mal ein Internet kaufen, Yokuldreki ;-)
  186. Yokuldreki^^
  187. Yokuldreki+T
  188. Yokuldrekiwas sind modes?
  189. JonathanWelche meinst du denn?
  190. JonathanDie vom Channel?
  191. Yokuldrekija
  192. Yokuldrekibin neu im irc
  193. Jonathan"+t" auf dem Channel heißt z.B., dass das Thema nicht so einfach geändert werden kann
  194. Jonathan"+n", dass der Channel keine Nachrichten von außerhalb empfängt
  195. Yokuldrekik danke
  196. SvenskanioM
  197. GodwinehcaT
  198. Svenskawieso muss hardware eigentlich immer so kompliziert werden, wenn man zusätzlichen kleinkram haben will :-)
  199. Godwineabgesehen von der codesize? :D
  200. Svenskanein, die codesize explodiert auch