SQL Server & BI Blog by Andreas Wolter

Liebe Leser
dieser Blog ist hiermit nur noch „Archiv“ und wird nicht mehr weiter gepflegt.
Seit August 2017 finden sich neue Artikel ausschließlich unter der neuen URL:
http://andreas-wolter.com/blog/

Dear Readers
this blog is now merely an „archive“ and no longer being updated.
Since August 2017 new articles are exclusively available under the new URL:
http://andreas-wolter.com/en/blog/

Die aufwändige Mehrsprachigkeit (Deutsch und Englisch professionell manuell übersetzt) wird beibehalten – aber Layout-technisch anders gelöst. Damit dürfte ich immer noch den einzigen mehrsprachigen IT-Blog weltweit betreiben.
Ich hoffe, das neue Design gefällt Ihnen.

The complex multilingualism (German and English professionally manually translated) is being continued – but solved differently in terms of layout. With that I most likely still operate the only multilingual IT-Blog worldwide.
I hope you like the new design.

Mein aktueller Artikel, der erstmalig ausschließlich auf der neuen Website zu finden ist, lautet: Optimieren von Workflows mit In-Memory und nativ kompilierten Objekten - oder wie es nicht funktioniert

My currently last article, which is exclusively available at the new website for the first time, is Optimizing workflows with In-Memory and Natively Compiled Objects - or how it does not work

(EN)
It is no secret that I have been very active in the Asian region the last years – mainly in Singapore, Malaysia and India. So, it may not be a surprise that this summer I will be giving a full day PreCon at the now called “Data Platform Summit” in India’s hub for information technology: Bangalore, aka the Silicon Valley of India.

I am personally very honored and happy to be asked again to present this PreCon - especially after last year’s drop out due to “Delhi Belly” – which only sounds cute, but was zero fun at all, I can assure my fellow readers.

The Indian community has embraced me with very warm welcoming from the very first year of “SQL Server Geeks Summit” on (as it was then called), and I know this event will be a joy as before for sure.

(DE)

Es ist längst kein Geheimnis, dass ich in den letzten Jahren sehr aktiv im asiatischen Raum war – hauptsächlich in Singapur, Malaysia und Indien. So wird es wohl auch nicht überraschen, dass ich diesen Sommer einen kompletten Tag PreCon auf der inzwischen in „Data Platform Summit“ umbenannten Konferenz in Indiens Zentrum für Informationstechnologie geben werde: Bangalore, auch bekannt als das Silikon Valley von Indien.

Ich fühle mich sehr geehrt und bin glücklich, dass ich wieder gebeten wurde, diese PreCon zu präsentieren – besonders nach meinem Ausfall im letzten Jahr aufgrund von „Delhi Belly“ – was zwar niedlich klingt, aber keinerlei Spaß machte, kann ich meinen Lesern versichern.

Die indische Community hat mich seit dem ersten Jahr des „SQL Server Geeks Summit“ (wie es damals noch hieß) mit einem warmen Empfang willkommen geheißen, und ich weiß, dass auch dieses Event wieder viel Freude machen wird.

And what can my audience look forward to?

A full day of diving into the latest trend in IT Technology, specifically data storage: In-Memory optimization (storage and computation). If you are still thinking traditional row-store indexes, it is time to level up. Here is your chance for a very low price to learn from the first steps unto the pitfalls of reality:

Und worauf kann sich mein Publikum diesmal freuen?

Auf einen ganzen Tag, an dem in die neuesten Trends in der IT-Technologie eingetaucht wird, spezifisch in Sachen Datenspeicherung: In-Memory-Optimierung (Speicherung und Berechnung). Wenn ihr noch traditionell in Row-basierten Indexen denkt, ist es Zeit, aufzuleveln. Hier ist eure Chance, zu einem sehr günstigen Preis von den ersten Schritten bis zu den Fallstricken der Realität zu lernen:

“In-Memory Technologies in SQL Server – From 0 to Operational Analytics Master”

The abstract goes as follows:

“In-Memory Technologies im SQL-Server – Von 0 zum Operational Analytics Master”

Die Beschreibung lautet wie folgt:

Since SQL Server 2016 Service Pack 1, most programming features have been available in all editions, including the two In-Memory technologies: Columnstore Indexes and In-Memory OLTP.

Columnstore indexes, which have been existing since SQL Server 2012 (actually PDW v2008), are mainly optimized for big amounts of data (millions of rows) and offer blazingly fast OLAP-style queries, which is made possible by their special structure (columnar storage), sophisticated compression, and batch-mode processing for much more efficient CPU-usage than traditional row-store-queries.

The In-Memory OLTP engine, which will be the second topic of this full day, came into the product with SQL Server 2014 and has since then been extensively improved in terms of both scalability and T-SQL language support, taking away many of the relevant limitations for adaption of version 1 in a similar way as the Columnstore technology over the course of its development.

Thirdly, the so-called In-Memory Operational Analytics are supported by the possibility to create Columnstore Indexes on memory optimized tables!

All those improvements will make In-Memory technologies a viable option in many projects. For Datawarehouses, many say that Columnstore will become the default storage type for all objects in the near future. And it can be foreseen that over the years the same will happen for OLTP-tables that have to support highly concurrent workloads, which will all be based on memory optimized tables.

It’s time to extend your skills to embrace those technologies, and learn how to implement and support those new types of storage that are coming to our databases, addressing the challenge of ever more data being stored and queried and performance demands and (real time) analytic requirements going up.

During this full-day training session, Microsoft Certified Master for the Data Platform Andreas Wolter, familiar with SQL Server’s In-Memory technologies from the early bits on, will give a complete picture on the current state of technology. Attendees will learn how and where to use either In-Memory OLTP or Columnstore or even both for efficient queries and data storing, but also which problems still exist in real-world projects that sometimes make it hard to find the right solution design to profit from those technologies, and cover the important bits and pieces both from a developer’s and administrator’s perspective.

Seit SQL Server 2016 Service Pack 1 sind die meisten Programmierfunktionen in allen Editionen verfügbar, einschließlich der zwei In-Memory-Technologien: Columnstore Indexe und In-Memory OLTP.

Columnstore Indexe, die es seit SQL Server 2012 (eigentlich PDW v2008) gibt, sind hauptsächlich für große Datenmengen (Millionen von Zeilen) optimiert und bieten blitzschnelle Abfragen im OLAP-Stil, was durch ihre spezielle Struktur (spaltenweise Speicherung), raffinierte Komprimierung und Bearbeitung im Batch-Mode für eine weitaus effizientere CPU-Auslastung als traditionelle Row-basierende Abfragen ermöglicht wird. 

Die In-Memory OLTP-Maschine, die das zweite Thema dieser Ganztags-PreCon sein wird, kam mit SQL Server 2014 in das Produkt und wurde seitdem umfassend sowohl hinsichtlich Skalierbarkeit als auch T-SQL-Sprachunterstützung verbessert, wobei viele der relevanten Einschränkungen bei der Anpassung von Version 1 auf ähnliche Weise wegfielen wie bei der Columnstore-Technologie im Verlauf ihrer Entwicklung.

Drittens werden die sogenannten In-Memory Operational Analytics durch die Möglichkeit unterstützt, Columnstore Indexe auf Memory-optimierten Tabellen zu erstellen!

All diese Verbesserungen werden In-Memory-Technologien zu einer praktikablen Option bei vielen Projekten machen. Was Data-Warehouses anbetrifft, sagen viele, dass Columnstore in der nahen Zukunft zur Standardspeicherart für alle Objekte werden wird. Und es lässt sich vorhersehen, dass mit den Jahren dasselbe für OLTP-Tabellen eintreten wird, die hohe gleichzeitige Workloads unterstützen müssen, die dann alle auf Memory-optimierten Tabellen basiert sein werden.

Es ist Zeit, deine Fähigkeiten zu erweitern und dir diese Technologien zu eigen zu machen: zu lernen, wie man diese neuen Speichertypen, die in unsere Datenbanken kommen, implementiert und unterstützt, und sich der Herausforderung immer mehr gespeicherter und abgefragter Daten sowie Performance-Anforderungen und steigenden analytischen Anforderungen (in Echtzeit) zu stellen.

Während dieses ganztägigen Trainings wird Microsoft Certified Master for the Data Platform Andreas Wolter, der mit den In-Memory-Technologien von SQL-Server von den frühen Anfängen an vertraut ist, einen kompletten Überblick über den derzeitigen Technologiestand geben. Teilnehmer werden lernen, wie und wo man entweder In-Memory OLTP oder Columnstore oder sogar beides für effiziente Queries und Datenspeicherung verwendet. Sie werden auch lernen, welche Probleme noch in realen Projekten existieren, die es manchmal erschweren, das richtige Lösungskonzept zu finden, um von diesen Technologien zu profitieren. Dabei werden auch wichtige Aspekte und Details sowohl aus der Perspektive des Entwicklers als auch der des Administrators behandelt.

Modules/Topics

• Columnstore Storage Engine and compression internals
• What is the benefit for OLAP performance
• When to use Clustered or Nonclustered Columnstore Indexes
• XTP Engine internals for In-Memory OLTP performance benefits
• Memory optimized Tables, Indexes and Variables
• Natively compiled stored procedures & triggers
• Combination of Row-Store, Columnstore/xVelocity and XTP engine for operational analytics

Module/Themen

• Columnstore Storage Engine und Komprimierungs-Interna
• Was ist der Nutzen für OLAP- Performance
• Wann man Clustered oder Nonclustered Columnstore Indexe benutzt
• XTP-Engine Interna für In-Memory OLTP Performance-Vorteile
• Memory-optimierte Tabellen, Indexe und Variablen
• Nativ kompilierte gespeicherte Prozeduren & Trigger
• Kombination von Zeilenspeicherung, Columnstore/xVelocity und XTP Engine für operative Analytik

Key Takeaways

• How the new storage engines Columnstore & XTP work behind the covers
• What are the strengths and weaknesses of these alternate storage engines and how can they be played out best
• How to get a quick start with In-Memory optimized objects in almost any environment
• What are the typical performance patterns that these technologies address
• How to build highly performing Datawarehouse tables
• How to improve OLTP hotspot tables with In-Memory technologies
• How to enable real-time analytics of operational data
• What’s important from a file management perspective for administrators
• How to maintain Columnstore and In-Memory Hash- & Range-indexes
• What challenges arise from those technologies

Kernpunkte

• Wie die neuen Speicher-Engines Columnstore & XTP hinter der Bühne funktionieren
• Was die Stärken und Schwächen dieser alternativen Speicher-Engines sind und wie sie am besten umgesetzt werden können
• Wie man einen schnellen Start mit In-Memory-optimierten Objekten in fast jeder Umgebung erhalten kann
• Was die typischen Performance-Muster sind, die diese Technologien behandeln
• Wie man hoch performante Data Warehouse-Tabellen baut
• Wie man OLTP Hotspot Tabellen mit In-Memory Technologien verbessert
• Wie man Echtzeit-Analytik von operativen Daten ermöglicht
• Was aus einer Dateimanagement-Perspektive für Administratoren wichtig ist
• Wie man Columnstore und In-Memory Hash- & Range-Indexe wartet
• Welche Herausforderungen sich aus diesen Technologien ergeben

Demos

• Performance Improvements for OLAP workloads with Nonclustered Columnstore indexes
• Clustered Columnstore indexes
• Performance Improvements for OLTP workloads with memory optimized tables, indexes and code
• Operational analytics on row store vs. operational analytics on In-Memory under different workload types
• How Columnstore indexes handle updates to data under the cover
• How In-Memory optimized objects look like on disk

 Demos

• Performance-Verbesserungen für OLAP-Workloads mit Nonclustered Columnstore Indexen
• Clustered Columnstore Indexe
• Performance-Verbesserungen für OLTP-Workloads mit memory-optimized Tabellen, Indexen und Code
• Operative Analytik bei Zeilen-Speicherung vs. operative Analytik bei In-Memory unter verschiedenen Workload-Typen
• Wie Columnstore-Indexe mit Updates bei Daten unter der Haube umgehen
• Wie In-Memory optimierte Objekte auf der Disk aussehen

Sign-up here as long as seats are available! http://dataplatformgeeks.com/dps2017/pre-conference-seminars/

Hier anmelden, solange es noch freie Plätze gibt!

http://dataplatformgeeks.com/dps2017/pre-conference-seminars/

After the PreCon I will give 2 more sessions at DPS 2017:

Troubleshooting Availability Groups
and
SQL Server Security for Developers

Nach der PreCon werde ich 2 weitere Sessions bei der DPS 2017 geben:

Troubleshooting Verfügbarkeitsgruppen und
SQL Server Sicherheit für Entwickler

Also, I have been asked by KD, the founder of KDSSUG (Knowledged Dedicated SQL Server User Group) to present at their Event, “KDSSG MSSQL Tech Unite 2017” on August 20. Session topic TBD.

Außerdem wurde ich von KD, dem Gründer von KDSSUG (Knowledged Dedicated SQL Server User Group) gebeten, auf ihrem Event „KDSSG MSSQL Tech Unite 2017“ am 20. August zu sprechen. Das Thema wird noch festgelegt.

If Singapore is easier for you:

The weekend after, August 26 at SQLSaturday Singapore I will have a session on the new SQL Server 2017 which is due sometime this year: SQL Server 2017: Better HA & DR

Falls Singapur für euch einfacher sein sollte:

Am Wochenende darauf, am 26. August, werde ich auf der SQLSaturday Singapore eine Session zum neuen SQL-Server 2017, der irgendwann dieses Jahr erscheint, halten: SQL Server 2017: Better HA & DR

Next stops after that: SQLSaturday Denmark in Copenhagen October 7 with another full day PreCon Oct. 6th: “Practical Performance Monitoring & Troubleshooting”. Save the date and register soon as my previous events on that subject have quickly filled up.

Die nächsten Stationen, die folgen werden: SQLSaturday Denmark in Kopenhagen am 7. Oktober mit einer weiteren Ganztags-PreCon am 6. Okt.: “Practical Performance Monitoring & Troubleshooting”. Merkt euch den Termin vor und meldet euch bald an, da meinen vorangegangenen Events zu diesem Thema schnell voll waren. 

(EN)

After my Asia-tour this summer I feel it is about time for this article.
At the time of this article (09-2016) I have presented at more than 50 technical conferences around the world (Europe, Middle East, Asia, North America), from small with about 150 attendees to huge with around 5000 attendees. With that came a lot of good contact with many of the organizers.

Recently again I have been asked by a good friend and organizer how I felt about their conference (remember, a conference is never run by a single person) and what could be improved.
Even though I did give an answer, I realize there is more to it and I promised to think about it a bit more. I decided to put this into an article and maybe some other organizers and attendees find it interesting.

Note: this article is based on the experience of my own and unlike a technical article there will hardly be one version of the truth.

So, what makes a conference successful?

(DE)

Nach meiner Asien-Tour in diesem Sommer ist nun dieser Artikel an der Reihe.
Zum Zeitpunkt dieses Artikels (09-2016) habe ich auf über 50 technischen Konferenzen weltweit (Europa, Naher Osten, Asien, Nordamerika) präsentiert. Von kleinen Konferenzen mit etwa 150 Teilnehmern bis zu großen Konferenzen mit um die 5000 Teilnehmern. Dabei entstanden viele gute Kontakte mit vielen der Organisatoren.

Erst vor kurzem wurde ich wieder von einem guten Freund und Organisator gefragt, was ich von ihrer Konferenz hielte (eine Konferenz wird ja nie von einer einzelnen Person durchgeführt) und was noch verbessert werden könnte.
Obwohl ich eine Antwort gab, ist mir klar, dass da mehr dahintersteckt, und ich versprach, noch ein bisschen weiter darüber nachzudenken. So entschied ich mich, einen Artikel daraus zu machen, und vielleicht ist er auch für einige andere Organisatoren und Teilnehmer interessant.

Hinweis: dieser Artikel beruht auf meiner eigenen Erfahrung und im Gegensatz zu einem technischen Artikel, wird es kaum eine Version der Wahrheit geben.

Was macht also eine erfolgreiche Konferenz aus?

Probably the most common answer will be:

1)

“It is big”, or even “the biggest” – both in terms of number of attendees and offered parallel sessions, tracks and topics.

A good example would be the PASS Summit in the US: the biggest SQL Server conference worldwide. But of course there are even much bigger events outside of the pure SQL Server world…

Die wahrscheinlich gängigste Antwort wird sein:

1)

„Sie ist groß“ oder gar „die größte“ Konferenz – sowohl von der Zahl der Teilnehmer her als auch von den angebotenen Sessions, Tracks und Themen.

Ein gutes Beispiel wäre der PASS Summit in den USA: die weltweit größte SQL-Server-Konferenz. Aber außerhalb der reinen SQL-Server-Welt gibt es natürlich noch viel größere Events…

2)

Almost no conference starts “big”, let alone the “biggest”, so in the beginning, when establishing a conference, it will often be: “it has more attendees than last year.” - This is the first and most obvious sign of a successful progression.
- side note: can a progression be positive without an increase of attendees?
– Yes it can:
For example the same number of attendees can be a different mixture in terms of job-background which may fit better to the topic of the conference and hence will be happier than last year’s attendees and hopefully spread the word for the follow-up conference which then finally will have more attendees.

2)

Fast keine Konferenz fängt “groß” an, geschweige denn als „die größte“, so dass es am Anfang, wenn eine Konferenz gerade etabliert wird, oft heißen wird: „es gibt mehr Teilnehmer als letztes Jahr.“ – Das ist das erste und offensichtlichste Zeichen einer erfolgreichen Entwicklung.
- Nebenbemerkung: kann eine Entwicklung positiv sein ohne einen Anstieg an Teilnehmern? – Ja, kann sie:
Zum Beispiel kann die gleiche Zahl an Teilnehmern hinsichtlich Job-Hintergrund anders zusammengesetzt sein und vielleicht besser zum Thema der Konferenz passen und damit auch zufriedener als die Teilnehmer vom Vorjahr sein, und die Konferenz hoffentlich weiterempfehlen, so dass die nächste Konferenz schließlich noch mehr Teilnehmer hat.

Also, do not forget the sponsors who are highly dependent on the right mix of people – and not the pure numbers.

Having the right sponsors (by making them happy) will give you more flexibility in the whole setup from location, catering, speaker-invites and “goodies”. If you are reading this in preparation of a conference, bear this in mind.

Your sponsors are your partners.

Auch darf man nicht die Sponsoren vergessen, welche stark von der richtigen Mischung an Leuten abhängig sind – und nicht von den reinen Zahlen.

Die richtigen Sponsoren zu haben (indem man sie glücklich macht) gibt einem mehr Flexibilität beim ganzen Aufbau, von der Location über Catering, Sprecher-Einladungen bis hin zu „Goodies“. Wenn ihr gerade bei der Vorbereitung einer Konferenz seid, während ihr dies lest, behaltet das im Auge.

Eure Sponsoren sind Eure Partner.

3)

It can also be: “it generates a good profit.”
Actually very often it will be: “it does generate profit.” – Rather than a loss. And this happens more often than you may think.

Why would a conference make a loss and still be repeated you would ask yourself?

In fact community conferences are often very happy with a break even as the main interest is to just serve the community and not the profit.

For commercial conferences the reasons may be a bit different.

That brings me to the other options:

3)

Es kann auch heißen: “Sie wirft einen guten Gewinn ab.” Oftmals wird es tatsächlich heißen: „Sie erzielt Gewinn.“ – Mehr als einen Verlust. Und das passiert häufiger als man meinen mag.

Warum würde eine Konferenz Verluste machen und trotzdem wiederholt werden, könnte man sich fragen?

Tatsächlich sind Community Konferenzen oft sehr zufrieden mit einer runden Null, da das Hauptinteresse der Community und nicht dem Profit gilt.

Bei kommerziellen Konferenzen mögen die Gründe etwas anders sein.

Das führt mich zu den anderen Optionen:

4)

The conference may not create profit, but, simply put “famousness”. Famousness that leads to more publicity. And this alone can be worth the effort for both a commercial as well as a non-profit driven conference.

What kind of fame could that be other than being “the greatest”?

A conference can be known for:

• “The best party” – take undefeated SQLBits in the UK with its ever changing theme-parties.
• “The cool(est) location”
  If the host-city is already famous, it helps a lot – if you pick a location that is somewhat typical or representative for the city.
  Some examples would be: SQL Saturday Cambridge, SQL Saturday Malaysia/Kuala Lumpur – in the famous Petronas towers, SQL Saturday Singapore – overlooking the famous Marina Bay and many others.
  Oh, and SQLBits again changes the host-city every year, making it a principle to show the variety of the country to its attendees and speakers.
• “The most famous speakers”
  - here the simple rule is (usually): the bigger the conference, the more attracting to world-renowned speakers. Commercially-driven conferences can gain an advantage over other similarly sized ones here though, as they can provide a fee for speakers.
  If you are unsure start by looking for speakers that have been awarded MVP (usually a sign of a lot of interaction with public, which is exactly what a conference is about) and MCM or MCSM certified professionals (a good indicator of practical experience).
• “Big(gest) choice of sessions”
  - the greater the audience you want to attract, the broader the range of topics should be. And nowadays everything is somewhat connected anyways, so even an administrator can be interested in certain BI or even Data Science topics.
  Besides topics also the level of the sessions is important for a bigger audience – from beginner level to advanced level.
• “Cool prices and goodies”
  - At most conferences attendees have a chance to collect some goodies or even win high-valued prices.
  I personally have never consciously seen this being advertised specifically though. To what extent this influences attendees to come back I have no clue.
• This one is more speaker-centric: a conference can be known among speakers for “being a great host” – by providing a special program for speakers. For example SQLSaturday Portugal (the first SQL Saturday outside US btw), is known for a superb crew of volunteers that even gave us a special tour to some famous locations around Lisbon – “private sightseeing tour”. At SQL Gulf we were invited to a traditional Saudi Arabian Dinner – before the self-made “sightseeing-tour”. Others bring you to traditional restaurants and so on and so on. In this area one can be very creative. But locality certainly does help.
• “Having programmers and even managers from Microsoft/another vendor at location.” This slightly clumsy point is referring to the extra value that a conference can provide, when the actual programmers, program managers etc. from the targeted software are right at the conference. For most attendees this is the only opportunity to ever meet the people behind the product.
  The PASS Summit in the US is known for that. The close proximity to Redmond makes it possible. For other conferences it is much harder, but still quite a few times you can see some famous people coming from the headquarters. While size of the conference helps, having a strong connection with Microsoft definitely does help a lot if you are an organizer.

4)

Die Konferenz mag zwar keinen Gewinn erzielen, aber, einfach ausgedrückt, „Bekanntheit“. Bekanntheit, die zu mehr Öffentlichkeit führt. Und das allein kann die Anstrengung wert sein sowohl für eine kommerzielle als auch eine nichtkommerziell geführte Konferenz.

Welche Art von Bekanntheit könnte das sein, außer „die größte“ zu sein?

Eine Konferenz kann bekannt sein für:

• „Die beste Party“ – nehmt die ungeschlagenen SQLBits in Großbritannien mit seinen immer wechselnden Themen-Partys.
• „Die cool(st)e Location“
  Wenn sie in einer bekannten Gastgeberstadt stattfindet, hilft es sehr – solange man eine Location auswählt, die zumindest typisch oder repräsentativ für die Stadt ist.
  Einige Beispiele wären: SQL Saturday Cambridge, SQL Saturday Malaysia/Kuala Lumpur – in den berühmten Petronas-Towers, SQL Saturday Singapore – mit Ausblick auf die berühmte Marina Bay – und viele andere. Oh, und SQLBits wiederum wechselt jedes Jahr die Gastgeberstadt und macht es sich zum Prinzip, seinen Teilnehmern und Sprechern die Vielfalt des Landes zu zeigen.
• „Die bekanntesten Sprecher“ – hier ist die einfache Regel (normalerweise): je größer die Konferenz, desto attraktiver für weltbekannte Sprecher. Kommerziell geführte Konferenzen können hierbei allerdings einen Vorteil gegenüber ähnlich großen Konferenzen haben, da sie den Sprechern ein Honorar bieten können.
  Wenn ihr unsicher seid, könnt ihr zunächst nach Sprechern Ausschau halten, die mit dem MVP Award ausgezeichnet worden sind (meistens ein Zeichen von viel öffentlicher Interaktion, also genau das, was eine Konferenz ausmacht) und MCM oder MCSM zertifizierten Profis (ein gutes Zeichen für praktische Erfahrung).
• „Große/größte Auswahl an Sessions“ – je größer das Publikum, das man anziehen möchte, je größer sollte die Auswahl an Themen sein. Und heutzutage ist sowieso alles irgendwie miteinander verbunden, so dass sogar ein Administrator an bestimmten BI oder selbst Data Science-Themen interessiert sein kann. Neben den Themen ist auch die Könnerstufe der Sessions wichtig für ein größeres Publikum – von der Anfängerstufe bis zur Fortgeschrittenen-Stufe.
• „Coole Preise und Goodies“
  - Bei den meisten Konferenzen haben die Teilnehmer die Gelegenheit, einige Goodies einzusammeln oder sogar wertvolle Preise zu gewinnen.
  Ich persönlich habe es allerdings noch nie als speziell beworben gesehen. Inwieweit dies die Teilnehmer beeinflusst wiederzukommen, weiß ich nicht.
• Das hier ist mehr Sprecher-zentriert: eine Konferenz kann unter Sprechern als „ein toller Gastgeber“ bekannt sein– indem ihnen ein spezielles Programm bietet. Zum Beispiel ist die SQLSaturday Portugal (übrigens die erste SQLSaturday außerhalb der USA) für seine ausgezeichnete Mannschaft an ehrenamtlichen Helfern bekannt, die uns sogar eine besondere Tour zu einigen berühmten Orten in Lissabon gegeben hatten – eine „private Sightseeing-Tour“. Bei SQL Gulf wurden wir zu einem traditionellen saudi-arabischen Abendessen eingeladen – vor der von ihnen selbst organisierten Sightseeing-Tour. Andere führen einen in traditionelle Restaurants und so weiter und so fort. In diesem Bereich kann man sehr kreativ sein. Aber die Lokalität hilft auf jeden Fall.
• „Programmierer und sogar Manager von Microsoft/anderem Anbieter vor Ort haben“. Dieser etwas umständliche Punkt bezieht sich auf den zusätzlichen Wert, den eine Konferenz schaffen kann, wenn die tatsächlichen Programmierer, Programmmanager etc. der angezielten Software auf der Konferenz mit dabei sind. Für die meisten Teilnehmer ist dies die einzige Gelegenheit, die Leute hinter dem Produkt überhaupt je zu treffen.
  Der PASS Summit in den USA ist dafür bekannt. Die Nähe zu Redmond macht dies möglich. Für andere Konferenzen ist es viel schwieriger, aber dennoch kann man ab und an einige berühmte Leute von den Headquartern sehen. Die Größe der Konferenz allein ist zwar hilfreich, doch es hilft auf jeden Fall, als Organisator eine starke Verbindung zu Microsoft zu haben.

5)

And yet there is more. It is something that is not measurable in numbers or can be put in simple words: I will call it “atmosphere” in an attempt to give it a simple descriptive name. It consists of the certain spirit that you feel at the conference. How the people interact, how attendees approach speakers and vice versa. It is hard to describe, but when you have been at several conferences you will sense the difference.
Consequently this is also the aspect that can be influenced the least by an organizer. At least this is my feeling. By my observation the relative amount of volunteers are an indicator of a highly positive atmosphere. So maybe I should say: “volunteers are key” to a successful conference.

An ambitious crew of positive-thinking crew that puts its heart in the work for the conference can make a huge difference and give the conference the right impulse towards a successful conference with attendees and speakers wanting to come back.

And until someone proves me wrong I will leave this as a thesis :-)

- How do you find volunteers? Well, hopefully they will find you. ;-)

Besides obviously your local user groups it can help to talk to your local university’s technology/IT information department.

Small side note: As a university dropout (Japanese & British studies, for those who are curious – computer science, at least in terms of substance, was no good back then…) I would have never imagined to ever be giving presentations in a university auditorium. Yet this is exactly what I did a couple of years ago at SQLSaturday Rheinland/Germany at the Bonn-Rhein-Sieg University and, only recently, in the framework of SQLGulf, at the Alfaisal University in Riadh.

Unfortunately that is as much as I can say about finding volunteers. During my travels I did realize that there can be huge differences between countries in terms of volunteers. Why that is, is hard to tell and certainly a complex matter. I did find the volunteers outstanding at the SQL Server Geeks Conference in India and also in Portugal in terms of sheer number and positive energy. If you ever make it there, you will know what I mean.

5)

Und es gibt trotzdem noch etwas. Es ist etwas, das sich nicht in Zahlen messen oder einfachen Worten ausdrücken lässt: Ich nenne es mal „Atmosphäre“ im Versuch, ihm einen einfachen, anschaulichen Namen zu geben. Es besteht aus der bestimmten Stimmung, Atmosphäre, die man auf der Konferenz spürt. Wie die Leute miteinander interagieren, wie die Teilnehmer die Sprecher ansprechen und umgekehrt. Es ist schwer zu beschreiben, aber wenn man einmal auf mehreren Konferenzen gewesen ist, wird man den Unterschied spüren.

Demnach ist dies auch der Aspekt, der am wenigstens vom Organisator beeinflusst werden kann. Das ist jedenfalls mein Empfinden. Nach meiner Beobachtung ist die relative Zahl an ehrenamtlichen Helfern ein Indiz für eine äußerst positive Atmosphäre. Also sollte ich vielleicht sagen: „Ehrenamtliche Helfer sind wesentlich“ für eine erfolgreiche Konferenz.

Eine ambitionierte, positiv-denkende Mannschaft, die ihr Herz in die Arbeit für die Konferenz steckt, kann einen großen Unterschied machen und der Konferenz den richtigen Impuls hin zu einer erfolgreichen Konferenz geben, zu der die Teilnehmer und Sprecher zurückkommen wollen.

Und bis jemand beweist, dass ich falsch liege, lasse ich es als meine These stehen :-)

-Wie findet man ehrenamtliche Helfer? Nun, hoffentlich finden sie Euch. ;-)

Neben euren örtlichen Nutzergruppen (naheliegend) kann es hilfreich sein, mit der IT-Fakultät eurer örtlichen Universität zu sprechen.

Kleine Randnotiz: Als Studienabbrecher (Japanologie & Anglistik für wen es interessiert – Informatik taugte inhaltlich so rein gar nichts damals…) hätte ich nie gedacht, jemals im Auditorium einer Hochschule Vorträge zu halten. Und genau das habe ich dann vor einigen Jahren auf dem SQLSaturday Rheinland/Germany in der Hochschule Rhein-Sieg und kürzlich, im Rahmen von SQLGulf sogar in der Alfaisal Universität in Riad.

Leider ist das schon alles, was ich zum Thema Freiwillige finden sagen kann. Während meiner Reisen habe ich festgestellt, dass es große Unterschiede zwischen Ländern geben kann, was ehrenamtliche Helfer angeht. Warum das so ist, ist schwer zu sagen und sicherlich eine komplexe Materie. Ich fand die ehrenamtlichen Helfer auf der SQL Server Geeks-Konferenz in Indien und auch die in Portugal einfach umwerfend, nicht nur von der reinen Zahl her, sondern auch von der positiven Energie. Wenn Sie es einmal dahin schaffen, dann werden Sie wissen, was ich meine.

Note that I do not include the point: being “the best conference”. As there are so many possibilities to host a great conference, accomplishing all at the same time seems rather impossible.

Beachtet, dass ich hier nicht den Punkt, „die beste Konferenz“ zu sein, aufführe. Da es so viele Möglichkeiten gibt, eine tolle Konferenz zu halten, scheint es eher unmöglich, alles auf einmal zu vollbringen.

Finally: One may ask: “What do I look for as a speaker?”

Now, I cannot deny that being at conferences is also “work”. Even if I love my job and look forward to presenting, I do have to justify it from business aspects as well. Luckily, being the owner of Sarpedon Quality Lab, I allow myself a few exceptions and a relaxed attitude towards conference-attendance.
“You gotta love what you do, so why not work also just for the joy of it. At least sometimes…”
Therefore, at most community-driven events the reason why I just like to be there is because I love the community, the people around me: organizers, volunteers, co-speakers and attendees.
What’s more, there is little that gives such positive energy and boost like an actively interested audience does.

So the answer to the question as to which conferences I prefer would be: the ones with the best atmosphere und the most interactivity with the attendees. After all, the most precious thing we all have to offer is time. And a conference is a great opportunity to spend it with many people with similar interests.

Und schließlich: Man mag fragen: “Wonach suche ich als Sprecher?”

Jetzt kann ich nicht bestreiten, dass auf Konferenzen zu sein auch „Arbeit“ ist. Obwohl ich meine Arbeit liebe und ich mich aufs Präsentieren freue, muss ich es auch aus geschäftlichen Aspekten rechtfertigen. Zum Glück kann ich mir, als Inhaber von Sarpedon Quality Lab, einige Ausnahmen und eine entspannte Einstellung gegenüber Konferenz-Teilnahmen erlauben.
„Man sollte seine Arbeit schon lieben, also warum nicht, wenigstens hin und wieder, einfach aus Spaß daran arbeiten...“
Was mir über die Jahre klargeworden ist, ist, dass ich einfach gern auf einigen Konferenzen bin, weil ich die Community: die Leute um mich herum, die Organisatoren, ehrenamtliche Helfer, Co-Sprecher und Teilnehmer dort sehr mag.
Außerdem gibt es wenig, das einem solch positive Energie und Schub gibt wie ein aktiv interessiertes Publikum.

Daher wäre die Antwort, welche Konferenzen ich vorziehe: diejenigen mit der besten Atmosphäre und der besten Interaktivität mit Teilnehmern.
Denn Zeit ist das wertvollste, das wir alle anzubieten haben. Und eine Konferenz ist eine tolle Gelegenheit, sie mit vielen Leuten mit ähnlichen Interessen zu teilen.

From the an attendee's point of view things like “many sessions to choose”, “well known top experts to meet”, “being able to interact with speakers and get answers to technical questions”, “connecting with fellow professionals” and “getting in touch with interesting companies (potentially new employers)” will probably be among the most important reasons.

Aus Sicht eines Teilnehmers sind vermutlich Dinge wie „viele Sessions zur Auswahl, „bekannte Top Experten treffen können“, „mit Sprechern in Kontakt kommen und Antworten auf technische Fragen zu erhalten“, „sich mit anderen Profis zu vernetzen“ und „mit interessanten Firmen (potentiellen neuen Arbeitgebern) in Kontakt zu kommen“ unter den wichtigsten Gründen sein.

Disclaimer: If I have not mentioned your conference, do not take it as a negative. I have simply been at too many (over 50 conferences in more than 12 countries) and on the other hand certainly not enough to make a scientific statement. I tried to give only a few examples for certain criteria. I am not doing an overall “rating of conferences”.

Disclaimer: Wenn ich Eure Konferenz nicht erwähnt habe, fasst es nicht negativ auf. Ich bin einfach auf zu vielen gewesen (über 50 Konferenzen in mehr als 12 Ländern) und andererseits sicherlich nicht genügend, um eine wissenschaftliche Aussage fällen zu können. Ich habe nur einige Beispiele für bestimmte Kriterien zu geben versucht und mache hier keine Gesamt-„Bewertung von Konferenzen“.

Question to my readers:

What do YOU think?
Why do you go to conferences, why do you speak at conferences, why do you organize conferences?

I am curious to hear your answers which may be slightly different for each of you.

Frage an meine Leser:

Was denkst DU?

Warum gehst Du auf Konferenzen, warum sprichst Du auf Konferenzen oder warum organisierst Du Konferenzen?

Ich bin neugierig auf Eure Antworten, die für jeden leicht unterschiedlich sein mögen.

(DE)
Der SQL Server 2016 ist da, und damit nun auch die „Version 2“ der In-Memory OLTP Engine, wenn man so will.

-           Was hinter der im SQL Server 2014 eingeführten In-Memory Engine von SQL Server steckt, habe ich auf diversen internationalen Konferenzen und in der IX bereits 2014 vorgestellt. Zu einem Blog-Artikel bin ich leider bisher nicht gekommen.

In diesem Artikel möchte ich die Neuerungen und Verbesserungen beleuchten, an denen Microsoft die letzten 2 Jahre gearbeitet hat, und die viel auf Kundenfeedback zurückzuführen sind. Feedback, welches in einem großen Maße noch aus „nicht umsetzbar, weil dies und dies fehlt“ bestand.

(EN)
SQL Server 2016 is finally available and, by extension, the “version 2” of the In-Memory OLTP Engine, if you will.

-           At various international conferences and already at the IX in 2014 I have presented what is behind the In-Memory Engine of SQL Server introduced in SQL Server 2014. Only I had not yet found the time to put it into a blog article so far.

In this article I will illuminate the innovations and improvements Microsoft has been working on for the past 2 years, and which can be attributed much to customer feedback. In fact, feedback that to a great extent consisted of notes like “not practicable because this and this is missing.”

And let me say one thing before I start: in my view, Microsoft has been able to address the majority of blockers.

Das heißt, In-Memory ist für jeden mindestens eine Evaluierung Wert, und in fast allen Datenbank-Projekten finden sich Strukturen, sie man In-Memory eleganter lösen kann. – Ok, nicht für ganz jeden, denn dieses Feature ist leider der Enterprise-Edition vorbehalten.

That means, everybody should at least consider evaluating In-Memory, and in almost all database projects there are structures that can be solved more elegantly In-Memory. – Ok, maybe not for everybody, because this feature is unfortunately limited to the enterprise edition.

Die wichtigsten Neuerungen für memory optimierte Tabellen sind:

Man kann nun sowohl Unique Indexe als auch Fremdschlüssel-Constraints definieren. Letztere sind nur zwischen memory-optimierten Tabellen möglich (und nicht zwischen Disk-/Page-basierten und memory-optimierten Tabellen), und müssen sich immer auf den Primärschlüssel beziehen – der Verweis auf Unique Indexe ist nicht möglich.

Auch sind nun NULL-Werte in Nicht-Unique Indexen zulässig (Anders als bei Disk-basierten Tabellen nicht in Unique-Indexen!).

Ebenfalls sehr wichtig ist die Unterstützung aller Codepages und von Nicht-Unicode-Daten sowie die Verschlüsselung der memory-optimierten Daten mit TDE (ergo nicht im Arbeitsspeicher selber sondern der Daten, die auf der Festplatte abgelegt werden). *1

Das waren in meinen Augen die häufigsten Blocker in Projekten, in denen In-Memory evaluiert wurde, da es dafür kaum praktikable Workarounds gab.

*1 Daten-Verschlüsselung mit den ENCRYPTION-Funktionen in SQL Server wird nicht unterstützt – das gilt auch für die neue Always Encrypted Technologie und Dynamic Data Masking.

The most important innovations for memory-optimized tables are:

It is now possible to define Unique Indexes as well as foreign key constraints. The latter are only possible between memory-optimized tables (and not between disk-/page-based and memory-optimized tables), and must always refer to the primary key – referring to Unique Indexes is not possible.

Moreover, NULL-values in Non-Unique Indexes are now allowed (as opposed to disk-based tables not in Unique Indexes!).

Equally very important is the support of all code pages and of non-Unicode data as well as the encryption of memory-optimized data with TDE (hence not in the main memory itself but of the data that stored on disk). *1

In my view, these were the most frequent blockers in projects in which In-Memory was evaluated, as there were hardly any practicable workarounds for this issue.

*1 Data encryption with the ENCRYPTION functions in SQL Server is not supported – this is also true for the new Always Encrypted Technology and Dynamic Data Masking.

Row-Level Security of SQL Server 2016 yet is supported. The predicates and functions must consequently be compiled natively.

Very cool, if you ask me.

Eine weitere Einschränkung ist mit der Möglichkeit, Memory-optimierte Tabellen im Nachhinein zu ändern, entfallen.
Unterstützt ist das Hinzufügen, Entfernen, und Ändern von Spalten und Indexen im Nachhinein. Anstelle CREATE/ALTER/DROP Index muss hier nun ALTER TABLE verwendet werden, da bei Memory optimierten Tabellen Indexe Teil der Tabellen-Definition sind (und in  Gesamtheit kompiliert werden).
Besonders wichtig hierbei ist, dass man darüber nun auch den Bucket-Count von Hash-Indexen ändern kann, der sich naturgemäß ja im Betrieb sehr stark ändern kann mit der Zeit.

So sieht das im Code an einem Beispiel aus:

A further limitation has been eliminated with the possibility of altering Memory-optimized tables afterwards.
Adding, dropping and altering columns and indexes afterwards is supported. Instead of CREATE/ALTER/DROP index it must now be used ALTER TABLE, since in Memory-optimized tables indexes are part of the table definition (and are being compiled in its entirety).
It is particularly important here that it is now also possible to change the bucket count of Hash-indexes which during operation may naturally change considerably over time. 

This is how it looks in a sample code:

Statistiken können auch mit SAMPLE anstelle FULLSCAN aktualisiert werden, und vor allem auch automatisch.

Datentypen: LOB-Datentypen wie varchar/varbinary(max) werden unterstützt, und werden „off-row“ gespeichert.

Statistics can also be updated with SAMPLE instead of FULLSCAN, and, above all, automatically as well.

Data type: LOB datatypes such as varchar/varbinary(max) are supported and stored “off-row.”

Wichtige, neu unterstützte T-SQL Funktionalitäten innerhalb von Natively compiled Stored Procedures und, ganz neu, Functions sind: die OUTPUT-Klausel, UNION und UNION ALL, DISTINCT, OUTER JOINs, Unterabfragen.

Important, newly supported T-SQL functionalities within Natively compiled Stored Procedures and, brand new, Functions, are: the OUTPUT clause, UNION and UNION ALL, DISTINCT, OUTER JOINs, subqueries.

Moreover, natively compiled procedures can now also be changed with ALTER PROCEDURE. In this way, they will naturally be stored compiled in the new shape in the last step.
In order to facilitate a new implementation plan in the case of changed statistics one can now also executive sp_recompile against natively compiled procedures (and functions).

Auch an der Performance wurde weiter geschraubt. So können memory-optimierte Tabellen und Hash-Indexe jetzt (im InterOP Mode) parallel gescannt werden. Im IO Bereich wurde der gesamte Checkpoint-Prozess überarbeitet und die Datenfiles können nun mit multiplen Threads geschrieben und gelesen werden, wodurch sich der Durchsatz fast auf ein zehnfaches erhöhen kann (wenn das IO-Subsystem da mithält).

Performance, too, was further tweaked. As a result, memory-optimized tables and Hash-indexes can now (in InterOP mode) be scanned simultaneously. In the IO area, the entire checkpoint process was reviewed and the data files can now be read and written with multiple threads, which may result in an almost tenfold increase of the throughput (if the IO-subsystem keeps up with it).

Columnstore-Technologie

Was hat sich eigentlich in der anderen, seit 2012 im SQL Server integrierten Storage-Engine „Vertipaq“ mit den Columnstored Indexen getan? Diese sind ja ebenfalls Main-memory optimiert, jedoch mit ganz anderem Ziel: Speicherplatzoptimierung und effiziente OLAP-Style-Queries.

Die Neuerungen hier sind sehr essentiell:

Beide Columnstore Index Typen, Clustered und Nonclustered, sind nun aktualisierbar!
Außerdem lassen sich Columnstore Indexe nun mit weiteren traditionellen btree-Indexen ergänzen. Das ist wichtig, weil ja nicht jede Abfrage wirklich von der Columnstore-Speicherform profitiert. Dieser Zugewinn an Flexibilität ist ein entscheidender Vorteil gegenüber den bisherigen Releases und kann gar nicht genug betont werden.

Columnstore Technology

What has been going on in the other Storage-Engine “Vertipaq”, integrated in SQL Server since 2012, with the Columnstored Indexes? These are also Main-memory optimized, but with an entirely different objective:
Storage space optimization and efficient OLAP-style queries.

The innovations here are very essential:

Both Columnstore Index Types, Clustered and Nonclustered, can now be updated!
Additionally, Columnstore Indexes can now be extended with further traditional btree-indexes. This is important, as not every query really profits from the Columnstore storage form. This gain in flexibility is a decisive advantage over the previous releases and cannot be emphasized enough.

And something else is now possible: Nonclustered Columnstore can be created with a filter.

Mit diesen neuen Techniken lässt sich zum Beispiel folgendes Problem lösen:

Eine Tabelle mit Verkaufstransaktionen wird im Sekundentakt durch kleine Inserts gefüllt.
Nebenbei möchte man aber auch diverse Berichte mit Tages- und Tageszeitaggregationen bereitstellen. So aktuell wie möglich natürlich.
Das Problem ist hierbei typischerweise, dass man sich hier entscheiden muss zwischen Indexen für alle Berichtsabfragen und denen, die minimal notwendig sind für etwaige Updates. Inserts benötigen ja für sich gesehen keine Indexe.
Durch diese Kombination entstehen die mit vielen Indexen überfrachteten OLTP-Tabellen, die ich bei meinen Einsätzen oft entdecke und die es dann gilt, „wegzuoptimieren“.

Mit der Möglichkeit einen Nonclustered Columnstore Index zusätzlich zu dem Clustered Index anzulegen, spart man nicht nur Indexe, (denn der Columnstore-Index kann ja jede nötige Spalte abdecken) sondern mit einem geschickt gesetzten Filter kann man auch den Index-Overhead vermeiden, der sonst die eigentlich wichtigeren Inserts treffen würde.

Die Vermischung aus OLTP- und OLAP-Abfragen sind eines der typischsten Probleme von Datenbanken, und diese neuen Möglichkeiten sind daher einfach ein Traum für Datenbank-Architekten.
So sieht das im Code aus:

By means of new techniques the following problem can be solved, for example:

A table with sales transactions is filled by small inserts at intervals of seconds.
At the same, one would also like to provide various reports on day and daytime aggregations. Maximally up to date of course.
The problem typically lies in the fact that one has to decide between indexes for all report queries and those that are minimally required for possible updates. Inserts viewed in isolation do not require any indexes.
This combination results in the OLTP tables overloaded with many indexes, which I frequently discover during my work and that then need to be “optimized” (removed).

The possibility to create a Nonclustered Columnstore Index in addition to the Clustered Index does not only save Indexes (because the Columnstore Index can cover every necessary column), but with a smartly applied filter the Index-Overhead can also be avoided that would otherwise affect the actually more important inserts.

The mixing of OLTP and OLAP queries are one of the most typical problems in databases, and these new possibilities are thus simply a dream for database architects.

This is how it will look in code:

40% Performance-Verbessrung im TPC-H Benchmark

Diese Verbesserungen haben den SQL Server 2016 im TPC-H Benchmark performance-technisch mit fast 40% mehr QphH (Query-per-Hour Performance Metric) am SQL Server 2014 vorbeiziehen lassen. Auf dem Screenshot kann man sehen, dass der Benchmark am 9.3.2016 eingesendet wurde, und auch wirklich auf derselben Hardware wie am 1.5.2015 unter SQL Server 2014 erzielt wurde.

40% Performance-Improvement in TPC-H Benchmark

In terms of performance, these improvements have made the SQL Server 2016 pull ahead of SQL Server 2014 by close to 40% more QphH (Query-per-Hour Performance Metric) in the TPC-H Benchmark. You can see in the screenshot that the Benchmark was sent in on 9 March 2016 and really was achieved on the same hardware as under SQL Server 2014 on 1 May 2015.

Weitere wichtige Verbesserungen für Columnstore sind die Unterstützung des SNAPSHOT Isolation Level (und RCSI), was besonders für Read-Only Replicas  von Availability Groups wichtig ist, sowie Online-Defragmentierung und diverse Analyse-Verbesserungen.

Further important improvements for Columnstore include the support of the SNAPSHOT Isolation Level (and RCSI), which is especially important to Read-Only Replicas of Availability Groups, as well as online-defragmentation and various analysis enhancements

Das Highlight: Real-time Operational Analytics & In-Memory OLTP

Das Highlight Schlechthin aber ist sicherlich die Kombination aus memory-optimierten Tabellen und ColumnStore Indexen.

Damit werden zwei Features, die für völlig gegensätzliche Abfrage-Typen, OLTP und OLAP, optimiert sind, verschmolzen.

The highlight: Real-time Operational Analytics & In-Memory OLTP

The absolute highlight however is surely the combination of memory-optimized tables and ColumnStore Indexes.

As a result, two features that are optimized for entirely opposing query types – OLTP and OLAP – are merged.

Technik

Technisch kommt ein Clustered Columnstore Index zum Einsatz. Dieser lässt, wie man in dem Bild sehen kann, den „hot-Bereich“ der Daten aus, um den Overhead durch die doppelte Datenhaltung bei Änderungen bzw. den potentiell schnell aufeinander folgenden Inserts in diesem Bereich zu vermeiden. Zusätzlich zu der implizierten Delta Rowgroup (im Bild: Tail), die durch den memory-optimierten Index abgedeckt wird, gibt es eine „deleted rows table“  für gelöschte Daten. Beide Bereiche werden nach dem für Columnstore Indexe standardmäßigen Schwellwert von 1 Million Zeilen asynchron komprimiert/dem CCI hinzugefügt.

An dieser Stelle noch ein Hinweis: auch die maximale Datenmenge, die pro Datenbank in (durable) memory-optimierten Tabellen gehalten werden kann, ist nun entfernt worden!
Nach aktuellem Stand der Technik sind unter Windows Server 2016 damit theoretisch bis zu 12 TB (abzgl. einem Maintenance-overhead) in XTP-memory speicherbar!

Technical facts

In technical terms, a Clustered Columnstore Index is applied. As can be seen in the image, it omits the “hot-spot” of the data in order to prevent the overhead through the double data storage in case of alterations and the potentially quick succession of inserts in this area. In addition to the implied Delta Rowgroup (in the image: Tail) that is covered by the memory-optimized index, there is a “deleted rows table” for deleted data. Both areas are asynchronously compressed/added to the CCI according to the Columnstore Index standard threshold value of 1 million cells.

At this point, let me add another note: the maximum data amount that can be stored per database in (durable) memory-optimized tables has now been eliminated, too!
As a result, according to the current technical state, in theory up to 12 TB (less a maintenance overhead) can be stored in XTP-memory under Windows Server 2016!

Und die Umsetzung in Code sieht so aus:

And applied in code, it would look like this:

Im Ergebnis hat man nun das Beste aus beiden Welten: hochperformante Inserts/Updates/Deletes und Singleton-Abfragen, und zugleich hochperformante analytische Abfragen, die mit vielen Millionen Zeilen auf einmal hantieren – und zwar zeitgleich auf derselben Tabelle!

The outcome now offers the best from both worlds: high performing inserts/updates/deletes and singleton-queries, and at the same time high performing analytic queries that handle many millions of cells at once – and in fact at the same time in the same table!

Eine Einschränkung beim Abfragen ist, dass der Columnstore Index auf memory-optimierten Tabellen nur im InterOP-Modus funktioniert – also nicht in nativ kompilierten Prozeduren.

One restriction in querying is that the Columnstore Index in memory-optimized tables only works in the InterOP mode – thus not in natively compiled procedures.

Which leads us to the last topic:

Offene Punkte, fehlende Feature-Unterstützung
Es gibt natürlich auch jetzt noch eine ganze Reihe an Features, die durch die über jahrzehntelange andauernden Entwicklung der SQL-Sprache in den SQL Server übernommen wurde, aber eben noch nicht in die neue XTP-Engine gelangt sind. Das liegt nicht nur daran, dass diese „einfach neu“ ist, sondern auch, dass durch die völlig andere Architektur dieser radikal auf In-Memory getrimmten Engine einige wesentliche Unterschiede zu den althergebrachten Datenbank-Engines bestehen.

Folgende Features vermisse ich persönlich noch am meisten:

1. DBCC CHECKDB/CHECKTABLE für memory optimierte Tabellen
2. CASE-Statement
3. Filtered Indexe
4. CTEs
5. Replikation
6. OFFSET-Operator
7. Ranking Funktionen
8. DDL Trigger für CREATE/DROP TABLE und CREATE/DROP PROCEDURE
9. TRUNCATE TABLE
10. DATA_COMPRESSION
11. Datentyp datetimeoffset

Die vollständige Liste befindet sich hier:

Open points, missing feature support

There are of course still a number of features that have been taken over into SQL Server due to the decade-long development of the SQL language, but which have not made it into the new XTP Engine yet. This is not just because the latter is “simply new” but also because due to the completely different architecture of this engine, which is radically tailored to In-Memory, there are several significant differences vis-à-vis the traditional database engines.

Personally, I miss the following features the most:

1. DBCC CHECKDB/CHECKTABLE for memory-optimized tables
2. CASE-Statement
3. Filtered Indexes
4. CTEs
5. Replication
6. OFFSET-Operator
7. Ranking Functions
8. DDL Trigger for CREATE/DROP TABLE and CREATE/DROP PROCEDURE
9. TRUNCATE TABLE
10. DATA_COMPRESSION
11. Data type datetimeoffset

For the complete list, visit:

Call to Action

Auch wenn die Liste an fehlendem Feature/Funktionssupport immer noch recht lang ist – die wenigsten nutzen wirklich all diese Features voll aus. Und für die meisten dieser übriggebliebenen „Blocker“ gibt es eigentlich recht gute Workarounds, sei es in Form einer anderen Architektur oder Code-technisch. Man muss auch bedenken, dass die In-Memory Tabellen nicht für alle Szenarien überhaupt Sinn machen, sondern eher für die Top-belasteten Tabellen Sinn machen. Und da sollte man sich ohnehin bereits etwas Mühe beim Design gemacht haben.

Generell bin ich der festen Meinung, dass sich in fast jedem Datenbankprojekt einige Stellen finden werden, die von In-Memory Funktionen profitieren können.

Warum kann ich das so sicher sagen?

Bereits seit SQL 2014 gibt es die Möglichkeit neben Memory-optimierten Tabellen auch Memory- optimierten Tabellen Variablen zu verwenden. Und mit diesen lassen sich wiederum viele Temptable-Konstrukte ablösen.

Nun werden dadurch nicht unbedingt gleich ganze Applikationen performanter, aber es ist ein Anfang, sich mit In-Memory Codetechnisch auseinanderzusetzen und langsam aber sicher damit zu programmieren. Ein weiterer „Quick-Win“ ist oft in Datawarehouse-Architekturen im sogenannten „Staging-Bereich“ zu finden, wie er gerade in traditionellen DW-Systemen häufig zum Einsatz kommt.

Call to Action

Even though the list of missing feature/function support is still quite long, only few really make full use of these features. And for most of the remaining “blockers” there are actually quite good workarounds, be it in the form of a different architecture or in code terms. One has to bear in mind that the In-Memory tables do not necessarily make sense for all scenarios, but rather for the top-affected tables. And as for the latter, one should already have put some effort into the design anyway.

In general, I firmly believe that in almost every database project there are some instances that may profit from In-Memory functions.

Why can I be so sure?

Already since SQL 2014 it has been possible to use memory-optimized table variables aside from memory-optimized tables. And using these, in turn, many temptable-constructs can be replaced. Now that does not necessarily result in higher performing applications right away, but it is a good way to start dealing with In-Memory in terms of code and to slowly but surely start programming with it. A further “Quick-Win” can often be found in data warehouse architectures in the so-called “staging area,” as it is frequently being applied in traditional DW-systems at the moment.

And it is via these “gateways” that you have will have ended up in the “In-Memory world” before you know it.

(DE)
Kaum von den SQLBits XV in Liverpool zurück, auf der ich die Security-Features des SQL Server 2016 vorstellen durfte (SQL Server 2016 - Security Obscurity and Encryption), bin ich im Moment mit der Planung der nächsten SQL Server Master-Class zu Hochverfügbarkeit mit SQL Server (SHA) beschäftigt, die vom 20.-22.6. bei Frankfurt a.M. stattfinden wird.

Hinweis: in den 3 Wochen seit Freischaltung der Anmeldung sind bereits 70% der Plätze vergeben worden. Wer sich noch einen Platz sichern möchte aber nicht weiß, wie schnell seine Einkaufsabteilung es schafft, kann sich gern an mich direkt wenden.
- Mitglieder der PASS Deutschland e.V. erhalten auch diesmal 15% Rabatt.

(EN)
It feels like I have just been back from the SQLBits XV in Liverpool, where I introduced the Security Features of the SQL Server 2016 (SQL Server 2016 - Security Obscurity and Encryption), and next thing I know, I am already in the middle of planning the next SQL Server Master-Class on High Availability with SQL Server (SHA) that is going to take place from 20-22 June near Frankfurt a.M.

Note: in the 2 weeks since activation of registration already 70% of the places have already been filled. If you want to secure a spot but don’t know how you’re your purchase department will make it, you are welcome to contact me directly.
- Members of PASS Deutschland e.V. will once again receive a 15% discount.

Davor noch aber findet, wie die beiden Jahre zuvor, der deutsche SQLSaturday „Rheinland“ in der Hochschule St. Augustin bei Bonn statt.
Diesen unterstützt meine Firma, Sarpedon Quality Lab®, wie auch das Jahr zuvor als Sponsor.

But before, the German SQLSaturday „Rheinland“ is taking place, like the previous two years.
My company, Sarpedon Quality Lab®, will be a sponsor again like last year.

Ich selber werde auch mit einem Vortrag vertreten sein. Diesmal mit einem Beitrag zu ganz klassischer Performance Tracing. Allerdings nicht, wie man immer noch hin und wieder „in the wild“ sieht mit SQL Profiler, sondern natürlich mit aktuellen Technologien wie Extended Events und sogar der neuen Query Store von SQL Server 2016:

I will also be presenting. This time, it is going to be on the entirely classical topic of Performance Tracing. However, not with SQL Profiler as can be seen once in a while “in the wild,” but of course with current technologies such as Extended Events and even the new Query Store by SQL Server 2016:

Analysieren von SQL Server Workloads mit DMVs und XEvents

Diese Session führt durch eine beispielhafte Performance-Analyse unter der Verwendung von DMVs und Extended Events. Wir sehen, wie man eine Top-Down Analyse mit eingebauten Tools durchführen kann und wie man eine feingradige Analyse selbst mittels den „Wait Statistics“ durchführen kann, um Performance-Problemen und Bottlenecks auf die Schliche zu kommen. Zur Identifizierung von Plan-Änderungen wird auch die neue Query Data Store von SQL Server 2016 zum Einsatz kommen. Wer auf dem Feld der Performance-Analysen noch neu ist oder sehen möchte, wie man an die Herausforderung herangehen kann, wird hier praktische Einblicke erhalten, wie man eine Workload analysieren kann. – Die Session ist selbstverständlich „Profiler-free“ ;-)

Performance Analyzing SQL Server workloads with DMVs and XEvents

This session you will be lead you through an example performance-analysis using mainly DMVs and Extended Events. You will see how a top-down analysis using built-in tools can be conducted. This will include wait statistics on different scopes to identify performance problems and bottlenecks up to identifying query plan changes – with & without using the Query Store of SQL Server 2016. If you are new to performance analyzing this session will give you a practical insight into how to methodically approach performance troubleshooting.

Asien

Im August bin ich wieder in Asien unterwegs und das zweite Mal in Folge auf der größten SQL Server Konferenz Asiens: dem SQL Server Geeks Summit in Bangalore, Indien.

Asia

In August, I will be traveling Asia again and attending the largest SQL Server Conference in Asia for the second time in a row: the SQL Server Geeks Summit in Bangalore, India.

Dort werde ich dieses Jahr eine ganztägige Pre-Con geben. Thema: Die In-Memory Storage Engines von SQL Server, die mit dem SQL Server 2016 umfangreich verbessert worden. Das heißt es geht um ColumnStore, Memory Optimized Tabellen, Memory Optimized Indexe, und die Kobinationsmöglichkeiten mit traditioneller Row-Store oder auch ColumnStore für Mixed OLAP als auch OLTP workloads.
Es wird super spannend und sehr technisch. Wer sich damit noch nicht beschäftigt hat: es wird höchste Zeit. Die Art und Weise, wie man Datenbanken konzipiert und designt ändert sich zurzeit rapide. Ich bleibe bei meinen Vorhersagen, dass ColumnStore bald der Standard für Datawarehousing sein wird, und In-Memory OLTP der standard für hochperformante OLTP-Szenarien. Hier zeige ich die technischen Hintergründe und Machbarkeiten.

This time, I will be giving a full-day Pre-Con. Topic: The In-Memory Storage Engine of SQL Server that have been extensively improved with SQL Server 2016. That is, it will be about ColumnStore, Memory Optimized Tables, Memory Optimized Indexes, and the combination possibilities with traditional Row-Store or also ColumnStore for Mixed OLAP as well as OLTP workloads.
It will definitely be super exciting and very technical. If you haven’t dealt with this yet: it is about time! The way of conceptualizing and designing databases is changing rapidly at the moment. I am sticking to my predictions that ColumnStore will soon be the standard for Datawarehousing, and In-Memory OLTP the standard for high performing OLTP scenarios.
At this Pre-Con, I will be demonstrating the technical background and feasibility.

Obendrein werde ich noch zwei normalere Sessions auf der Hauptkonferenz geben. Die Themen stehen noch nicht fest.

Added to that I will give two more normal sessions at the main conference. The topics are not final yet.

Nach Indien werde ich auf der SQLSaturday Singapore präsentieren. Diese Konferenz wird bei Microsoft Singapore Operations Pte Ltd, One Marina Boulevard stattfinden – inmitten der berühmtesten Sehenswürdigkeiten Singapurs.

Hier gebe ich möglicherweise auch eine PreCon, aber die Planung ist noch nicht abgeschlossen, also mal schauen, was es sein wird. Auch auf dieses Event freue ich mich sehr.

After India I will be presenting at SQLSaturday Singapore. This event will be held at Microsoft Singapore Operations Pte Ltd, One Marina Boulevard – right in the center of the most famous sights of Singapore.

Also here I might give a PreCon, but the planning is not finalized yet, so let’s see what it will be. I am very much looking forward to this event as well.