SQL Server 2016 SP1 removes the editions’ programming feature limits! Everything from Always Encrypted to XTP/In-memory for everybody!
Nov 16th
SQL Server 2016 SP1 entfernt Programmier-Feature-Limits der Editionen! Alles von Always Encrypted bis XTP: In-Memory für Alle!
Unglaubliche Neuigkeiten, anders kann man es gar nicht sagen: Mit dem heute erschienenen Service Pack 1 für SQL Server 2016, macht Microsoft den programmiertechnischen Unterschieden zwischen den Editionen der relationalen Datenbankengine (LocalDB, Express, Standard, Web, Enterprise) ein Ende! Ab heute kann JEDER, der bereits auf SQL Server 2016 arbeitet, In-Memory optimierte Tabellen erstellen, Tabellen partitionieren, Columnstore Indexe verwenden, etc. etc. Und wenn das nicht reichen würde, bringt das SP1 auch für sich genommen viele weitere wertvolle neue Features wie „Database Clones“, „CREATE OR ALTER“-Syntax, viele neue Diagnose-Verbesserungen (Showplan, XEvents, DMVs, Errorlog), NUMA-Awareness für Analysis Services und weiteres (mehr Infos im offiziellen Announcement von Microsoft hier). Wow, einfach wow… die Möglichkeiten, die dies für Kunden eröffnet sind unglaublich. Vorbei die Zeiten zwingend darauf aufzupassen, keine Enterprise Features wie Compression oder Datenbank-Level-Auditing auf Standard-Editionen zu deployen. Die In-Memory Revolution ist nun für alle da! Bevor ihr fragt, was dann überhaupt noch die Editionsunterschiede sind: Was bleibt und bleiben wird, ist, dass die größeren Editionen einfach mehr Hardware unterstützen. Die Limits von 16 Cores und 128 GB RAM für die Standard Edition und noch weniger für Express bleiben bestehen. Das ist und bleibt entscheidend. Aber definitiv muss ich mir einen neuen Spruch ausdenken: Früher pflegte ich immer zu sagen: „Um zu entscheiden, ob ein Feature Enterprise ist, reicht, zu wissen, ob es ‘cool‘ (z.B. Database Snapshot) oder ‘schnell‘ (z.B. Columnstore) ist.“ |
These are just sublime news, there is no other way to put it: With the Service Pack 1 for SQL Server 2016 released today, Microsoft puts an end to the differences in the relational database Engine in terms of programmability features between the editions (LocalDB, Express, Standard, Web, Enterprise)! As of today, EVERYONE who is already working on SQL Server 2016 can create In-Memory optimized tables, partitioned tables, use Columnstore Indexes and so forth. And as if that weren’t enough, the SP1 itself also includes many more valuable features such as “Database Clones,” “CREATE OR ALTER”-syntax, many new diagnosis improvements (Showplan, XEvents, DMVs, Errorlog), NUMA-Awareness for Analysis Services and more (read more in the official announcement of Microsoft here). Wow, just wow… the possibilities thus offered to customers are unbelievable. Gone are the days when you had to make sure not to deploy any Enterprise features such as Compression or Database level auditing on Standard Editions. The In-Memory Revolution is now available to everybody! Before you ask how, then, the editions will differ: What will remain in place is that the larger editions simply support more hardware. The limits of 16 Cores and 128 GB RAM for the standard edition and even less for Express will remain the same. That is and remains key. But I definitely need to think of a new line: In the past, I always used to say: “In order to decide whether a feature is Enterprise it suffices to know if it’s ‘cool’ (e.g. Database Snapshot) or ‘quick’ (e.g. Columnstore).” |
Ab heute gilt: die Größe macht den Unterschied. Bevor mich jemand falsch zitiert: es gibt durchaus noch Features, die der Enterprise-Edition vorbehalten bleiben. Die Betonung bei der Gleichziehung liegt auf Programmier-Features. Reine HA-Features wie z.B. multiple Secondaries, bestimmte Sicherheitsfeatures wie TDE oder Engine-interne Performance Optimierungen wie „Advanced Read-Ahead“, Star Join-Optimierung usw. bleiben der Enterprise Edition vorbehalten. Manches bleibt auch technisch beschränkt. So hat man für Change Data Capture unter der Express-Edition ja keinen SQL Agent. Aber das sollte die Freue nicht schmälern. Und hier geht es zum Download des Microsoft® SQL Server® 2016 Service Pack 1 (SP1): |
As of today, the following applies: it is the size that makes the difference. But before someone gets me wrong: There are definitely still features that remain exclusive to the Enterprise edition. The emphasis on the getting equal is on the programming features. Mere HA features such as multiple secondaries, and certain security features such as TDE or engine-internal performance optimizations like “Advanced Read-Ahead”, Star Join-Optimization etc. remain exclusive to the Enterprise edition. Some of it also remains limited in technical terms. For Change Data Capture, for example, you do not have an SQL Agent in the Express edition. But that shouldn’t cut down on the joy. Here, you can download the Microsoft® SQL Server® 2016 Service Pack 1 (SP1): |
www.microsoft.com/en-us/download/details.aspx?id=54276
Und hier noch ein paar weitere Links zu den Neuerungen mit dem Service Pack 1: |
And here some more links about the changes with Service Pack 1: |
What’s new in SQL Server 2016 SP1 for Reporting Services
Microsoft Changes Feature Support Between Editions in SQL Server 2016 Service Pack 1 (Article by my good fellow Victor Isakov, MCM and MCA from Australia with nice background details)
Viel Spaß mit dem SP1 und beim Ausprobieren der neu verfügbaren Features. Und wenn Sie jetzt meinen, dass Sie nicht nur lesen wollen, sondern sich tiefergehendes Wissen aneignen oder endlich auf die aktuelle SQL Server Version upgraden wollen, helfen wir von Sarpedon Quality Lab® Ihnen gerne. |
Have fun with the SP1 and trying the newly available features. And if you now feel like reading isn’t enough but you would like to acquire in-depth knowledge or finally upgrade to the current SQL Server Version, you are in good hands with Sarpedon Quality Lab®. |
Andreas Wolter
What makes a successful Tech Conference? // Was macht eine erfolgreiche technische Konferenz aus?
Sep 20th
(EN) After my Asia-tour this summer I feel it is about time for this article. Recently again I have been asked by a good friend and organizer how I felt about their conference (remember, a conference is never run by a single person) and what could be improved. Note: this article is based on the experience of my own and unlike a technical article there will hardly be one version of the truth. So, what makes a conference successful? |
(DE) Nach meiner Asien-Tour in diesem Sommer ist nun dieser Artikel an der Reihe. Erst vor kurzem wurde ich wieder von einem guten Freund und Organisator gefragt, was ich von ihrer Konferenz hielte (eine Konferenz wird ja nie von einer einzelnen Person durchgeführt) und was noch verbessert werden könnte. Hinweis: dieser Artikel beruht auf meiner eigenen Erfahrung und im Gegensatz zu einem technischen Artikel, wird es kaum eine Version der Wahrheit geben. Was macht also eine erfolgreiche Konferenz aus? |
Exhibition at PASS Summit USA 2013
“It is big”
Probably the most common answer will be: 1) “It is big”, or even “the biggest” – both in terms of number of attendees and offered parallel sessions, tracks and topics. A good example would be the PASS Summit in the US: the biggest SQL Server conference worldwide. But of course there are even much bigger events outside of the pure SQL Server world… |
Die wahrscheinlich gängigste Antwort wird sein: 1) „Sie ist groß“ oder gar „die größte“ Konferenz – sowohl von der Zahl der Teilnehmer her als auch von den angebotenen Sessions, Tracks und Themen. Ein gutes Beispiel wäre der PASS Summit in den USA: die weltweit größte SQL-Server-Konferenz. Aber außerhalb der reinen SQL-Server-Welt gibt es natürlich noch viel größere Events… |
Attendees Party at PASS Summit 2013 in Charlotte NASCAR Hall of Fame
“it has more attendees than last year.”
2) Almost no conference starts “big”, let alone the “biggest”, so in the beginning, when establishing a conference, it will often be: “it has more attendees than last year.” - This is the first and most obvious sign of a successful progression. |
2) Fast keine Konferenz fängt “groß” an, geschweige denn als „die größte“, so dass es am Anfang, wenn eine Konferenz gerade etabliert wird, oft heißen wird: „es gibt mehr Teilnehmer als letztes Jahr.“ – Das ist das erste und offensichtlichste Zeichen einer erfolgreichen Entwicklung. |
Thomas La Rock, the PASS President at that time and Oliver Engels, PASS Chapter Leader at that time of German PASS at SQL Konferenz 2014 – the 10th anniversary of PASS Germany
"Your sponsors are your partners."
Also, do not forget the sponsors who are highly dependent on the right mix of people – and not the pure numbers. Having the right sponsors (by making them happy) will give you more flexibility in the whole setup from location, catering, speaker-invites and “goodies”. If you are reading this in preparation of a conference, bear this in mind. Your sponsors are your partners. |
Auch darf man nicht die Sponsoren vergessen, welche stark von der richtigen Mischung an Leuten abhängig sind – und nicht von den reinen Zahlen. Die richtigen Sponsoren zu haben (indem man sie glücklich macht) gibt einem mehr Flexibilität beim ganzen Aufbau, von der Location über Catering, Sprecher-Einladungen bis hin zu „Goodies“. Wenn ihr gerade bei der Vorbereitung einer Konferenz seid, während ihr dies lest, behaltet das im Auge. Eure Sponsoren sind Eure Partner. |
Sarpedon Quality Lab® Sponsor booth at SQL Konferenz 2016
“community conferences are often very happy with a break even.”
3) It can also be: “it generates a good profit.” Why would a conference make a loss and still be repeated you would ask yourself? In fact community conferences are often very happy with a break even as the main interest is to just serve the community and not the profit. For commercial conferences the reasons may be a bit different. That brings me to the other options: |
3) Es kann auch heißen: “Sie wirft einen guten Gewinn ab.” Oftmals wird es tatsächlich heißen: „Sie erzielt Gewinn.“ – Mehr als einen Verlust. Und das passiert häufiger als man meinen mag. Warum würde eine Konferenz Verluste machen und trotzdem wiederholt werden, könnte man sich fragen? Tatsächlich sind Community Konferenzen oft sehr zufrieden mit einer runden Null, da das Hauptinteresse der Community und nicht dem Profit gilt. Bei kommerziellen Konferenzen mögen die Gründe etwas anders sein. Das führt mich zu den anderen Optionen: |
The MCMs at the PASS Summit 2014
“famousness leads to more publicity”
4) The conference may not create profit, but, simply put “famousness”. Famousness that leads to more publicity. And this alone can be worth the effort for both a commercial as well as a non-profit driven conference. What kind of fame could that be other than being “the greatest”? A conference can be known for:
|
4) Die Konferenz mag zwar keinen Gewinn erzielen, aber, einfach ausgedrückt, „Bekanntheit“. Bekanntheit, die zu mehr Öffentlichkeit führt. Und das allein kann die Anstrengung wert sein sowohl für eine kommerzielle als auch eine nichtkommerziell geführte Konferenz. Welche Art von Bekanntheit könnte das sein, außer „die größte“ zu sein? Eine Konferenz kann bekannt sein für:
|
„Space Party“ at SQL Bits 2016 - check out the dancing Darth Vader in the background :-D
Video shooting at SQL Konferenz 2016 with Joachim Hammer, Head of the Security-Team for relational Engines from Redmond (right), Tobiasz Koprowski from UK (middle) and myself – Video available at Channel 9: “Let's Talk SQL Server 2016 Security”
“volunteers are key”
5) And yet there is more. It is something that is not measurable in numbers or can be put in simple words: I will call it “atmosphere” in an attempt to give it a simple descriptive name. It consists of the certain spirit that you feel at the conference. How the people interact, how attendees approach speakers and vice versa. It is hard to describe, but when you have been at several conferences you will sense the difference. An ambitious crew of positive-thinking crew that puts its heart in the work for the conference can make a huge difference and give the conference the right impulse towards a successful conference with attendees and speakers wanting to come back. And until someone proves me wrong I will leave this as a thesis :-) - How do you find volunteers? Well, hopefully they will find you. ;-) Besides obviously your local user groups it can help to talk to your local university’s technology/IT information department. Small side note: As a university dropout (Japanese & British studies, for those who are curious – computer science, at least in terms of substance, was no good back then…) I would have never imagined to ever be giving presentations in a university auditorium. Yet this is exactly what I did a couple of years ago at SQLSaturday Rheinland/Germany at the Bonn-Rhein-Sieg University and, only recently, in the framework of SQLGulf, at the Alfaisal University in Riadh. Unfortunately that is as much as I can say about finding volunteers. During my travels I did realize that there can be huge differences between countries in terms of volunteers. Why that is, is hard to tell and certainly a complex matter. I did find the volunteers outstanding at the SQL Server Geeks Conference in India and also in Portugal in terms of sheer number and positive energy. If you ever make it there, you will know what I mean. |
5) Und es gibt trotzdem noch etwas. Es ist etwas, das sich nicht in Zahlen messen oder einfachen Worten ausdrücken lässt: Ich nenne es mal „Atmosphäre“ im Versuch, ihm einen einfachen, anschaulichen Namen zu geben. Es besteht aus der bestimmten Stimmung, Atmosphäre, die man auf der Konferenz spürt. Wie die Leute miteinander interagieren, wie die Teilnehmer die Sprecher ansprechen und umgekehrt. Es ist schwer zu beschreiben, aber wenn man einmal auf mehreren Konferenzen gewesen ist, wird man den Unterschied spüren. Demnach ist dies auch der Aspekt, der am wenigstens vom Organisator beeinflusst werden kann. Das ist jedenfalls mein Empfinden. Nach meiner Beobachtung ist die relative Zahl an ehrenamtlichen Helfern ein Indiz für eine äußerst positive Atmosphäre. Also sollte ich vielleicht sagen: „Ehrenamtliche Helfer sind wesentlich“ für eine erfolgreiche Konferenz. Eine ambitionierte, positiv-denkende Mannschaft, die ihr Herz in die Arbeit für die Konferenz steckt, kann einen großen Unterschied machen und der Konferenz den richtigen Impuls hin zu einer erfolgreichen Konferenz geben, zu der die Teilnehmer und Sprecher zurückkommen wollen. Und bis jemand beweist, dass ich falsch liege, lasse ich es als meine These stehen :-) -Wie findet man ehrenamtliche Helfer? Nun, hoffentlich finden sie Euch. ;-) Neben euren örtlichen Nutzergruppen (naheliegend) kann es hilfreich sein, mit der IT-Fakultät eurer örtlichen Universität zu sprechen. Kleine Randnotiz: Als Studienabbrecher (Japanologie & Anglistik für wen es interessiert – Informatik taugte inhaltlich so rein gar nichts damals…) hätte ich nie gedacht, jemals im Auditorium einer Hochschule Vorträge zu halten. Und genau das habe ich dann vor einigen Jahren auf dem SQLSaturday Rheinland/Germany in der Hochschule Rhein-Sieg und kürzlich, im Rahmen von SQLGulf sogar in der Alfaisal Universität in Riad. Leider ist das schon alles, was ich zum Thema Freiwillige finden sagen kann. Während meiner Reisen habe ich festgestellt, dass es große Unterschiede zwischen Ländern geben kann, was ehrenamtliche Helfer angeht. Warum das so ist, ist schwer zu sagen und sicherlich eine komplexe Materie. Ich fand die ehrenamtlichen Helfer auf der SQL Server Geeks-Konferenz in Indien und auch die in Portugal einfach umwerfend, nicht nur von der reinen Zahl her, sondern auch von der positiven Energie. Wenn Sie es einmal dahin schaffen, dann werden Sie wissen, was ich meine. |
Attendees, Speakers, organizers and volunteers at SQL Server Geeks Conference 2016 in Bangalore, India
Note that I do not include the point: being “the best conference”. As there are so many possibilities to host a great conference, accomplishing all at the same time seems rather impossible. |
Beachtet, dass ich hier nicht den Punkt, „die beste Konferenz“ zu sein, aufführe. Da es so viele Möglichkeiten gibt, eine tolle Konferenz zu halten, scheint es eher unmöglich, alles auf einmal zu vollbringen. |
Speakers and Organizers at SQL Gulf 2016 in Riadh, Saudi Arabia
“the most precious thing we all have to offer is time”
Finally: One may ask: “What do I look for as a speaker?” Now, I cannot deny that being at conferences is also “work”. Even if I love my job and look forward to presenting, I do have to justify it from business aspects as well. Luckily, being the owner of Sarpedon Quality Lab, I allow myself a few exceptions and a relaxed attitude towards conference-attendance. So the answer to the question as to which conferences I prefer would be: the ones with the best atmosphere und the most interactivity with the attendees. After all, the most precious thing we all have to offer is time. And a conference is a great opportunity to spend it with many people with similar interests. |
Und schließlich: Man mag fragen: “Wonach suche ich als Sprecher?” Jetzt kann ich nicht bestreiten, dass auf Konferenzen zu sein auch „Arbeit“ ist. Obwohl ich meine Arbeit liebe und ich mich aufs Präsentieren freue, muss ich es auch aus geschäftlichen Aspekten rechtfertigen. Zum Glück kann ich mir, als Inhaber von Sarpedon Quality Lab, einige Ausnahmen und eine entspannte Einstellung gegenüber Konferenz-Teilnahmen erlauben. Daher wäre die Antwort, welche Konferenzen ich vorziehe: diejenigen mit der besten Atmosphäre und der besten Interaktivität mit Teilnehmern. |
View from the Microsoft office Singapore, the Location of SQLSaturday Singapore 2016
From the an attendee's point of view things like “many sessions to choose”, “well known top experts to meet”, “being able to interact with speakers and get answers to technical questions”, “connecting with fellow professionals” and “getting in touch with interesting companies (potentially new employers)” will probably be among the most important reasons. |
Aus Sicht eines Teilnehmers sind vermutlich Dinge wie „viele Sessions zur Auswahl, „bekannte Top Experten treffen können“, „mit Sprechern in Kontakt kommen und Antworten auf technische Fragen zu erhalten“, „sich mit anderen Profis zu vernetzen“ und „mit interessanten Firmen (potentiellen neuen Arbeitgebern) in Kontakt zu kommen“ unter den wichtigsten Gründen sein. |
View from the Microsoft office Kuala Lumpur, the Location of SQLSaturday Malaysia 2015
Disclaimer: If I have not mentioned your conference, do not take it as a negative. I have simply been at too many (over 50 conferences in more than 12 countries) and on the other hand certainly not enough to make a scientific statement. I tried to give only a few examples for certain criteria. I am not doing an overall “rating of conferences”. |
Disclaimer: Wenn ich Eure Konferenz nicht erwähnt habe, fasst es nicht negativ auf. Ich bin einfach auf zu vielen gewesen (über 50 Konferenzen in mehr als 12 Ländern) und andererseits sicherlich nicht genügend, um eine wissenschaftliche Aussage fällen zu können. Ich habe nur einige Beispiele für bestimmte Kriterien zu geben versucht und mache hier keine Gesamt-„Bewertung von Konferenzen“. |
Alfaisal University in Riadh, the Location of SQL Gulf 2016
Question to my readers: What do YOU think? I am curious to hear your answers which may be slightly different for each of you. |
Frage an meine Leser: Was denkst DU? Warum gehst Du auf Konferenzen, warum sprichst Du auf Konferenzen oder warum organisierst Du Konferenzen? Ich bin neugierig auf Eure Antworten, die für jeden leicht unterschiedlich sein mögen. |
Attendees at German SQL Server Master-Class “High Availability” 2015
Cu next conference
Andreas
The MCMs at the PASS Summit 2015
Index-Cheat-Sheet. The complete Index-compatibility Matrix for SQL Server
Aug 1st
(DE) Wo es früher nur die Auswahl an „Clustered oder Non-Clustered“ (Deutsch auch „gruppiert oder nicht-gruppiert“) gab, gibt es mittlerweile auch Clustered Columnstore, Non-Clustered Columnstore, Nonclustered Hash und Nonclustered Range-Indexe. Und seit SQL Server 2016 sind diese Indextypen untereinander noch weiter kombinierbar. |
(EN) When previously there had only been the choice of “Clustered or Non-Clustered,” now there are also Clustered Columnstore, Non-Clustered Columnstore, Nonclustered Hash und Nonclustered Range-Indexes. And since SQL Server 2016, these index types can be further combined. Simply put, now it is possible to combine both page-based indexes and memory-optimized tables with Columnstore indexes. |
Um auf schnelle Weise sehen zu können, welche Kombination an Indexen möglich ist, habe ich eine Matrix erstellt, welche die Kombinationsmöglichkeiten darstellt. |
In order to quickly determine which combination in indexes is possible, I created a matrix that illustrates the combination options. Completed with additional information, you can download the “index cheat sheet” as a PDF document. This is how it looks: |
Download Herunterladen kann man es hier bei Technet: |
Download You can download it here at Technet: |
gallery.technet.microsoft.com/Index-Cheat-Sheet-The-8378ac1b
Insgesamt sind gibt es also mittlerweile 4 verschiedene Basis-Strukturen:
|
In total, there are now 4 different basic structures:
|
- Nicht enthalten sind: Indexed Views, XML-Indexe und Räumliche (Spatial) Indexe, sowie die Implikationen bei Sparse-Columns. - Unique Indexe habe ich nicht gesondert betrachtet, da sich diese für meine Betrachtung nicht anders als ihre Nicht-Unique Pedanten verhalten. |
- Not included are: Indexed Views, XML-Indexes and spatial indexes, as well as the implications in Sparse-Columns. Generally, the latter are all still based on the page-based b-Tree indexes, but are significantly more restricted due to the data types partially based on CLR. - I did not consider Unique Indexes separately as for the purpose of my consideration they do not behave differently to the way their non-unique counterparts do. |
Zusätzlich habe ich noch einige Grundregeln und Höchstgrenzen mit aufgenommen. Dem aufmerksamen Leser wird dabei vielleicht auffallen, dass die maximale Anzahl der Index-Spalten in SQL Server 2016 von 16 auf 32 angehoben worden ist. – Bitte seht das aber nicht als Einladung an, diese Limit auch nur Ansatzweise auszunutzen! |
In addition, I have included a few basic rules and maximum limits. The attentive reader may notice that the maximum number of index columns in SQL Server 2016 has increased from 16 to 32. – But please do not regard it as an invitation to even attempt to exploit these limits! |
Ich hoffe diese Übersichten sind eine hilfreiche Erinnerungsstütze nicht nur für Einsteiger, sondern auch für solche, die sich nicht immer an jede Regel erinnern können. Zum Weiterlesen sind auch einige Links auf BOL hinterlegt. |
I hope these overviews are a helpful mnemonic device not only for beginners but also for those who don’t always remember every single rule. Links for further readings at BOL are also listed. |
Hinweis: Die Übersicht basiert auf dem aktuellen Stand der Technik: SQL Server 2016. Bereits gegenüber SQL Server 2014 gibt es wesentliche Unterschiede, und viel mehr noch zu 2012. Folgende Artikel gab es zu diesen Themen bereits von mir: |
Note: This overview is based on the current technical state: SQL Server 2016. There are already significant differences to SQL Server 2014, and even more to 2012. The following articles on these topics I have published before: |
- The SQL Server 2016 In-Memory Evolution – from row-store to columnstore to in-memory operational analytics
- SQL Server 2016 – the Security & Performance Release / ein Sicherheits- und Performance-Release
- Artikel „SQL Server 2014 – Neues Fundament“ in iX Ausgabe 5/2014, Richtigstellungen zu In-Memory OLTP und ColumnStore Indexes und warum AlwaysOn nicht gleich Always On ist / SQL Server 2014 – New Fundament” in iX Issue 5/2014, corrections in In-Memory OLTP and ColumnStore Indexes, and why AlwaysOn is not the same as Always On
- The Columnstore Indexes & Batch Mode Processing (R)Evolution in SQL Server 2014
Happy Indexing
Andreas
The SQL Server 2016 In-Memory Evolution – from row-store to columnstore to in-memory operational analytics
Jul 1st
(DE) - Was hinter der im SQL Server 2014 eingeführten In-Memory Engine von SQL Server steckt, habe ich auf diversen internationalen Konferenzen und in der IX bereits 2014 vorgestellt. Zu einem Blog-Artikel bin ich leider bisher nicht gekommen. In diesem Artikel möchte ich die Neuerungen und Verbesserungen beleuchten, an denen Microsoft die letzten 2 Jahre gearbeitet hat, und die viel auf Kundenfeedback zurückzuführen sind. Feedback, welches in einem großen Maße noch aus „nicht umsetzbar, weil dies und dies fehlt“ bestand. Und eines kann ich vorwegnehmen: in meinen Augen hat Microsoft die überwiegende Anzahl an Blockern adressieren können. |
(EN) - At various international conferences and already at the IX in 2014 I have presented what is behind the In-Memory Engine of SQL Server introduced in SQL Server 2014. Only I had not yet found the time to put it into a blog article so far. In this article I will illuminate the innovations and improvements Microsoft has been working on for the past 2 years, and which can be attributed much to customer feedback. In fact, feedback that to a great extent consisted of notes like “not practicable because this and this is missing.” And let me say one thing before I start: in my view, Microsoft has been able to address the majority of blockers. |
Das heißt, In-Memory ist für jeden mindestens eine Evaluierung Wert, und in fast allen Datenbank-Projekten finden sich Strukturen, sie man In-Memory eleganter lösen kann. – Ok, nicht für ganz jeden, denn dieses Feature ist leider der Enterprise-Edition vorbehalten. |
That means, everybody should at least consider evaluating In-Memory, and in almost all database projects there are structures that can be solved more elegantly In-Memory. – Ok, maybe not for everybody, because this feature is unfortunately limited to the enterprise edition. |
Die wichtigsten Neuerungen für memory optimierte Tabellen sind: Man kann nun sowohl Unique Indexe als auch Fremdschlüssel-Constraints definieren. Letztere sind nur zwischen memory-optimierten Tabellen möglich (und nicht zwischen Disk-/Page-basierten und memory-optimierten Tabellen), und müssen sich immer auf den Primärschlüssel beziehen – der Verweis auf Unique Indexe ist nicht möglich. Auch sind nun NULL-Werte in Nicht-Unique Indexen zulässig (Anders als bei Disk-basierten Tabellen nicht in Unique-Indexen!). Ebenfalls sehr wichtig ist die Unterstützung aller Codepages und von Nicht-Unicode-Daten sowie die Verschlüsselung der memory-optimierten Daten mit TDE (ergo nicht im Arbeitsspeicher selber sondern der Daten, die auf der Festplatte abgelegt werden). *1 Das waren in meinen Augen die häufigsten Blocker in Projekten, in denen In-Memory evaluiert wurde, da es dafür kaum praktikable Workarounds gab. *1 Daten-Verschlüsselung mit den ENCRYPTION-Funktionen in SQL Server wird nicht unterstützt – das gilt auch für die neue Always Encrypted Technologie und Dynamic Data Masking. Row-Level Security von SQL Server 2016 wird aber unterstützt. Die Prädikate und Funktionen, müssen dann nativ kompiliert werden. Sehr cool, wenn ihr mich fragt. |
The most important innovations for memory-optimized tables are: It is now possible to define Unique Indexes as well as foreign key constraints. The latter are only possible between memory-optimized tables (and not between disk-/page-based and memory-optimized tables), and must always refer to the primary key – referring to Unique Indexes is not possible. Moreover, NULL-values in Non-Unique Indexes are now allowed (as opposed to disk-based tables not in Unique Indexes!). Equally very important is the support of all code pages and of non-Unicode data as well as the encryption of memory-optimized data with TDE (hence not in the main memory itself but of the data that stored on disk). *1 In my view, these were the most frequent blockers in projects in which In-Memory was evaluated, as there were hardly any practicable workarounds for this issue. *1 Data encryption with the ENCRYPTION functions in SQL Server is not supported – this is also true for the new Always Encrypted Technology and Dynamic Data Masking. Row-Level Security of SQL Server 2016 yet is supported. The predicates and functions must consequently be compiled natively. Very cool, if you ask me. |
Eine weitere Einschränkung ist mit der Möglichkeit, Memory-optimierte Tabellen im Nachhinein zu ändern, entfallen. So sieht das im Code an einem Beispiel aus: |
A further limitation has been eliminated with the possibility of altering Memory-optimized tables afterwards. This is how it looks in a sample code: |
Statistiken können auch mit SAMPLE anstelle FULLSCAN aktualisiert werden, und vor allem auch automatisch. Datentypen: LOB-Datentypen wie varchar/varbinary(max) werden unterstützt, und werden „off-row“ gespeichert. |
Statistics can also be updated with SAMPLE instead of FULLSCAN, and, above all, automatically as well. Data type: LOB datatypes such as varchar/varbinary(max) are supported and stored “off-row.” |
Wichtige, neu unterstützte T-SQL Funktionalitäten innerhalb von Natively compiled Stored Procedures und, ganz neu, Functions sind: die OUTPUT-Klausel, UNION und UNION ALL, DISTINCT, OUTER JOINs, Unterabfragen. Außerdem können nativ kompilierte Prozeduren nun auch mit ALTER PROCEDURE verändert werden. Dadurch werden sie naturgemäß im letzten Schritt in der neuen Form kompiliert abgelegt.Um für den Fall von geränderten Statistiken einen neuen Ausführungsplan zu ermöglichen, kann man nun auch sp_recompile gegen nativ kompilierte Prozeduren (und Funktionen) ausführen. |
Important, newly supported T-SQL functionalities within Natively compiled Stored Procedures and, brand new, Functions, are: the OUTPUT clause, UNION and UNION ALL, DISTINCT, OUTER JOINs, subqueries. Moreover, natively compiled procedures can now also be changed with ALTER PROCEDURE. In this way, they will naturally be stored compiled in the new shape in the last step. |
Auch an der Performance wurde weiter geschraubt. So können memory-optimierte Tabellen und Hash-Indexe jetzt (im InterOP Mode) parallel gescannt werden. Im IO Bereich wurde der gesamte Checkpoint-Prozess überarbeitet und die Datenfiles können nun mit multiplen Threads geschrieben und gelesen werden, wodurch sich der Durchsatz fast auf ein zehnfaches erhöhen kann (wenn das IO-Subsystem da mithält). |
Performance, too, was further tweaked. As a result, memory-optimized tables and Hash-indexes can now (in InterOP mode) be scanned simultaneously. In the IO area, the entire checkpoint process was reviewed and the data files can now be read and written with multiple threads, which may result in an almost tenfold increase of the throughput (if the IO-subsystem keeps up with it). |
Columnstore-Technologie Was hat sich eigentlich in der anderen, seit 2012 im SQL Server integrierten Storage-Engine „Vertipaq“ mit den Columnstored Indexen getan? Diese sind ja ebenfalls Main-memory optimiert, jedoch mit ganz anderem Ziel: Speicherplatzoptimierung und effiziente OLAP-Style-Queries. Die Neuerungen hier sind sehr essentiell: Beide Columnstore Index Typen, Clustered und Nonclustered, sind nun aktualisierbar! |
Columnstore Technology What has been going on in the other Storage-Engine “Vertipaq”, integrated in SQL Server since 2012, with the Columnstored Indexes? These are also Main-memory optimized, but with an entirely different objective: The innovations here are very essential: Both Columnstore Index Types, Clustered and Nonclustered, can now be updated! And something else is now possible: Nonclustered Columnstore can be created with a filter. |
Mit diesen neuen Techniken lässt sich zum Beispiel folgendes Problem lösen: Eine Tabelle mit Verkaufstransaktionen wird im Sekundentakt durch kleine Inserts gefüllt. Mit der Möglichkeit einen Nonclustered Columnstore Index zusätzlich zu dem Clustered Index anzulegen, spart man nicht nur Indexe, (denn der Columnstore-Index kann ja jede nötige Spalte abdecken) sondern mit einem geschickt gesetzten Filter kann man auch den Index-Overhead vermeiden, der sonst die eigentlich wichtigeren Inserts treffen würde. Die Vermischung aus OLTP- und OLAP-Abfragen sind eines der typischsten Probleme von Datenbanken, und diese neuen Möglichkeiten sind daher einfach ein Traum für Datenbank-Architekten. |
By means of new techniques the following problem can be solved, for example: A table with sales transactions is filled by small inserts at intervals of seconds. The possibility to create a Nonclustered Columnstore Index in addition to the Clustered Index does not only save Indexes (because the Columnstore Index can cover every necessary column), but with a smartly applied filter the Index-Overhead can also be avoided that would otherwise affect the actually more important inserts. The mixing of OLTP and OLAP queries are one of the most typical problems in databases, and these new possibilities are thus simply a dream for database architects. This is how it will look in code: |
40% Performance-Verbessrung im TPC-H Benchmark Diese Verbesserungen haben den SQL Server 2016 im TPC-H Benchmark performance-technisch mit fast 40% mehr QphH (Query-per-Hour Performance Metric) am SQL Server 2014 vorbeiziehen lassen. Auf dem Screenshot kann man sehen, dass der Benchmark am 9.3.2016 eingesendet wurde, und auch wirklich auf derselben Hardware wie am 1.5.2015 unter SQL Server 2014 erzielt wurde. |
40% Performance-Improvement in TPC-H Benchmark In terms of performance, these improvements have made the SQL Server 2016 pull ahead of SQL Server 2014 by close to 40% more QphH (Query-per-Hour Performance Metric) in the TPC-H Benchmark. You can see in the screenshot that the Benchmark was sent in on 9 March 2016 and really was achieved on the same hardware as under SQL Server 2014 on 1 May 2015. |
Weitere wichtige Verbesserungen für Columnstore sind die Unterstützung des SNAPSHOT Isolation Level (und RCSI), was besonders für Read-Only Replicas von Availability Groups wichtig ist, sowie Online-Defragmentierung und diverse Analyse-Verbesserungen. |
Further important improvements for Columnstore include the support of the SNAPSHOT Isolation Level (and RCSI), which is especially important to Read-Only Replicas of Availability Groups, as well as online-defragmentation and various analysis enhancements |
Das Highlight: Real-time Operational Analytics & In-Memory OLTP Das Highlight Schlechthin aber ist sicherlich die Kombination aus memory-optimierten Tabellen und ColumnStore Indexen. Damit werden zwei Features, die für völlig gegensätzliche Abfrage-Typen, OLTP und OLAP, optimiert sind, verschmolzen. |
The highlight: Real-time Operational Analytics & In-Memory OLTP The absolute highlight however is surely the combination of memory-optimized tables and ColumnStore Indexes. As a result, two features that are optimized for entirely opposing query types – OLTP and OLAP – are merged. |
Technik Technisch kommt ein Clustered Columnstore Index zum Einsatz. Dieser lässt, wie man in dem Bild sehen kann, den „hot-Bereich“ der Daten aus, um den Overhead durch die doppelte Datenhaltung bei Änderungen bzw. den potentiell schnell aufeinander folgenden Inserts in diesem Bereich zu vermeiden. Zusätzlich zu der implizierten Delta Rowgroup (im Bild: Tail), die durch den memory-optimierten Index abgedeckt wird, gibt es eine „deleted rows table“ für gelöschte Daten. Beide Bereiche werden nach dem für Columnstore Indexe standardmäßigen Schwellwert von 1 Million Zeilen asynchron komprimiert/dem CCI hinzugefügt. An dieser Stelle noch ein Hinweis: auch die maximale Datenmenge, die pro Datenbank in (durable) memory-optimierten Tabellen gehalten werden kann, ist nun entfernt worden! |
Technical facts In technical terms, a Clustered Columnstore Index is applied. As can be seen in the image, it omits the “hot-spot” of the data in order to prevent the overhead through the double data storage in case of alterations and the potentially quick succession of inserts in this area. In addition to the implied Delta Rowgroup (in the image: Tail) that is covered by the memory-optimized index, there is a “deleted rows table” for deleted data. Both areas are asynchronously compressed/added to the CCI according to the Columnstore Index standard threshold value of 1 million cells. At this point, let me add another note: the maximum data amount that can be stored per database in (durable) memory-optimized tables has now been eliminated, too! |
Und die Umsetzung in Code sieht so aus: |
And applied in code, it would look like this: |
Im Ergebnis hat man nun das Beste aus beiden Welten: hochperformante Inserts/Updates/Deletes und Singleton-Abfragen, und zugleich hochperformante analytische Abfragen, die mit vielen Millionen Zeilen auf einmal hantieren – und zwar zeitgleich auf derselben Tabelle! |
The outcome now offers the best from both worlds: high performing inserts/updates/deletes and singleton-queries, and at the same time high performing analytic queries that handle many millions of cells at once – and in fact at the same time in the same table! |
Eine Einschränkung beim Abfragen ist, dass der Columnstore Index auf memory-optimierten Tabellen nur im InterOP-Modus funktioniert – also nicht in nativ kompilierten Prozeduren. Und da wären wir beim letzten Thema: |
One restriction in querying is that the Columnstore Index in memory-optimized tables only works in the InterOP mode – thus not in natively compiled procedures. Which leads us to the last topic: |
Offene Punkte, fehlende Feature-Unterstützung Folgende Features vermisse ich persönlich noch am meisten:
Die vollständige Liste befindet sich hier: |
Open points, missing feature support There are of course still a number of features that have been taken over into SQL Server due to the decade-long development of the SQL language, but which have not made it into the new XTP Engine yet. This is not just because the latter is “simply new” but also because due to the completely different architecture of this engine, which is radically tailored to In-Memory, there are several significant differences vis-à-vis the traditional database engines. Personally, I miss the following features the most:
For the complete list, visit: |
Transact-SQL Constructs Not Supported by In-Memory OLTP
Call to Action Auch wenn die Liste an fehlendem Feature/Funktionssupport immer noch recht lang ist – die wenigsten nutzen wirklich all diese Features voll aus. Und für die meisten dieser übriggebliebenen „Blocker“ gibt es eigentlich recht gute Workarounds, sei es in Form einer anderen Architektur oder Code-technisch. Man muss auch bedenken, dass die In-Memory Tabellen nicht für alle Szenarien überhaupt Sinn machen, sondern eher für die Top-belasteten Tabellen Sinn machen. Und da sollte man sich ohnehin bereits etwas Mühe beim Design gemacht haben. Generell bin ich der festen Meinung, dass sich in fast jedem Datenbankprojekt einige Stellen finden werden, die von In-Memory Funktionen profitieren können. Warum kann ich das so sicher sagen? Bereits seit SQL 2014 gibt es die Möglichkeit neben Memory-optimierten Tabellen auch Memory- optimierten Tabellen Variablen zu verwenden. Und mit diesen lassen sich wiederum viele Temptable-Konstrukte ablösen. Nun werden dadurch nicht unbedingt gleich ganze Applikationen performanter, aber es ist ein Anfang, sich mit In-Memory Codetechnisch auseinanderzusetzen und langsam aber sicher damit zu programmieren. Ein weiterer „Quick-Win“ ist oft in Datawarehouse-Architekturen im sogenannten „Staging-Bereich“ zu finden, wie er gerade in traditionellen DW-Systemen häufig zum Einsatz kommt. Und über diese „Einfallstore“ ist man ganz schnell in der „In-Memory-Welt“ angekommen. |
Call to Action Even though the list of missing feature/function support is still quite long, only few really make full use of these features. And for most of the remaining “blockers” there are actually quite good workarounds, be it in the form of a different architecture or in code terms. One has to bear in mind that the In-Memory tables do not necessarily make sense for all scenarios, but rather for the top-affected tables. And as for the latter, one should already have put some effort into the design anyway. In general, I firmly believe that in almost every database project there are some instances that may profit from In-Memory functions. Why can I be so sure? Already since SQL 2014 it has been possible to use memory-optimized table variables aside from memory-optimized tables. And using these, in turn, many temptable-constructs can be replaced. Now that does not necessarily result in higher performing applications right away, but it is a good way to start dealing with In-Memory in terms of code and to slowly but surely start programming with it. A further “Quick-Win” can often be found in data warehouse architectures in the so-called “staging area,” as it is frequently being applied in traditional DW-systems at the moment. And it is via these “gateways” that you have will have ended up in the “In-Memory world” before you know it. |
Cu In-Memory
Andreas
PS:
If you are in India in August and want to advance your skills in those new technologies there is still a chance to get a seat in the Precon "Present and Future: In-Memory in SQL Server – from 0 to Operational Analytics Master" at SQL Server Geeks Summit in Bangalore on August 10.
SQL Server 2016 general availability and Feature-Support // allgemeine Verfügbarkeit und Feature-Support
Jun 1st
(DE) |
(EN) |
Bei MSDN kann man die entsprechende Edition (Enterprise, Standard, Web, Developer, Express – die Business Intelligence Edition fällt weg) herunterladen. Die Developer Edition ist mittlerweile sogar kostenfrei (Blog –Artikel dazu). Download-Link: |
One can download the respective version (Enterprise, Standard, Web, Developer, Express – the Business Intelligence Edition ceases to exist) at MSDN. The Developer Edition is even free of charge by now (Blog-Article on that). Download-Link: |
Über die neuen Datenbank-Engine-Features habe ich bereits hier geschrieben: |
I wrote about the new Database-Engine-Features before here: |
Hier ein Blick auf die Von den Editionen von SQLServer 2016 unterstützte Funktionen: msdn.microsoft.com/en-us/library/cc645993.aspx Hervorzuheben ist hier, dass die Gerüchte um den Support von Availability Groups in der Standard Edition sich bewahrheitet haben, und sogenannte „Basic Availability Groups“ mit Unterstützung für 2 Knoten und je eine Replika je AG – ähnlich der Datenbankspiegelung – dort einsetzbar sind. Im Sicherheits-Bereich haben es „Row-level Security“ als auch „Data Masking“ in die Standard Edition geschafft, „Always Encrypted“ jedoch nicht – diese ist nur in der Enterprise-Edition verfügbar. Die viel-gelobte „Query Store“ ist in allen Editionen verfügbar(!) („Danke Connor“), ebenso wie „Temporal Tables“, und JSON. „R“ ist nur in einer „Basic-Variante“ allgemein verfügbar, „Stretch Database“ wiederum in allen Editionen. „In-Memory OLTP“ und „Operational Analytics“ bleiben leider der Enterprise-Edition vorbehalten. Bei den BI-Komponenten hervorzuheben ist, dass der Analysis Services Tabular-Mode nun auch in der Standard Edition verfügbar ist. Das ist sehr hilfreich, da diese Variante gerade auch bei kleineren Projekten Sinn macht |
Here a look at the Features Supported by the Editions of SQL Server 2016: msdn.microsoft.com/en-us/library/cc645993.aspx I want to highlight that the rumors about the support of Availability Groups in Standard Edition have been proven true and so-called „Basic Availability Groups“ with support of 2 nodes and one replica per AG – similar to Database Mirroring – can be used there. In the Security area „Row-level Security“ and also „Data Masking“ made it into Standard Edition, but „Always Encrypted“ did not – this feature is only available in Enterprise-Edition. The much-praised „Query Store“ is available in all Editions(!) (“Thank you, Connor”),as are „Temporal Tables“, and JSON. „R“ is available only as a „Basic-variation“ generally available, „Stretch Database“ on the other hand in all in Editions. „In-Memory OLTP“ and „Operational Analytics“ unfortunately remain reserved for Enterprise-Edition. It should be pointed out that from the BI components the Analysis Services Tabular-Mode is now available in Standard Edition as well. This is very helpful as this type makes a lot of sense especially in small projects. |
Die offizielle Seite zu SQL Server 2016 mit weiteren Informationen und Links zu Whitepapers befindet sich hier: |
You can find the official Page on SQL Server 2016 with further information and links to Whitepapers here: |
Enjoy the next generation of Microsofts Data Platform Flagship: SQL Server 2016
Andreas Wolter