Für die Ausgestaltung der KI-Governance im Unternehmen ergeben sich viele Leitplanken aus den einschlägigen rechtlichen Vorgaben. Zentrale Bedeutung haben hier zunächst die KI-Verordnung und EU-Produkthaftungsrichtlinie, sowie die künftig zu erwartende KI-Haftungsrichtlinie. Weitere rechtliche Rahmenbedingungen ergeben sich etwa aus den Bereichen Datenschutz, Urheberrecht und sonstige Bereiche des Geistigen Eigentums, Arbeitsrecht (beispielsweise Fragen der Mitbestimmung und des Beschäftigtendatenschutzes) und Gesellschaftsrecht bzw. Corporate Governance. Erhebliche Bedeutung können zudem sektorspezifische Vorgaben, etwa in der Versicherungswirtschaft, im Bank- oder Gesundheitswesen, haben.
Während die rechtlichen Anforderungen den äußeren Handlungsrahmen für alle Marktteilnehmer beschreiben, obliegt es jedem Unternehmen selbst, innerhalb dieses Handlungsrahmens Vorgaben für den Umgang mit KI zu definieren. Diese Vorgaben zu setzen und eine KI-Strategie zu definieren obliegt der Unternehmensleitung. Die KI-Governance muss sich an den so definierten Vorgaben orientieren und diese umsetzen.
Voraussetzung einer funktionierenden KI-Governance ist zudem Transparenz hinsichtlich des Einsatzes von KI im Unternehmen. Hierzu sollten die unternehmensintern bereits bestehenden KI-Projekte und Use Cases systematisch erfasst werden. Die genutzten Systeme und deren Einsatz können in einem unternehmensweiten KI-Register erfasst werden, das ähnlich dem Verzeichnis der Verarbeitungstätigkeiten nach Art. 30 DSGVO die wesentlichen Informationen zur Verwendung von KI im Unternehmen enthält.
Das KI-Register ist Grundlage für das KI-bezogene Risikomanagement. Die aus der Verwendung von KI folgenden Risiken sind zu identifizieren, zu bewerten und zu steuern.