The Diligent Platform and “Lawful but Awful” Expression
Emily Laidlaw
le français suit
An online safety bill is expected to be introduced by the Government of Canada in the coming months. Regardless of what is proposed, this is just the beginning. The coming decade will be a period of tremendous legal friction as online safety laws are fine-tuned by courts, regulators, and legislators. Even if no law is passed, we will still have the same question of what precisely counts as a responsible platform to a legal standard. Several legal conundrums keep me up at night, and one more than all the others:
Can and should a risk management model target “lawful but awful” expression?
All indications from Heritage Canada are that the legislation will be modelled on what can be described as risk management, duty of care or due diligence models. Under these legal frameworks, the focus is on the systemic risks of harm of platforms, such as the recommender or other algorithmic systems, content moderation, advertising and data practices. These platforms’ services are treated as issues of product safety. The obligation of the company, therefore, is to assess the risks of harm of their services at the front end, continually monitor the risks, and action any findings. Platforms are held accountable through a mix of mandatory transparency reporting and regulatory oversight. This approach is observable in the United Kingdom’s Online Safety Bill (OSB), the European Union’s (EU) Digital Services Act (DSA), and currently explored in Canada as a duty to act responsibly. All of these models, in essence, require that platforms implement systems of reasonable decision-making.
I have advocated for this model, but the analogy of product safety can only take us so far. Building safer cars is not the same as building safer spaces for discourse, because of the intersection with fundamental rights. The friction is most obvious when examining systems and content at the edges of legality.
When I discuss online safety legislation, most people mention mis- and dis-information, bullying, mob attacks, hateful content and similar. All this content is generally lawful but harmful. Can and should online safety legislation address this type of harm? This was an enormous point of controversy in the UK concerning the OSB and resulted in most such provisions removed from the bill. Still, there is an important conversation to be had about what platforms can and should be responsible within a constitutional framework.
For example, the 2022 coroner’s inquiry in the UK into the suicide of a teen girl, Molly Russell, revealed that the recommender systems of both Pinterest and Instagram were pushing content on self-harm, suicide, and depression. A risk management model that only focuses on illegal expression would not demand due diligence by platforms in this sphere. However, a duty to protect the special interests of children and assess the risks of their recommender system would capture what caused harm to Molly Russell. Similarly, most mis- and dis-information is perfectly legal even if it might shape decisions linked with illegality. The EU’s DSA creatively circumvents the question of lawful but awful and disinformation by imposing due diligence obligations on very large online platforms (VLOPs) to manage their systemic risks without getting into the weeds of individual pieces of content or their legality.
Two legal challenges are key. First, the starting position for targeting any such content – even at a systemic level - is that a legal system of free expression protects unpopular, distasteful, and disturbing expression – and it should, because the foundations of democracy, discovery, and truth inherent in expression are central to society. However, such a right must be reinforced and balanced with other constitutional rights, like the rights to privacy and equality, the Crown’s fiduciary duties to Indigenous people, and the unique infrastructure of the internet that changes the social conditions of speech.
For example, there is a high risk of unintended consequences. Well-meaning content moderation systems have been abused to target racialized and other marginalized groups, algorithmic systems built on garbage inputs produce biased outputs, and so on. The answer is not more freedom of expression or more regulation, but rather something much more nuanced. For example, there should be no obligation to remove lawful but awful expression, as this would be an extraordinary interference with the right to freedom of expression. However, design features such as user empowerment tools to mute or curate content or presenting alternative news sources alongside flagged misinformation, may be justifiable, taking lessons perhaps from cases on time, place, and manner restrictions and advertising. Transparency obligations could include reporting on risk management measures taken to protect children and fundamental rights.
Second, there is a separate issue about whether these types of due diligence models even raise rights issues at all. A risk management model does not tell a company what to do, simply to do something and be accountable for that process. Therefore, it is unlikely that a court would view a social media company as undertaking governmental action and directly bound by the Charter of Rights and Freedoms for their public functions.
However, the decisions that flow from that risk assessment can implicate rights. The more specific the legislation, the greater the risk. For example, legislation that mandates demotion and promotion of content on recommender systems carries different rights risks. There is generally no right to an audience, and therefore demotion of content may be less problematic in law, although it is a grey area. However, mandating that content is amplified might violate the rights of the platform’s freedom of expression as a form of compelled speech.
Similar issues are created by mandatory warnings/flags. Freedom of expression includes the right to say nothing or not to be forced to say certain things. The rights risk is greater in the US, where the compelled speech doctrine has been heavily litigated. In Canada, the proportionality analysis in s. 1 of the Charter weighs in favour of the constitutionality of warning labels, but it is always context-driven, and we have few cases to draw from (here and here).
There is good reason for the Government to start with a narrow list of illegal expression. If it follows in the footsteps of the EU, UK, and Australia, a new regulatory scheme will be born alongside all the growing pains that come along with it. But let’s be clear: a vast swath of harms will remain unregulated, meaning we will continue to depend on corporate self-governance and selective transparency, if at all. For many types of harm, this is exactly as it should be if we are committed to freedom of expression. For others, the harms are too big to ignore. The next 10 years will be filled with debates about this penumbral space of expression, harms and algorithms.
La diligence des plateformes et l’expression « légale, mais préjudiciable »
Le gouvernement du Canada devrait présenter un projet de loi relatif à la sécurité en ligne au cours des prochains mois. Quelle que soit la proposition, il ne s’agit que du début. La prochaine décennie sera une période de frictions juridiques considérables, à mesure que les lois en matière de sécurité en ligne seront affinées par les tribunaux, les organismes de réglementation et les législateur·trice·s. Même si aucune loi n’est adoptée, nous serons toujours confronté·e·s à la même question : qu’est-ce qu’une plateforme responsable au sens juridique? Plusieurs casse-têtes juridiques me tiennent éveillée la nuit, mais il y en a un qui me tracasse tout particulièrement :
un modèle de gestion des risques peut-il et doit-il cibler l’expression « légale, mais préjudiciable »?
Tout indique du côté de Patrimoine canadien que la législation s’inspirera de ce que l’on peut qualifier de modèles de gestion des risques, d’obligation de diligence ou de diligence raisonnable. Dans le cadre de ces cadres juridiques, l’accent est mis sur les risques systémiques de préjudice des plateformes, comme les systèmes de recommandation ou d’autres types d’algorithmes, la modération du contenu, la publicité et les pratiques en matière de données. On traite les services de ces plateformes comme s’il s’agissait d’une question de sécurité des produits. L’obligation de l’entreprise est donc d’évaluer les risques de préjudice que présentent ses services du côté des applications frontales, d’effectuer une surveillance continue des risques et d’agir en conséquence. Le mécanisme de responsabilisation des plateformes allie des obligations de production de rapports relatifs à la transparence et une surveillance réglementaire. On peut observer cette approche dans le Online Safety Bill du Royaume-Uni et le Règlement sur les services numériques[HP1] de l’Union européenne. Le Canada explore également cette approche dans le cadre du devoir d’agir de manière responsable. Tous ces modèles, en substance, exigent que les plateformes mettent en œuvre des systèmes de prise de décision raisonnable.
Bien que j’aie préconisé ce modèle, l’analogie de la sécurité des produits a ses limites. Il y a une différence entre le fait de construire des voitures plus sécuritaires et la création d’espaces plus sûrs pour le discours, en raison de l’intersection avec des droits fondamentaux. La friction est d’autant plus évidente lorsqu’on examine les systèmes et le contenu aux confins de la sphère juridique.
Lorsque je discute de législation en matière de sécurité en ligne, la plupart des gens mentionnent la mésinformation, la désinformation, l’intimidation, les attaques de foules, le contenu haineux et d’autres types de préjudices. Le contenu de ce type est généralement légal, mais préjudiciable. La législation en matière de sécurité en ligne peut-elle et doit-elle traiter ce type de préjudice? Cette question a soulevé une énorme controverse au Royaume-Uni dans le contexte du Online Safety Bill. La plupart des dispositions allant dans ce sens ont été retirées du projet de loi. Il y a pourtant une discussion importante à tenir au sujet des responsabilités et des obligations des plateformes dans un cadre constitutionnel.
Par exemple, en 2022, au Royaume-Uni, l’enquête du coroner sur le suicide d’une jeune fille, Molly Russell, a révélé que les systèmes de recommandation de Pinterest et d’Instagram mettaient en avant du contenu sur l’automutilation, le suicide et la dépression. Un modèle de gestion des risques qui se concentre uniquement sur l’expression illégale n’exigerait pas de diligence raisonnable de la part des plateformes dans ce domaine. Toutefois, le devoir de protéger les intérêts spéciaux des enfants et d’évaluer les risques associés au système qui leur recommande du contenu permettrait de cerner ce qui a été préjudiciable à Molly Russel. De même, la mésinformation et la désinformation sont généralement légales, même si elles pourraient inciter certaines personnes à prendre des décisions liées à l’illégalité. Le Règlement sur les services numériques de l’Union européenne contourne de manière créative la question de l’expression légale, mais préjudiciable et de la désinformation en imposant des obligations de diligence raisonnable aux très grandes plateformes en ligne dans le but de gérer les risques systémiques qu’elles posent sans entrer dans le sujet épineux du contenu pris isolément ou de sa légalité.
Du point de vue juridique, il y a deux défis de taille. Tout d’abord, le point de départ pour cibler ce type de contenu, même à un niveau systémique, est qu’un système juridique fondé sur la liberté d’expression protège l’expression impopulaire, déplaisante et dérangeante, et cela devrait être le cas, car les fondements de la démocratie, de la découverte et de la vérité inhérents à l’expression occupent une place centrale dans notre société. Toutefois, un tel droit doit être renforcé et équilibré par d’autres droits constitutionnels, comme le droit à la vie privée et à l’égalité, les obligations fiduciaires de la Couronne envers les peuples autochtones et l’infrastructure unique d’Internet qui modifie les conditions sociales de la parole.
Par exemple, il existe un risque élevé de conséquences imprévues. Les systèmes de modération de contenu, malgré les bonnes intentions des personnes qui les ont mis en place, ont été utilisés abusivement pour cibler des groupes de personnes racisées et d’autres groupes de personnes marginalisées. Les systèmes algorithmiques basés sur des intrants indésirables produisent des extrants biaisés, et ainsi de suite. La réponse ne consiste pas à étendre la liberté d’expression ou la réglementation. Une approche beaucoup plus nuancée est nécessaire. Par exemple, il ne devrait pas y avoir d’obligation de supprimer le contenu s’apparentant à une expression légale, mais préjudiciable, car cela constituerait une interférence extraordinaire avec le droit à la liberté d’expression. Toutefois, certaines caractéristiques de conception pourraient être justifiables, notamment les fonctions redonnant un certain pouvoir aux utilisateur·trice·s, comme les outils de mise en sourdine, de filtrage du contenu ou de présentation d’autres sources d’actualité aux côtés du contenu signalé comme mésinformation. Il pourrait être utile de tirer des leçons des jugements portant sur les restrictions relatives aux heures, au lieu ou au mode d’expression et sur la publicité. Les obligations en matière de transparence pourraient comprendre la présentation de rapports sur les mesures de gestion des risques adoptées en vue de protéger les enfants et les droits fondamentaux.
Deuxièmement, il y a une question distincte qui se pose : ces types de modèles fondés sur la diligence raisonnable soulèvent-ils même des questions relatives aux droits de la personne? Dans le cadre d’un modèle fondé sur la gestion des risques, on ne dit pas aux entreprises ce qu’elles doivent faire, simplement que quelque chose doit être fait et qu’elles doivent être responsables de ce processus. Par conséquent, il est peu probable qu’un tribunal considère qu’une entreprise de médias sociaux entreprend une action gouvernementale et qu’elle est directement liée par la Charte canadienne des droits et libertés pour ses fonctions publiques.
Toutefois, les décisions qui découlent de cette évaluation des risques peuvent impliquer des droits. Plus la législation est précise, plus le risque est grand. Par exemple, les risques en matière de droits sont différents selon qu’une éventuelle législation exige qu’on réduise ou qu’on augmente l’importance d’un contenu dans le système de recommandation. On s’entend généralement sur le fait qu’il n’existe pas de droit à un public, et par conséquent, la réduction en importance d’un contenu pourrait être moins problématique du point de vue juridique, bien qu’il s’agisse d’une zone grise[HP2] . Cependant, si on exige qu’un contenu soit amplifié, cela pourrait constituer une violation des droits en matière de liberté d’expression de la plateforme, puisqu’il s’agirait d’un discours forcé.
Les exigences en matière d’avertissements et d’indicateurs posent des problèmes similaires. La liberté d’expression comprend le droit de ne rien dire ou de ne pas être obligé·e de dire certaines choses. Le risque en matière de droits est plus grand aux États-Unis, où la doctrine sur le discours forcé a fait l’objet de nombreux recours judiciaires. Au Canada, l’examen de la proportionnalité de l’article 1 de la Charte canadienne des droits et libertés pèse en faveur de la constitutionnalité des messages d’avertissement, mais cela dépend toujours du contexte et nous n’avons que peu d’exemples à notre disposition (ici et ici).
Il y a de bonnes raisons pour que le gouvernement commence par une liste restreinte relative à l’expression illégale. S’il suit les traces de l’Union européenne, du Royaume-Uni et de l’Australie, un nouveau système réglementaire verra le jour, accompagné des difficultés croissantes qui en découlent. Je veux toutefois être claire : une vaste série de préjudices resteront non réglementés, ce qui signifie que nous continuerons de dépendre de l’autogouvernance des entreprises et des pratiques sélectives, voire absentes, en matière de transparence. Pour de nombreux types de préjudices, il s’agit précisément de l’approche qu’on devrait employer en soutien à notre engagement envers la liberté d’expression. Dans d’autres cas, les méfaits sont trop importants pour être ignorés. Les 10 prochaines années seront remplies de débats sur le domaine des droits garantis en matière d’expression, de préjudices et d’algorithmes.
