Subscribe:
copy
Shane Hastie: Good afternoon guys. This is Shan Hasty for the InfoQ Engineering Culture podcast. Today I sat down with Katherine Jarmall. Welcome Catherine, thanks for taking the time to talk to us.
Catherine Jarmall: Thanks so much for the invite, Shane. I am very happy to be here.
Introduction [00:34]
Shane Hastie : We met last year at QCon in San Francisco, where you gave challenging and interesting talks on technology issues. But before we get into that, maybe we should start with who Katherine is?
Katherine Jarmul : Who is Katherine? I am currently the Chief Data Scientist at ThoughtWorks and recently published a book called Practical Data Privacy. I see myself as a personalization engineer, a privacy engineer, a machine learning engineer. I have been in technology for a long time and am interested in the relationship between the world of politics and the world of technology.
I also co-founded the first California chapter of Pylades in 2010 and 2011. So, I've been in technology, machine learning for the last 10 years, machine learning and data science for about five years. And we see how these developments relate to the problem of technical solutions.
Shane Hastie: Maybe a good starting point for discussion is what is a technology solution?
Definition of techno solutions [01:24]
Katherine Yarmul : Yes, I mentioned it in the discussion and described it as the idea that we still have one technology box and we accept the world's problems or the problems that other technology boxes create. Problem. And put it in the magic technology box. And then the happiness comes, the solution to the problem, all is well.
I think you might find that kind of abstract storytelling in what I call techno solutions. So the idea is if we have another technology, we will solve this problem.
Shane Hastie : I remember simulating a process and you put a cloud in the middle and the cloud has the letters ATAMO on it which means magic is going to happen and something is going to happen after the code. Now we will replace ATAMO with Cloud, then technology will appear and everything will improve. So why not?
Kathryn Jarmall : Why doesn't technology solve our problems? I think when you look at the history of technology, you have to think that basically it's about innovation and the desire to invent and change things, the desire to simplify things, the desire to solve problems, or something like that. This is what he said. If you look at this or that human desire, like the desire to kill, the desire to destroy, the history of technology...
I think I linked it to the discovery of gunpowder in my talk, and when they discovered gunpowder, they tried to explore the wonders of life. They are trying to find a magic potion to solve people's problems and find gunpowder. And if we think in our heads as a good metaphor, I'm not an anti-technologist, I'm a technologist. I work in machine learning and privacy.
But we have this human anthropomorphic technology and we use it as a reflection of what we see in the world. When we do this, we add our own biases, our own assumptions, and our own ideas about how to handle technology. Therefore, we cannot separate what we consider a solution and how we create the technology.
I think one person's solution is another person's problem. And I don't think there's a universal morality and a universal truth, and that's why it's such a difficult subject to think about. I create something that works for me and then expand it to work for others. And where does this take us? Because the results may vary depending on the context.
Shane Hastie : We don't analyze unintended consequences. In our optimism, we don't even think about the unintended consequences... How can we, the technologists, reverse this movement?
Unforeseen consequences should be identified and investigated [04:56]
Katherine Yarmul : Yes, that's a good question. I still don't think there is an answer. One of the things we have to think about is what do we think about the history of our field and our technology? This is what has fascinated me for many years. We think we are constantly innovating. And when you really go into the history of computers and computers and go back to the history of mathematics, even the history of science, you start to see patterns, and you see those patterns repeat themselves over time.
And I think a useful starting point for most people is the history of your field, any technology you have, and your industry history. If you're in a consumer-facing industry, you probably study the history of consumerism and things like that, and I think what's important today is what was there before and what were people trying to do? What are their decisions and solutions?
Applying this curiosity and maybe interested in something beforehand, assuming I'm the first to suggest this, I'm the first to have this problem and will be the first to solve it. Of course, it sounds very naive, but I think it should be there.
I'm definitely there when I have a problem and I'll help you solve it. And that's the zeitgeist of the Silicon Valley era that a lot of technologists have been telling us about, and I think it's a really great story about how we can make and do things differently.
I think it's good to have upbeat energy. I'm from California, I'm very optimistic. I often enjoy being in groups. I have this power, it's in the culture. But I think we can use curiosity, humility and hindsight to better understand how we can go beyond our contributions, capabilities and technological capabilities. General solution to this problem.
Shane Hastie : But we don't teach young technologists to think like that.
Expanding Our Perspective Through Engagement in Different Areas [07:40]
Katherine Jarmall : I know. This is very interesting. So, one of the things I talked about in the discussion, I think we talked to you a little bit, why don't we have an interdisciplinary team? Why don't we have historians, ethicists or philosophers, civic groups involved, community problem solving groups?
And I think my story is a good example for a lot of people I meet who don't have an ethical or technical background. I went to school on a scholarship to study computer science because I was good at math and loved math, but in the summer I studied artificial intelligence and really hated Java.
We mainly did Java and that was really hard for me, so I changed my major to political science and economics, because I could still study statistics and statistical logic, which I love, but it can't be boring. Java programs. , I do not like.
And I think of the people I'll meet along the way who have similar careers to mine, or they're in ethics and data or ethics and computing. I think a lot of these people study other subjects and then go back into technology or go into technology and go somewhere else and come back for a while.
First of all, I think it would be beneficial for us as an education system to provide people with an interdisciplinary approach to thinking and reasoning about technology ethics. After all, it's a skill that takes some thought and learning. It's not like you can learn all of these things on your own in one day. This doesn't mean what you have to do at university.
Shane Hastie : That's interesting. One of the things we had a bit of fun with before we started writing was what we heard in an echo chamber, and how did we know what an echo chamber was? And if I really want to learn, how do I get out of my own echo chamber?
Leaving your own eco room [10:14]
Katherine Yarmul : Very difficult. We now have an algorithmic blending system that requires you to stick with the camera or use a companion camera. And I think it's tough. I don't know about your experience, but I think it's very difficult to understand how to communicate with people from different countries and different regions, especially during and before Corona when people weren't traveling. Apparently, some of them started to disappear.
And the conference started again. We met and spoke at a conference. I think this is one way, but I think another way is to ask yourself if you want to get out of your psychological comfort zone and I don't want to hurt anyone. What's at your peak? Are you afraid to explore it, or do you feel joy or resistance to this exploration?
I think sometimes you crave a bit of fun, but you always find excuses not to, maybe it's a way to break out of a rut and find a new way. . And many of these reflections are related to human psychology, as well as communication and society.
So these are not my thoughts, they are just thoughts. I don't know, I'm really interested to see how you get out of your filter bubble.
Shane Hastie: Personally, I try really hard to meet people I wouldn't normally meet.
Kathryn Jarmall: How do you behave in a new environment?
Shane Hastie: I'd be in a new environment and I'd be interested.
Katherine Jarmall : Very good.
Shane Hastie: I don't always do well.
Kathryn Jarmall : I think part of it is realizing that sometimes they feel uncomfortable or not in your way, right?
Shane Hastie : Right. I had a great experience. In my day job, I often teach IT and business related subjects, and have had opportunities to teach people who teach nursing and plumbing, health care, and hairdressing.
Katherine Jarmall : Very good.
Shane Hastie : And it's a completely different band. When I became a vocational education teacher, all vocational education teachers had one thing in common. So the teaching aspect is generic, but their audience, their subject matter, the issues they teach, means they're working with 18, 19, 20 year old people who are just starting their career and maybe in the middle of their career. Light for three days.
Kathryn Jarmall : Yeah, I mean sometimes, I just... I have a few activists working with people from all walks of life and backgrounds, and I think sometimes I crave that kind of conversation. Lately, I've noticed that I'm not joining in and stuck in my tech bubble or my friends' normal life bubble, and it's refreshing when I get out of the same thing over and over again.
Shane Hastie : Revisited, Practical Data Privacy is the title of your new book. Tell us a little about it.
Practical data privacy [13:51]
Kathryn Jarmal : I wrote the book because I thought it was the kind of book I wanted when I first thought about privacy. Thinking about ethical machine learning, I first became interested in privacy. So how do we deal with machine learning in an ethical way, in a more inclusive way, and how do we deal with biases and biases, social biases, when we train large-scale models, which is a huge issue today.
However, as I mentioned during the talk, while looking at my own technological solution, I thought that there was nothing technologically that I could do to correct the social biases present in this model. And I appreciate the work of researchers working in this field. I think as I evaluate this, do I think I can make a meaningful contribution here, and do I think this contribution will help the industry in a meaningful way and achieve the goals of my work?
The answer I finally got was no. And, of course, it can be a difficult time, but I have hope for myself. And I see that privacy has a lot to do with thinking about ethical use of data because of the concept of consent, should we use that data? Can we use this data? Should we ask people if we can use their data? It really appealed to me.
And then the more isolated I got, the more interesting it became, because there's so much cool math in there. So the combination turns out, this is an area where I think I can contribute. There are two things I love: math and maybe somehow helping society... Technology won't fix everything, but it is a positive contribution I can make to the world as a technologist.
And when I first got into this field, it was mostly academics and mostly PhDs who had studied, say, cryptography, differential privacy, or other high-tech concepts for years. And while I pride myself on my research literacy, it took me a while to embrace these ideas and become someone who knows how machine learning works. Who knows how this privacy technology works.
So when O'Reilly called me and asked if I wanted to write a book on privacy technology, I said yes. And I really love to focus on people like me who are math and data science savvy who have been working in the field, who recognize that there are privacy issues that they want to address. However, I haven't heard the words behind them. Theory lacks proper recognition and how it should be applied in real life.
So each chapter has something new, we start with a bit of theory and go through some basic concepts. Plus we have the code and the Jupyter notebook that came with the book. Ok, here are some open source libraries for you to have a look. Here's how you can use it. Here's how to apply it to your technology context, whether it's data engineering, data science, or anything else in the world of machine learning or programming.
Shane Hastie : Can we learn one of your favorite words? Which of these privacy technologies do you prefer and how do you use them?
Practical Applications of Data Privacy - Federal Data Analysis [17:32]
Kathryn Jarmall : Yes. One of the things I'm most excited about is thinking about changing the way we do things with federated or distributed data mining or federated or distributed learning. And the idea is -- there are systems that do that, but the idea is that the data is always in the hands of the user and we don't actually collect the data and store it centrally. Instead, we may transfer machine learning to personal devices or provide machine learning. So GPT4All is a paradigm that allows people to train their own models to drive their own machine learning experiences.
And we can run federation queries. Say we need to analyze some device usage data or something like that. We can also drive it. And sometimes, when we implement them in production systems and want to provide maximum privacy, we may add other technologies. We can add differential privacy, which essentially gives us data anonymity, or we can add encrypted computing, which helps us create distributed computing, allowing us to manage encrypted data and process encrypted data. . Decipher it. So we do real math with encrypted data and decrypt it only when we have the same result, e.g.
And all of this could happen in a distributed manner which would greatly improve the privacy of the average person and the data privacy of people, and this would happen because we both understand that there might be a fundamental shift in my career that I'm not sure about, but I'm going to do it. they want it. I think it will be good and we'll see how it goes.
The good news is that Google's recent note says we don't have a pipeline like OpenAI has, specifically mentioning the idea of training their open source model for personal use. So maybe if Google is scared, maybe it will come true.
Shane Hastie: What about the social aspect of data privacy groups? So, building cross-functional teams, working with privacy lawyers, resolving legal issues, etc., how do I communicate as a technologist?
Data Privacy Needs and Challenges for Interdisciplinary Teams [20:05]
Kathryn Jarmall : Yes. И я думаю, что мы, опять же, это многостороннее действие внутри организации, когда мы говорим непосредственно о конфиденциальных вопросах, у нас обычно есть по крайней мере три основных заинтересованные стороны, которые все гов орят на разных языках. У нас есть юристы по юридическим вопросам или юристы по вопросам конфиденциальности, обладающие некоторым юрид ическим или нормативным пониманием. У нас есть информационная безопасность или кибербезопасность, или как вы это называете в своей организации, у которой есть свой собственный язык и собственное понимание того, что означает конфиденциальность и что означа ет безопасность.
А затем наши настоящие технические специалисты реализуют то, что необходимо реализовать. И у унас есть собственный язык, который иногда разделяют и понимают другие группы, а иногда нет, в зависимости от нашей специализации. Photocopy ю может быть довольно сложно спорить об утечках конфиденциальности в системе машинного обучения, потому что о ни не изучали машинное обучение. И они могут знать или не знать, как модели могут или не могут хранить внешнюю информацию или другую личную и нформацию по мере их обучения.
এবং তাই যখন আমরা এই ক্ষেত্রগুলির দিকে তাকাই, এ বং আপনি যদি কখনও গোপনীয়তা প্রকৌশলের ক্ষেত্রে প্রবেশ করতে চান, আপনি এই কথোপকথনের মধ্যে সেতুর মতো এবং আপনি এই গোষ্ঠীগুলিকে তাদের উদ্বেগগুলি ভাগ করার অনুমতি দেওয়ার জন্য একটি স্পোক হিসাব ে কাজ করেন। ঝুঁকি শনাক্ত করুন, এবং সেই ঝুঁকিগুলি মূল্যায় ন করতে, মূল্যায়ন করুন যে সেগুলি প্রশমিত হবে কি না বা সেগুলি কেবল নথিভুক্ত এবং গৃহীত হবে এবং এগ িয়ে যাবে কিনা৷ এবং আমি মনে করি যে এই কারণেই গোপনীয়তা প্রকৌশ লের ক্ষেত্রটি বৃদ্ধি পাচ্ছে যখন আমরা এমন জিনিস গুলি দেখি, আমি নিশ্চিত নই যে আপনি এই সপ্তাহে 1.3 ব িলিয়ন ইউরোর ঘোষণা করা মেটা জরিমানা দেখেছেন, যে মেটাকে একটি গুচ্ছ স্থানান্তর করার জন্য জরিমা না করা হয়েছিল ইইউ থেকে মার্কিন যুক্তরাষ্ট্রে ব্যক্তিগত ডেটা এবং এটি মার্কিন অবকাঠামোতে সংরক্ষণ করা।
এই জিনিসগুলি আসলে প্রত্যেককে প্রভাবিত করে। এটি শুধুমাত্র একটি বিশেষ ক্ষেত্র নয়। এটি বাস্তব নিয়ন্ত্রণ এবং বাস্তব অবস্থান যা ঘ টছে. এবং আপনার আর্কিটেকচারে, আপনার ডিজাইনে, আপনার সফ্টওয়্যারে গোপনীয়তার মাধ্যমে চিন্তা করা এক টি ক্রমবর্ধমান ব্যয়বহুল যদি আপনি এটি না করেন এবং ক্রমবর্ধমানভাবে, আমি মনে করি, লোকেদের জন্য গুরুত্বপূর্ণ। আমি শুধু নিয়ন্ত্রক দিকগুলির মাধ্যমে চিন্তা ভাবনার বাইরেও চিন্তা করি, আমি মনে করি আপনার ব্য বহারকারীদের বলতে সক্ষম হওয়ার জন্য উত্তেজনাপূ র্ণ দিক রয়েছে, আমরা ডেটা আলাদাভাবে করি, আমরা জ িনিসগুলি আলাদাভাবে সংগ্রহ করি এবং আমরা অবশ্যই দেখতে শুরু করতে পারি যে মার্কেটিং চারপাশে পুশ হতে শুরু করেছে . বিশেষ করে, আমরা এমন কিছু অফার করি যা আমাদের প্র তিযোগীদের চেয়ে বেশি ব্যক্তিগত।
এবং আমি মনে করি যে এর কারণ ভাল বা খারাপের জন্য, আমি হয়তো কিছুটা নিষ্ঠুর। আমি অগত্যা মনে করি না যে এটি সারা বিশ্বের সিইও দের হৃদয় থেকে। আমি মনে করি এর কিছু হয়তো গোপনীয়তার জন্য প্র কৃত ভোক্তার চাহিদা রয়েছে। এবং আমি মনে করি যে লোকেরা যখন জানতে পারে যে জিন িসগুলি তাদের ট্র্যাক করছে এবং তারা এটি আশা করে না তখন তারা ভয় পেয়ে যায়। এবং আমি মনে করি যে ডিজাইনের মাধ্যমে গোপনীয়তা অবশেষে এটি লেখার প্রায় 30 বছর পরে তার যুগে আঘাত করছে, এটি অবশেষে মানুষ যা চায় এবং প্রযুক্তিবি দ হিসাবে বাস্তবায়নের বিষয়ে আমাদের যা ভাবা উ চিত সেই একই জিনিসটিকে আঘাত করছে।
শেন হেস্টি : কারণ এইগুলি এমন জিনিস যা পারে না, ভ ালই পারে, তবে এটি পরে পুনরুদ্ধার করা খুব, খুব কঠি ন এবং ব্যয়বহুল। আপনি যে সিস্টেমগুলি ডিজাইন করছেন এবং তৈরি করছ েন তার মূল অংশে তাদের সঠিক হতে হবে।
গোপনীয়তা আর্কিটেকচার এবং ডিজাইনের মূলে থাক া দরকার, গোপনীয়তার জন্য রিফ্যাক্টরিং করা সম্ভ ব কিন্তু খুব কঠিন [23:42]
ক্যাথরিন জারমুল: একদম। আমি বলতে চাচ্ছি, আমি মনে করি যে এটির কাছে যাওয় ার আরও উপায় আছে, এটি আপনার বিশেষত্ব, পুনরাবৃত্ তিমূলক এবং চটপটে দৃষ্টিকোণ হবে। ??? ফেলবেন না এবং বলবেন না, "ওহ, আমরা গোপনীয়তার জন্ য রিফ্যাক্টর করতে যাচ্ছি। আমরা আপনাকে দুই বছরে র মধ্যে দেখতে পাব," তবে চিন্তা করুন, ঠিক আছে, এই ক ারণেই ঝুঁকির মূল্যায়ন সত্যিই সহায়ক, বিশেষ কর ে বহুবিভাগীয় , গ্রুপকে একত্রিত করুন। এবং প্রত্যেকের সবচেয়ে বড় ভয় কোথায় যে তারা নিরাপত্তা লঙ্ঘন বা গোপনীয়তা লঙ্ঘন বা অন্য কি ছু খারাপ প্রচার করার বিষয়ে কথা বলছে না এবং সেগ ুলিকে অগ্রাধিকার দেওয়া শুরু করে এবং দেখুন এর একটি ছোট অংশ আছে যা আমরা আসলে নিতে এবং পুনরায় ড িজাইন করতে পারি? গোপনীয়তা মাথায় রেখে?
অথবা এমনকি একটি স্বপ্নের অধিবেশন থাকার, যদি আ মরা নকশা দ্বারা গোপনীয়তা করি তবে আমাদের স্থাপ ত্য কেমন দেখাবে? এবং সম্ভবত সেখানে এমন কিছু আছে যা আপনি বলতে পা রেন, "ওহ, আমরা কিছুক্ষণের জন্য সিস্টেমটি প্রতিস ্থাপনের বিষয়ে ভাবছি। আসুন এখানে শুরু করি।" এবং আমি মনে করি যে গোপনীয়তার ছোট অংশগুলি বাস ্তবায়নের উপায় রয়েছে এবং আমি কখনই কাউকে বলতে চাই না, "ওহ, আপনাকে সবকিছু পুনরায় প্রয়োগ করতে হবে।" আমি মনে করি এটি অবাস্তব এবং শাস্তিমূলক যখন আদ র্শটি নকশা দ্বারা ব্যক্তিগত জিনিস তৈরি না করা। আমি মনে করি আপনার নিজেকে অভিনন্দন জানানো উচিত এবং আপনি বর্তমানে যা করছেন তার চেয়ে ভাল কিছুর দিকে প্রতিটি ছোট পদক্ষেপে উত্তেজিত হওয়া উচি ত।
শেন হেস্টি : ক্যাথরিন, এখানে কিছু সত্যিই আকর্ষ ণীয় এবং কিছুটা চ্যালেঞ্জিং বিষয়। লোকেরা যদি কথোপকথন চালিয়ে যেতে চায় তবে তারা আপনাকে কোথায় পাবে?
ক্যাথরিন জারমুল : হ্যাঁ, তাই স্পষ্টতই আপনি প্র ্যাকটিক্যাল ডেটা প্রাইভেসি বইটি দেখতে পারেন। এটি শীঘ্রই শারীরিক আকারে পৌঁছানো উচিত, আশা কর ি, আপনার চারপাশের বইয়ের দোকানে বা আপনার প্রিয় বই খুচরা বিক্রেতার মাধ্যমে। কিন্তু আমি সম্ভবত প্রাইভেট নামে একটি নিউজলেট ারও চালাই, এবং আমি অবশ্যই বলব যে এটি সুপার নর্ডি । তাই আমি সেখানে একটি সতর্কতা দিতে চাই। এটাকে সম্ভবত প্রাইভেট বলা হয়। এটি সম্ভবতprivate.com-এ, এবং এটি বিশেষত সম্ভাব্যতা, গণিত, পরিসংখ্যান, মেশিন লার্নিং এবং গোপনীয়তার মধ্যে এই সংযোগস্থলের চারপাশে, অবশ্যই, কিছু রাজনৈতিক মতামত এখন এবং তারপরে নিক্ষিপ্ত।
শেন হেস্টি : অসাধারণ। ওয়েল, আজ আমাদের সাথে কথা বলার জন্য অনেক ধন্যবাদ.
ক্যাথরিন জারমুল : ধন্যবাদ, শেন।
উল্লিখিত
. এই পৃষ্ঠা থেকে আপনি আমাদের রেকর্ড শো নোট অ্যাক্সেস করতে পারেন. তাদের সকলেরই ক্লিকযোগ্য লিঙ্ক রয়েছে যা আপনাকে সরাসরি অডিওর সেই অংশে নিয়ে যাবে।
Post a Comment